Har du någonsin undrat om det fanns ett sätt att ladda ner en webbplats utan webbläsare? Du har tur. Med kraften från Linux-kommandoraden är allt möjligt. Det finns flera metoder för att slutföra denna uppgift, men vi fokuserar på wget i den här artikeln.
Vad är wget?
wget är ett GNU-kommandoradsverktyg för att hämta innehåll från webbservrar. Som nedladdare är wget mycket kraftfullt i sig. wget kan arbeta med flera protokoll, till exempel HTTP, HTTPS och FTP. Andra funktioner i wget-verktyget inkluderar:
- förmåga att springa tyst eller i bakgrunden
- integrerad med Linux-skript eller CRON-jobb
- kan köra flera nedladdningar samtidigt
- laddar ner filer som kräver ett lösenord
Varför wget?
Även om det finns en mängd verktyg som kan utföra webbplatsaktiviteter, möjliggör wget ett brett omfång. Det ger användaren möjlighet att fungera utan en webbläsare genom att:
- ladda ner en fullständig kopia av en webbplats
- ladda ner en specifik fil från en webbplats
- automatisera hämtningen av en fil på begäran
- skaffa ett dokument från en autentiseringsportal
wget är också inbyggt i de flesta Linux-distros, så det är tillgängligt redan från början, och ingen ytterligare installation krävs.
wget Basics
Att komma igång med wget är ganska enkelt. Öppna först en Linux-terminal.
När ett terminalfönster är öppet kan du köra wget enligt nedan:
wget URL
Ersätt ”URL” med den exakta webbadressen för webbplatsen.
För att återuppta en delvis nedladdad fil, använd a -c växla in ditt kommando enligt följande:
wget -c URL
För att göra din wget-nedladdning tyst, lägg till -q växla till ditt ursprungliga wget-kommando:
wget -q URL
Om du inte är säker på korrekt användning av alternativ inom wget, använd följande:
wget --help
Förutom webbplatser kan du också ladda ner en fil med wget. Till exempel:
wget https://example.com/file.zip
Det skulle helt enkelt ta tag i filen och spara den i den aktuella katalogen.
Om du vill spara till ett annat filnamn eller annan plats använder du -O flagga.
wget https://example.com/file.zip -O ~/Documents/my_downloaded_file.zip
FTP-alternativ
Som tidigare nämnts stöder wget också FTP. Om du bara anger en FTP-webbplats:
wget ftp://ftp.example.com
wget antar att du vill ha en anonym inloggning. Alternativt kan du manuellt ange saker som användarnamn och lösenord med följande flaggor:
--ftp-user=USER: anger användarnamnet för inloggning--ftp-password=PASS: anger lösenord--no-passive-ftp: inaktiverar passivt överföringsläge
Timeouts, försök och misslyckade nedladdningar
Slutligen kommer wget med flera alternativ relaterade till serveranslutningsproblem och timeouts. Naturligtvis kan inte alla fel hanteras, men följande flaggor är alla avsedda att hjälpa till att hantera serverproblem:
--tries=NUMBER: anger antalet gånger att ladda ned igen--retry-connrefused: Försöker ladda ner även om anslutningen nekas av servern--timeout=SECONDS: global inställning – hur länge väntar innan timeouts--wait=SECONDS: hur länge väntar mellan lyckade nedladdningar (om det upprepas)
Vem skulle använda wget?
När du läser det här inlägget kanske du tänker, ”Det här låter komplicerat och mycket svårare än att använda en webbläsare”, men vem som helst kan hitta en användning för det här verktyget, vare sig som systemadministratör eller som programmerare. Nedan följer två exempel på hur jag använder det här kommandot under hela dagen, där min roll ibland förändras.
Det gör mina arbeten som säkerhetsforskare enklare eftersom jag kan schemalägga det här kommandot för att ladda ner flera webbplatser samtidigt. Jag kan göra detta genom att skapa en textfil (med vilken textredigerare som helst) som innehåller ett antal webbadresser i en lista (en URL per rad). Genom att utföra kommandot nedan med -i växla, hämtar wget varje webbplats i listan.
wget -i download_file_name URL
Som systemadministratör kan jag enkelt få dokument från lösenordsskyddade platser. Det här kanske inte hjälper dig lika bra offline, men genom att köra wget allow kan du lägga till referenser till en webbplats.
wget --user=user_id --password=user_password URL
Där har du det! Var det så svårt som du trodde? Att kunna automatisera dina åtgärder med wget sparar tid och ger dig möjlighet att också arbeta offline. Vad har du att förlora?
Lämna en kommentar nedan och låt oss veta om du tyckte att det var användbart.