Den här bilden förlorades en tid efter publiceringen, men du kan fortfarande se den här.

av Gina Trapani

Din webbläsare gör ett bra jobb med att hämta webbdokument och visa dem, men det finns tillfällen när du behöver en extra styrka nedladdningshanterare för att få de tuffare HTTP-jobb gjort.

Ett mångsidigt Unix-program från Old School som heter Wget är ett mycket hackbart, praktiskt litet verktyg som kan ta hand om alla dina nedladdningsbehov. Oavsett om du vill spegla en hel webbplats, automatiskt ladda ner musik eller filmer från en uppsättning favoritbloggar eller överföra enorma filer smärtfritt på en långsam eller intermittent nätverksanslutning, Wget är för dig.

Wget, den "icke-interaktiva nätverkshämtaren", kallas på kommandoraden. Formatet för ett Wget-kommando är:

wget [option]... [URL]...

URL: n är adressen till filen / filerna du vill att Wget ska ladda ner. Magin i det här lilla verktyget är den långa menyn med tillgängliga alternativ som gör några riktigt snygga nedladdningsuppgifter möjliga. Här är några exempel på vad du kan göra med Wget och några streck och bokstäver i kommandot [alternativ].

Spegla en hel webbplats

Säg att du vill säkerhetskopiera din blogg eller skapa en lokal kopia av en hel katalog på en webbplats för arkivering eller läsning senare. Kommandot:

wget -m http://ginatrapani.googlepages.com

Sparar de två sidorna som finns på webbplatsen ginatrapani.googlepages.com i en mapp som heter just den på din dator. -M i kommandot står för "spegla den här webbplatsen."

Säg att du vill hämta alla sidor på en webbplats PLUS de sidor som webbplatsen länkar till. Du skulle gå med:

wget -H -r --level=1 -k -p http://ginatrapani.googlepages.com

Detta kommando säger: "Ladda ner alla sidor (-r, rekursiv) på http://ginatrapani.googlepages.com plus en nivå (—nivå = 1) till andra webbplatser som den länkar till (-H, spanvärdar) och konvertera länkarna i den nedladdade versionen för att peka på de andra webbplatsernas nedladdade versionen (-k). Åh ja, och få alla komponenter som bilder som utgör varje sida (-p). "

Varning: Se upp, de med små hårddiskar! Den här typen av kommandon laddar ner en massa data från webbplatser som länkar ut mycket (som bloggar)! Försök inte säkerhetskopiera Internet eftersom du har slut på hårddiskutrymme!

Återuppta stora filnedladdningar på en flagnande anslutning

Säg att du spargrisar grannens wifi och varje gång någon mikrobølgeovn popcorn tappar du anslutningen, och din video nedladdning (stygg du!) Fortsätter att skada halvvägs igenom. Direct Wget för att återuppta delvisa nedladdningar för stora filer på intermittenta anslutningar.

För att ställa in Wget att återuppta en avbruten nedladdning av denna 16MB "Mavericks Surf Highlights 2006: Wipeouts" kort från Google Video, använd:

wget -c --output-document=mavericks.avi "http://vp.video.google.com/videodownload?version=0&secureurl=qgAAAJCWpcRd5eI2k3sm3LWJZMjLyLFiTxk_KqUrRYbrzLTEw8hwMV30m3MRz6rYMTxGqWIfWMQjNJsP0fNXUMc34jzoPcy6z-qHde5UVD29Po6_9b_-d3J5AQpVROUPRqzkJriangEl2IMkKBJd08Q7TTJIAC_r6XID-fNYPLKHm1KRvx0smOslivNLGmyZsCsZmVNVN0jaw5-dloWtzPlI86zIubh1XvJsTg2u_YaHcaAB&sigh=-BbV2h_bIFVuVg4D-h6MUTxuErM&begin=0&len=139433&docid=6059494448346363884"

(Ursäkt för den humungösa, icke-inslagna URL.)

Alternativet -c ("fortsätt") sätter Wget att återuppta en delvis nedladdning om överföringen avbryts. Du kommer också att märka att webbadressen är i offert, nödvändig för alla adresser med & 'i den. Eftersom den webbadressen är så lång kan du också ange namnet på utdatafilen uttryckligen - i detta fall mavericks.avi.

Planera nedladdningar av en fil per timme

Det trevliga med något kommandoradsskript är att det är väldigt enkelt att automatisera. Om det till exempel fanns en ständigt förändrad fil som du ville ladda ner varje timme, säger du, kan du använda cron eller Windows Task Scheduler och Wget för att göra just det, eller om det fanns en mycket stor fil ville du att din dator skulle hämta mitt på natten medan du sov istället för just i det här ögonblicket när du behöver all din bandbredd för att få annat arbete gjort. Du kan enkelt schemalägga Wget-kommandot att köras vid ett senare tillfälle.

Som bevis på konceptet planerade jag igår en timnedladdning av Lifehacker dagliga trafikdiagram automatiskt. Kommandot såg ut så här:

wget --output-document=traffic_$(date +\%Y\%m\%d\%H).gif "http://sm3.sitemeter.com/rpc/v6/server.asp?a=GetChart&n=9&p1=sm3lifehacker&p2=&p3=3&p4=0&p5=64\%2E249\%2E116\%2E138&p6=HTML&p7=1&p8=\%2E\%3Fa\%3Dstatistics&p9=&rnd=7209"

Lägg märke till användningen av parametrarna% Y och% m datetime som resulterar i unika filnamn, så varje timme kommer kommandot inte att skriva över filen med samma namn som genererades timmen innan. Observera också att% 's måste undkomma med ett motstånd.

Bara för skojs skull lade jag ihop ett litet animerat gif av timtskartbilden som visar rörelsen i Lifehacker's trafik igår från 14:00 till midnatt:

Den här bilden förlorades en tid efter publiceringen, men du kan fortfarande se den här. Den här bilden förlorades en tid efter publiceringen, men du kan fortfarande se den här.

Ladda ner musik automatiskt

Denna sista teknik, föreslog av Jeff Veen, är överlägset min favoritanvändning av Wget. Idag finns det massor av kataloger, aggregatorer, filter och webbloggar som pekar på intressanta typer av media. Med Wget kan du skapa en textfillista över dina favoritwebbplatser som säger, länka till MP3-filer och schemalägga den för att automatiskt ladda ner alla nyligen tillagda MP3 från dessa webbplatser varje dag eller vecka.

Skapa först en textfil som heter mp3_sites.txt och lista webbadresser till dina favoritkällor för musik online en per rad (som http://del.icio.us/tag/system:fil… eller stereogum.com). Se till min tidigare funktion om hur man hittar gratis musik på webben för fler idéer.

Miniatyrbild av förhandsgranskning av artikel
Geek to Live: Hitta gratis musik på nätet

av Gina Trapani

Använd sedan följande Wget-kommando för att hämta dessa MP3: er:

wget -r -l1 -H -t1 -nd -N -np -A.mp3 -erobots=off -i mp3_sites.txt

Det Wget-receptet hämtar rekursivt bara MP3-filer som är länkade från webbplatserna i mp3_sites.txt som är nyare än vad du redan har laddat ner. Det finns några andra specifikationer där - gillar att inte skapa en ny katalog för varje musikfil, för att ignorera robots.txt och att inte krypa upp till överkatalogen till en länk. Jeff bryter ner det hela i sitt ursprungliga inlägg.

Det fantastiska med denna teknik är att när detta kommando har planerats får du en ständigt roterande jukebox med ny musik som Wget hämtar åt dig medan du sover. Med en bra uppsättning pålitliga källor behöver du aldrig leta efter ny musik igen - Wget kommer att göra allt arbete åt dig.

Installera Wget

Vill du prova allt detta? Windows-användare, du kan ladda ner Wget här; Mac-användare, gå hit. Ett alternativ för Windows-användare som är intresserade av mer Linuxy-godhet är att ladda ner och installera Unix-emulatorn Cygwin som också innehåller Wget och en hel mängd andra 'nixy-verktyg.

För hela användningen av alla Wgets hemliga alternativssås, skriv wget --help eller kolla in Wget-manualen online. Oavsett vad din nedladdningsuppgift kan vara, kommer en kombination av Wgets omfattande alternativ att göra jobbet precis rätt.

Någon Lifehacker-läsare fans av Wget? Vad använder du det mångsidiga verktyget för? Låt oss veta i kommentarerna eller på tips på lifehacker.com.

Gina Trapani , redaktören för Lifehacker, spenderar alldeles för mycket tid på att testa olika Wget-alternativrecept. Hennes semi-week-funktion, Geek to Live, visas varje onsdag och fredag ​​på Lifehacker. Prenumerera på Geek to Live-flödet för att få nya utbetalningar i din nyhetsläsare.

Rekommendera Redaktionen