Det gratis kommandolinjeverktøyet Wget kan speile nettsteder, laste ned hver side, hvert bilde, hver CSS-fil og lagre dem i en mappe på disken. Det høres ut som magi, men det er ren ingeniørkunst: rekursiv lenkegjennomgang, stikonvertering til relative URL-er og nøye bevaring av struktur. Etter å ha opprettet et slikt arkiv åpnes nettstedet lokalt som om det var live; du klikker bare på en hvilken som helst .html-fil.

Problemet er at gode veiledninger for Windows nesten ikke finnes. De fleste manualer er skrevet for Unix, og den gjennomsnittlige Windows-brukeren trenger en ferdig .exe-fil, klare kommandoer og beskyttelse mot vanlige fallgruver som uendelig rekursjon eller ødelagte lenker. Dette gapet skal vi fylle.

💡 Rask oversikt:

• Last ned Wget for Windows og legg verktøyets sti til systemets PATH
• Åpne en ledetekst i målmappen og kjør speilingskommandoen
• Etter nedlasting, fiks ødelagte lenker og stier med grepWin, så er arkivet klart for visning
• Hvis rekursjon ikke er nødvendig, bruk en modus med en forhåndslagret liste over URL-er

Hvorfor laste ned et helt nettsted

Internett er ikke evig. Nettsteder stenger, bytter eier, gjennomgår redesign og mister gammelt innhold. Datasamler-miljøet på Reddit har for lengst gjort arkivering til en kultur, og med god grunn. Du kan ikke forutsi når favorittbloggen din forsvinner eller når verdifull dokumentasjon flyttes bak en betalingsmur, men du kan lagre den i dens nåværende form.

Scenarioene spenner fra det opplagte til det uventede. Du skal reise et sted uten internettilgang, og du trenger et fungerende øyeblikksbilde av et informasjonsnettsted. Eller du samler på designepoker; gårsdagens nett med sine tabelloppsett og syrefargede knapper er allerede historie. Selv ditt eget nettsted gir mening å speile jevnlig: det er ikke en sikkerhetskopi i tradisjonell forstand (du kan ikke gjenopprette databasen), men et statisk øyeblikksbilde som vil overleve ethvert hosting-krasj.

En viktig advarsel: vær forsiktig med hva du laster ned. Opphavsrett og personvernlover gjelder fortsatt. Privat bruk av en lagret kopi er vanligvis lovlig, men å publisere andres innhold uten tillatelse kan skape problemer.

Hvordan Wget gjennomsøker et nettsted: prosessmekanikk

Wget starter fra URL-en du oppgir og følger rekursivt hver interne lenke, teoretisk sett til uendelig dybde. Når det er riktig konfigurert, vil det ikke bryte ut på det åpne internett og begynne å laste ned Google: --mirror-alternativet kombinert med --reject-regex holder gjennomsøkingen innenfor måldomenets grenser. Alle eksterne lenker forblir urørte, kun tekst med den opprinnelige URL-en.

Underveis henter Wget alt: HTML-sider, stilark, skript, bilder, fonter. Deretter konverterer det interne lenker til relative stier, noe som gjør at arkivet kan åpnes lokalt med navigasjon som fungerer som på det levende nettstedet. Eksterne lenker forblir uendret og fortsetter å peke til internett (hvis du har det tilgjengelig under visning).

Et arkiv, ikke en sikkerhetskopi. Du kan ikke gjenopprette et nettsted fra en slik statisk kopi fordi det ikke finnes noen database og ingen serverlogikk. Wget fungerer som en søkemotorindekserer: den finner bare sider som noen har lenket til. I prosessen vil du se hvor viktige interne lenker er for innholdskonnektivitet; foreldreløse sider uten innkommende lenker havner ikke i arkivet.

Selv om Wget ikke er knyttet til noe bestemt CMS, fungerer det spesielt godt med WordPress-nettsteder. Årsaken er enkel: standardwidgeter som emneskyer og månedsarkiver skaper et tett nettverk av interne lenker som boten traverserer uanstrengt.

Installere Wget på Windows

Wget-verdenen dreier seg historisk rundt Unix, og Windows-brukere er gjester her. Hvis du går til det offisielle GNU-nettstedet og laster ned kildekoden, får du en haug med .c-filer, ikke et program klart til å kjøres. Du trenger en ferdigkompilert binærfil:

• Gå til eternallybored.org/misc/wget, et uoffisielt, men utprøvd depot med Wget-bygg for Windows (gjeldende versjon 1.21.4)
• Last ned zip-arkivet for den nyeste versjonen og pakk det ut til en egen mappe. Ingen installasjon er nødvendig; det er et portabelt verktøy

Hvis du dobbeltklikker på wget.exe, vil et ledetekstvindu blinke og umiddelbart lukkes. Wget er et konsollprogram; det trenger en åpen terminal i målmappen din. Og for å slippe å kopiere .exe-filen inn i hver mappe med fremtidige arkiver, legg Wget til systemets PATH:

• Trykk Windows + R, lim inn og kjør:

1
   "C:\Windows\system32\rundll32.exe" sysdm.cpl,EditEnvironmentVariables

• I seksjonen Brukervariabler finner du variabelen Path og klikker Rediger...
• Klikk Ny og skriv inn hele stien til mappen som inneholder wget.exe
• Lukk alle dialoger ved å klikke OK

Verifisering: trykk Windows + R igjen → cmd /k "wget -V". Du skal se Wget-versjonen, ikke en melding om at kommandoen ikke gjenkjennes.

Viktige Wget-alternativer: detaljert gjennomgang

De fleste alternativene har korte enkeltbokstav-ekvivalenter, men lange navn er mer meningsfulle og lesbare uten et jukseark. Jeg har valgt innstillinger som er utprøvd i praksis, så i stedet for å lese GNU Wget-manualen på 181 sider, får du et utdrag med en forklaring på «hvorfor» for hvert enkelt.

Kjernealternativer

--mirror aktiverer uendelig rekursjon. I bunn og grunn er det et sett med andre alternativer kombinert under ett flagg. Uten det vil Wget bare laste ned den angitte siden, ikke hele nettstedet. Det er --mirror som gjør speiling mulig.

--page-requisites laster ned alle tilknyttede ressurser: CSS, JavaScript, bilder, fonter. Uten dette alternativet vil arkivet ditt se ut som en naken HTML-side uten stilsett eller bilder.

--convert-links skriver om lenker i HTML-filer etter at nedlastingen er fullført, slik at de fungerer lokalt. Absolutte URL-er erstattes med relative stier. Dette er det som lar deg åpne index.html fra disk og navigere gjennom sider som på et levende nettsted.

--adjust-extension legger til filendelser på filer som ankom uten. Moderne nettsteder serverer ofte sider uten .html på slutten (menneskelig lesbare URL-er), og uten dette alternativet vil ikke nettleseren forstå at den ser på et HTML-dokument. Det er en hake: hvis serveren komprimerer innhold via gzip, kan Wget feilaktig gi filen en .gz-endelse. Det neste alternativet beskytter mot dette.

--compression=auto håndterer gzip-komprimering i farten. Uten det kan en SVG-logo bli lagret som logo.svg.gz og bli ubrukelig for lokal visning. Dette alternativet er ikke tilgjengelig i alle bygg; Unix-brukere støter noen ganger på at det mangler. Windows-bygget fra eternallybored.org inkluderer det.

--reject-regex "/search|/rss" forhindrer gjennomsøking av URL-er som inneholder de angitte ordene. Søkesider og RSS-strømmer genererer uendelige kjeder av parametere som fyller filsystemet ditt med navn som er flere skjermlengder lange. Det regulære uttrykket her bruker grunnleggende POSIX-syntaks, ikke full PCRE. Vær forsiktig: /search vil kutte av ikke bare søppel fra søk, men også legitime artikler med URL-er som yoursite.com/search-for-extraterrestrial-life. Ved slike kollisjoner, gjør mønsteret mer spesifikt.

Tilleggsalternativer

--no-if-modified-since deaktiverer sjekking av If-Modified-Since-headeren. Jeg inkluderer bare dette flagget når serveren eksplisitt klager i loggene. Hvis du ikke planlegger å kjøre på nytt i samme mappe for å fange opp endringer, er ikke dette alternativet kritisk.

--no-check-certificate hopper over SSL-sertifikatverifisering. Når du speiler, legger du ikke inn passord eller overfører konfidensielle data, så streng sertifikatverifisering er overdrevent. Dette flagget sparer deg for hodepine på nettsteder med utløpte eller selvsignerte sertifikater.

--user-agent forfalsker nettleserens User-Agent. Noen servere oppdager Wget og blokkerer forespørsler. Å utgi seg for å være en vanlig Chrome-nettleser løser problemet:

1
--user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"

Hvis blokkering skjer via IP, trenger du en VPN og muligens fordeling av nedlastingen over flere maskiner. I dette tilfellet vil alternativene --wait og --random-wait for å senke forespørselsraten også være nyttige.

--restrict-file-names=windows begrenser tegn i filnavn til et Windows-sikkert sett. I Unix er spesialtegn i navn tillatt, og et arkiv lastet ned på en Linux-maskin kan være uleselig på Windows. Hvis du jobber i Windows, brukes flagget automatisk; hvis du laster ned på Unix, men skal vise på Windows, spesifiser det eksplisitt.

--backup-converted lagrer en originalkopi av hver fil som Wget endret under lenkekonvertering. Dette dobler arkivstørrelsen. Jeg bruker det ikke, men jeg nevner det i tilfelle du trenger en sekund-for-sekund-sikkerhetskopi av hver redigering.

Åpne ledeteksten i riktig mappe

Wget kjøres fra en terminal, og terminalen må peke til mappen der du planlegger å lagre arkivet. Det finnes flere metoder, fra standard til avansert:

• Windows + R → cmd → Enter, deretter cd /d C:\path\to\archive (flagget /d tillater bytte mellom stasjoner)
• Hvis stien inneholder mellomrom, pakk den inn i anførselstegn: cd /d "C:\My Archive"

Raskere, på én linje: Windows + R → cmd /k "cd /d C:\path\to\archive". Flagget /k holder vinduet åpent etter at kommandoen er utført.

Hvis du bruker Total Commander: Kommandoer → Åpne kommandoskall åpner en terminal direkte i gjeldende mappe. For Utforsker finnes det en registerjustering som legger til et «Åpne kommandovindu her»-alternativ i kontekstmenyen.

Starte nedlastingen: den komplette kommandoen

Når vi setter alt sammen. Her er kommandoen jeg bruker for å speile et gjennomsnittlig nettsted:

1
wget --mirror --page-requisites --convert-links --adjust-extension --compression=auto --reject-regex "/search|/rss" --no-if-modified-since --no-check-certificate --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36" https://example.com

Det samme kan skrives med korte flagg: wget -mkp -E --compression=auto -R "/search|/rss" .... Men lange navn gjør kommandoen selvdokumenterende. Om en måned åpner du .bat-filen din og forstår umiddelbart hva hvert alternativ gjør.

Erstatt https://example.com med den faktiske URL-en til målnettstedet og trykk Enter. Prosessen kan ta alt fra noen minutter til flere timer, avhengig av nettstedets størrelse og serverbegrensninger.

Etterbehandling: grepWin og typiske reparasjoner

Etter nedlasting trenger arkivet nesten alltid noen finpuss. Verktøyet grepWin er en sveitserkniv for massesøk og -erstatt i tekstfiler på Windows. Her er et par typiske scenarioer:

• Fjerne overflødige HTML-tagger. Noen CMS-plattformer genererer tomme <source>-tagger som forstyrrer renderingen. I grepWin velger du regex-søk etter <source media=".*">, angir masken *.html og erstatter med en tom streng.

• Fikse ressursstier. Hvis noen stier forble absolutte, vil grepWin finne dem etter et mønster som src="https://example.com/ og erstatte med den lokale ekvivalenten.

Dette er bare et utgangspunkt; hvert nettsted har sine egne overraskelser. grepWins styrker: umiddelbar forhåndsvisning før erstatning, rekursiv mappebehandling og støtte for regulære uttrykk. Men når omfanget av redigeringer går utover «søk og erstatt», tilbyr Unix-verktøy som sed og grep mye mer fleksibilitet. Windows-versjoner er tilgjengelige via WSL eller Cygwin.

Alternativ: nedlasting fra en URL-liste uten rekursjon

Rekursiv gjennomsøking er ikke alltid hensiktsmessig. Hvis nettstedet er enormt, men du bare trenger et spesifikt utvalg sider, er det enklere å lage en URL-liste og mate den til Wget via --input-file:

1
wget --input-file=links.txt --page-requisites --convert-links --adjust-extension --compression=auto --no-if-modified-since --no-check-certificate --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"

Merk at --mirror og --reject-regex er fjernet: rekursjon er ikke nødvendig, og du kontrollerer URL-listen selv.

Hvordan setter du sammen en slik liste? En metode er Googles avanserte søk: søket site:yoursite.com "keyword phrase" returnerer indekserte sider om emnet. Sett resultatene til 100, utstyr deg med Copy Links-utvidelsen for Chrome, og kopier URL-er i grupper til links.txt.

Video: speile et nettsted på 5 minutter

For å se hele prosessen live, fra installasjon til ferdig arkiv, se denne skjermopptaket:

Forfatteren går gjennom prosessen fra bunnen av: laster ned Wget, konfigurerer alternativer, kjører kommandoen og åpner resultatet i en nettleser. Jeg anbefaler å se den før din første kjøring; 7 minutter skjermtid vil spare deg for en time med feilsøking.

⁉️🤔 Ofte stilte spørsmål

Kan jeg gjenopprette et nettsted fra et Wget-arkiv?

Et Wget-arkiv er et statisk øyeblikksbilde: HTML, CSS, JS og mediefiler. Det inneholder ingen database og ingen serverlogikk. Du kan ikke laste opp en slik kopi til en host og gjenopplive WordPress med kommentarer og et adminpanel. Dette er et verktøy for å bevare innhold, ikke for sikkerhetskopiering. For full WordPress-sikkerhetskopiering, bruk utvidelser som UpdraftPlus eller Duplicator, som lagrer både filer og databasen.

Wget laster ned for mye søppel. Hvordan begrenser jeg det?

En kombinasjon av --reject-regex (URL-filter etter mønster) og --reject (filter etter filendelser) løser problemet. For eksempel vil --reject=jpg,png,gif hoppe over alle bilder. Eller --reject-regex "/tag/|/category/|/page/" vil kutte ut tag-arkiver, kategorier og paginering. Nøkkelen er å teste på et lite utvalg sider før en full kjøring.

Serveren blokkerte IP-en min etter at jeg startet nedlastingen. Hva bør jeg gjøre?

Wget kan oppdages via User-Agent eller forespørselsrate. Tre beskyttelsesnivåer: User-Agent-spoofing via --user-agent (vist ovenfor), struping via --wait=1 --random-wait (1 sekunds pause pluss tilfeldig tillegg), og IP-endring via VPN. For store nettsteder kan du dele opp nedlastingen: klargjør flere URL-lister og kjør Wget parallelt fra forskjellige maskiner eller VPN-endepunkter.

Hvorfor er Wget bedre enn nettleserutvidelser for å lagre sider?

Utvidelser som SingleFile lagrer én enkelt side. Wget speiler et helt nettsted, med navigasjon, paginering og alle interne lenker. For en blogg med 500 artikler ville en nettleserutvidelse kreve 500 manuelle klikk. Wget gjør det med én kommando. I tillegg konverterer ikke nettleserutvidelser lenker for lokal navigasjon: du ville fått 500 isolerte filer uten forbindelse til hverandre.

Arkivet veier gigabyte. Hvordan komprimerer og lagrer jeg det?

En mappe med tusenvis av små filer er upraktisk å overføre, sikkerhetskopiere og skanne med antivirusprogramvare. Jeg pakker slike arkiver inn i RAR ved hjelp av «Store»- eller «Fastest»-metoden: hastighet betyr mer enn komprimeringsgrad fordi HTML og media allerede er komprimert. Jeg legger alltid til en gjenopprettingspost, noe som redder dagen når det er dårlige sektorer på en disk eller overføringsfeil. Resultatet: én enkelt fil som kopieres på sekunder og ikke faller fra hverandre under lagring.

Å laste ned eller ikke laste ned: når Wget er verdt det

Wget er ikke til daglig bruk. Det er et verktøy for en spesifikk oppgave: å skaffe en komplett statisk kopi av et nettsted du bryr deg om eller finner nyttig. Når det er en risiko for at ressursen forsvinner, grip til Wget. Når du skal jobbe offline, grip til Wget. Når du trenger å bevare et «digitalt fossil» fra Geocities-tiden, enda mer grunn til det.

For enkeltsider holder en nettleserutvidelse. For full WordPress-sikkerhetskopiering, bruk en sikkerhetskopieringsutvidelse. Men når du spesifikt trenger et selvstendig, navigerbart arkiv av et helt nettsted, har Wget praktisk talt ingen alternativer, og nå vet du hvordan du kjører det på Windows uten problemer.

Prøv det på et lite nettsted fra en bekjent eller på din egen blogg. Den første kjøringen vil avklare mye, og den andre vil gå knirkefritt. Og ikke glem gjenopprettingsposten i arkivet ditt: la samlingen din overleve enhver harddisk.