🚫 WordPressi indekseerimine: 5 viisi lehtede eemaldamiseks Google'i otsingutulemustest

Q: Kas ma saan lehe jäädavalt eemaldada, kasutades ainult robots.txt?

Ei. robots.txt takistab läbivaatamist, kuid ei eemalda lehte indeksist. Google võib seda jätkuvalt otsingutulemustes näidata, lihtsalt ilma kirjelduskatketa ja märkega „Teave pole saadaval". Tüüpiline stsenaarium: leht /old-promo/ on blokeeritud failis robots.txt ja püsib indeksis kuus kuud tühja kirjeldusega. noindex lahendas probleemi nädalaga.

Q: Miks Google indekseerib endiselt lehekülgede kaupa jaotamise ja otsingu lehti?

WordPress genereerib vaikimisi lehti nagu /page/2/, /search/query/ ja /author/name/ ning otsingumootorid leiavad need. Kui need pole Yoast SEO-s blokeeritud (5. samm), paljunevad duplikaadid kümnete kaupa. Kontrolli Yoast SEO → Seaded → Täpsem → Läbivaatuse optimeerimine, kus saad tsentraalselt keelata lehekülgede kaupa jaotamise ja arhiivilehtede indekseerimise.

Seadistad testlehe ja Google on selle juba indekseerinud. Või hakkasid /page/2 tüüpi leheküljed ootamatult otsingutulemustes ilmuma ja tekitasid duplikaate. Võib-olla leidis keegi otsingu kaudu kliendi isikliku konto. Igaüks, kes tõsiselt WordPressiga töötab, on vähemalt korra avastanud indeksist midagi, mida seal olema ei peaks.

Probleem on tüütu: otsingumootor saadab inimesed sinna, kuhu sa ei soovinud, ja duplikaatlehed lahjendavad põhisisu kaalu ning kahjustavad kohti otsingutulemustes. Hea uudis on see, et lehe saab otsingutulemustest eemaldada. Jäädavalt.

Allpool on viis toimivat meetodit: alates kiirest ajutisest eemaldamisest Search Console'i kaudu kuni täieliku blokeerimiseni metasiltide ja hulgiviisilise indekseerimise seadistamiseni Yoast SEO abil. Iga meetodit on testitud reaalsel WordPressi saidil ja kirjeldatud koos tegevuse täpse asukohaga.

💡 Kiire ülevaade:

Õpi, miks peaks lehti indeksist eemaldama ja millal see on tegelikult vajalik
Lisa konkreetsele lehele noindex metasilt, kõige usaldusväärsem meetod püsivaks eemaldamiseks
Seadista robots.txt kui lisatõke robotitele
Kaitse mustandid ja privaatsed jaotised parooliga
Eemalda URL ajutiselt, kasutades Google Search Console'i ajutise eemaldamise tööriista
Halda kümnete lehtede indekseerimist tsentraalselt Yoast SEO kaudu

1. Samm: lisa lehele noindex metasilt

Kõige otsesem ja usaldusväärsem viis lehe indeksist eemaldamiseks on öelda otsingumootorile: „Ära seda indekseeri." Seda tehakse noindex metasildiga <head> sektsioonis.

Kui lehe genereerib WordPress, saab sildi lisada konksu (hook) kaudu. Lisa kood oma alamteema functions.php faili või Code Snippets pluginat kasutades:

1 add_action('wp_head', 'sdstudio_noindex_specific_page');
2 function sdstudio_noindex_specific_page() {
3     if (is_page(42)) { // replace 42 with your page ID
4         echo '<meta name="robots" content="noindex">' . "\n";
5     }
6 }

Lehe ID leiad administraatori paneelist: ava leht redigeerimiseks ja vaata URL-i, see sisaldab post=42. Pärast salvestamist ava lehe lähtekood (Ctrl+U) ja veendu, et silt ilmub <head> sektsioonis.

Kui teemafailidele juurdepääs on ebamugav, annavad SEO pluginad sama tulemuse (seda käsitleme 5. sammus); need lisavad noindex ühe klõpsuga.

Pärast sildi paigaldamist eemaldab Google lehe indeksist järgmise läbivaatuse (crawl) käigus. Tavaliselt võtab see aega mõnest päevast kuni paari nädalani. 4. samm aitab protsessi kiirendada.

2. Samm: seadista robots.txt kui lisatõke

robots.txt ei eemalda juba indekseeritud lehti; see takistab robotitel neile tulevikus juurde pääseda. Seetõttu kasutatakse seda teise kaitseliinina: kõigepealt määrad noindex (1. samm) ja seejärel blokeerid lehe failis robots.txt, et otsingumootor ei üritakski seda uuesti läbi vaadata.

WordPress genereerib virtuaalse robots.txt; saidi juurkataloogis ei ole füüsilist faili. Seda saab redigeerida kahel viisil:

Yoast SEO kaudu: SEO → Tööriistad → Faili redaktor. Kui faili ei eksisteeri, loob plugin selle nupuvajutusega.

Filtri kaudu koodis:

1 add_filter('robots_txt', 'sdstudio_block_page_in_robots', 10, 2);
2 function sdstudio_block_page_in_robots($output, $public) {
3     $output .= "Disallow: /private-page/\n";
4     $output .= "Disallow: /client-dashboard/\n";
5     return $output;
6 }

Kontrolli tulemust aadressil https://your-site.com/robots.txt; sinu Disallow direktiivid peaksid seal ilmuma.

Oluline märkus: kui leht on juba indekseeritud ja blokeerid selle AINULT robots.txt kaudu (ilma noindex-ita), lõpetab Google selle läbivaatamise, kuid võib seda jätkuvalt otsingutulemustes näidata, lihtsalt ilma uuendatud kirjelduskatketa. Seetõttu tuleks robots.txt alati kombineerida noindex-iga.

Vaata seda lühikest videot, mis näitab lehe noindex seadistamise täielikku protsessi Yoast SEO ja käsitsi meetodi abil:

3. Samm: kaitse leht parooliga

Lehe parooliga kaitsmine on kiirlahendus: otsingumootor ei pääse füüsiliselt paroolisisestusvormist mööda ega näe sisu. See sobib kliendi töölaudadele, mustanditele ja arendusjärgus lehtedele.

WordPressi redaktoris ava vajalik leht. Külgribal „Dokument" leia plokk „Nähtavus" ja klõpsa „Avalik"; kuvatakse kolm valikut: avalik, privaatne ja parooliga kaitstud.

Vali „Parooliga kaitstud", määra parool ja salvesta leht. Nüüd, kui Google üritab seda avada, näeb ta ainult paroolisisestusvormi ja sisu jääb nähtamatuks.

See meetod ei sobi kogu saidi jaoks: kümnete lehtede parooliga kaitsmine on ebamugav. Hulgiindekseerimise haldamiseks kasuta Yoast SEO-d (5. samm).

Kui Google on lehe juba enne parooli määramist indekseerinud, jääb vana kirjelduskatke otsingutulemustesse. See kaob alles siis, kui robot üritab lehte uuesti läbi vaadata ja põrkab paroolitõkkele. Protsessi kiirendamiseks taotle uut läbivaatust Search Console'i kaudu (4. samm).

4. Samm: eemalda URL ajutiselt Google Search Console'i kaudu

Search Console'i ajutise eemaldamise tööriist eemaldab lehe otsingutulemustest umbes kuueks kuuks. See on ajutine meede, kuid toimib kiiresti, tavaliselt 24 tunni jooksul.

Mine Google Search Console'isse ja vali oma sait (domeen peab olema kinnitatud). Vasakpoolses menüüs ava Eemaldamised ja klõpsa Uus taotlus.

Sisesta selle lehe täpne URL, mida soovid eemaldada, koos https://-iga ja ilma ankru (#) osata. Vali Eemalda URL ajutiselt ja kinnita.

Ajutine URL-i eemaldamise tööriist Google Search Console'is

Kuue kuu pärast võib leht otsingutulemustesse naasta, kui sellel pole selleks ajaks noindex-it ja see on läbivaatamiseks endiselt ligipääsetav. Seetõttu EI OLE ajutine eemaldamine iseseisev lahendus, vaid kiirendi 1. ja 5. sammu püsivatele meetoditele.

Soovid lehe jäädavalt eemaldada? Määra noindex → taotle eemaldamist Search Console'is → kuue kuu pärast takistab noindex selle tagasitulekut.

5. Samm: halda kümnete lehtede indekseerimist Yoast SEO kaudu

Kui sul on vaja indekseerimisest blokeerida mitte ainult üks leht, vaid terved sisutüübid, autorite arhiivid, lehekülgede kaupa jaotamise lehed või meediafailid, ei saa seda käsitsi teha. Yoast SEO pakub tsentraliseeritud indekseerimise haldust.

Ava Yoast SEO → Seaded → Sisu tüübid. Näed kõiki registreeritud sisutüüpe: postitused, lehed, meedia ja pluginatest pärinevad kohandatud tüübid.

Sisutüübi indekseerimise seaded Yoast SEO-s

Iga tüübi puhul saad eraldi otsustada, kas näidata seda otsingumootoritele. Sea lüliti Näita otsingutulemustes? asendisse „Ei" ja kogu seda tüüpi sisu eemaldatakse indeksist. See on kasulik meedia (WordPressi manuslehed) puhul, mis tekitavad sageli rämps-URL-e otsingutulemustes.

Üksikut lehte saab Yoasti kaudu blokeerida ka juhtumipõhiselt:

Üksiku lehe indekseerimise seaded Yoast SEO kaudu

Ava leht redigeerimiseks, keri alla Yoast SEO metakasti juurde, mine vahekaardile Täpsem ja rippmenüüs Kas lubada otsingumootoritel seda lehte otsingutulemustes näidata? vali Ei. Yoast lisab noindex spetsiaalselt sellele lehele, ilma ühegi koodireata.

Hulgiindekseerimise haldamine on peamine põhjus SEO plugina kasutamiseks käsitsi functions.php redigeerimise asemel, kui sul on rohkem kui kolm lehte.

Lehe indekseerimise lüliti Yoast SEO meta-kastis

Eraldi kontrolli Saidi esindus seadet asukohas Yoast SEO → Seaded → Üldine → Saidi põhitõed. Kui sait on alles arendusjärgus ja sa ei soovi, et seda üldse indekseeritaks, lülita seal sisse „Ma ei ole valmis oma saiti indekseerima". See on globaalne noindex kogu saidile, mugav lavastuskeskkondade jaoks.

⁉️🤔 Korduma kippuvad küsimused

Kui kaua võtab aega, enne kui leht kaob Google'ist pärast noindex lisamist?

Standardne ajavahemik on mõnest päevast kuni 2-4 nädalani. Kõik sõltub sellest, kui sageli sinu saiti uuesti läbi vaadatakse: igapäevase läbivaatusega uudistesaitide puhul kaob leht 2-3 päevaga, samas kui väikese blogi puhul võib protsess kesta kuni kuu. Administreerimiskogemuse põhjal, saidi puhul, mille keskmine külastatavus on 5-10 tuhat kuus, lahkus leht indeksist 6 päeva pärast noindex määramist pluss käsitsi uue läbivaatuse taotlust Search Console'is.

Kas ma saan lehe jäädavalt eemaldada, kasutades ainult robots.txt?

Ei. robots.txt takistab läbivaatamist, kuid ei eemalda lehte indeksist. Google võib seda jätkuvalt otsingutulemustes näidata, lihtsalt ilma kirjelduskatketa ja märkega „Teave pole saadaval". Tüüpiline stsenaarium: leht /old-promo/ on blokeeritud failis robots.txt ja püsib indeksis kuus kuud tühja kirjeldusega. noindex lahendas probleemi nädalaga.

Mida teha, kui leht kuulub kellelegi teisele ja ma ei saa sellele noindex-it lisada?

Kui kellegi teise saidil olev sisu rikub sinu õigusi, esita juriidiline taotlus Google'i õigusliku eemaldamise kaudu. Kui leht on lihtsalt aegunud ja sisu on muutunud, taotle kirjelduskatke uuendamist Search Console'i aegunud sisu eemaldamise tööriista kaudu. See on saadaval isegi ilma saidi omandiõigust kinnitamata.

Miks Google indekseerib endiselt lehekülgede kaupa jaotamise ja otsingu lehti?

WordPress genereerib vaikimisi lehti nagu /page/2/, /search/query/ ja /author/name/ ning otsingumootorid leiavad need. Kui need pole Yoast SEO-s blokeeritud (5. samm), paljunevad duplikaadid kümnete kaupa. Kontrolli Yoast SEO → Seaded → Täpsem → Läbivaatuse optimeerimine, kus saad tsentraalselt keelata lehekülgede kaupa jaotamise ja arhiivilehtede indekseerimise.

Mida teha, kui leht ei lahku otsingutulemustest: samm-sammuline plaan

Oleme koostanud kontrollnimekirja ühte tabelisse. Mine see järjekorras läbi ja enamikul juhtudel kaob leht otsingutulemustest 1-2 nädala jooksul.

Samm	Tegevus	Tulemus
1	Kontrolli, et `noindex` on määratud ja lähtekoodis nähtav (`Ctrl+U`)	Kinnitus, et silt on paigas
2	Taotle uut läbivaatust URL-i kontrolli kaudu Search Console'is	Google saab muudatustest kohe teada
3	Esita seal ajutise eemaldamise taotlus	Leht lahkub otsingutulemustest 24 tunni jooksul
4	Blokeeri URL failis `robots.txt`	Robotid lõpetavad lehele läbivaatuseelarve kulutamise
5	Veendu, et leht pole saidikaardil loetletud (Yoast → Seaded → Sisu tüübid)	Välistab uuesti avastamise saidikaardi kaudu

Kui pärast kõiki viit sammu on leht kuu aja pärast endiselt indeksis, kontrolli, kas sellele viitavad välised lingid. Aktiivne sissetulev link teiselt saidilt võib panna Google'i hoidma URL-i indeksis tavapärasest kauem. Sel juhul aitab ainult aeg ja korduva läbivaatuse puudumine.

1	add_action('wp_head', 'sdstudio_noindex_specific_page');
2	function sdstudio_noindex_specific_page() {
3	if (is_page(42)) { // replace 42 with your page ID
4	echo '<meta name="robots" content="noindex">' . "\n";
5	}
6	}

1	add_filter('robots_txt', 'sdstudio_block_page_in_robots', 10, 2);
2	function sdstudio_block_page_in_robots($output, $public) {
3	$output .= "Disallow: /private-page/\n";
4	$output .= "Disallow: /client-dashboard/\n";
5	return $output;
6	}

Kõik WordPressist, veebiarendusest — ja mitte ainult

🚫 Kuidas eemaldada WordPressi lehti Google'i otsingutulemustest