Как не индексировать (Noindex) под страницы пагинации в плагине Yoast SEO для архивов и тегов

Если вы используете замечательный плагин Yoast SEO WordPress, вам пригодится noindex для архивов и под страниц тегов и категорий, чтобы их можно было заблокировать из индекса Google. Вы, вероятно, поняли, что плагин Yoast больше не блокирует страницы архива из индекса Google, поскольку они уже много лет убрали возможность запретить переход на эти страницы. Но почему?

Плагин Yoast SEO и параметры NoIndex

Плагин Yoast SEO WordPress — очень популярный плагин WordPress, который используют более 5 миллионов веб-сайтов. Я встревожился, так как после перехода с другого плагина мое количество страниц, проиндексированных Google, просто увеличилось и удвоилось безо всякой очевидной причины, пока я не исследовал дальше.

Вы можете проверить количество страниц, проиндексированных в Google, выполнив поиск по site: domain.com. Как видите, в Google проиндексированы сотни подстраниц архива тегов. Это все страницы с /page/URL-адресами.

Объяснение, которое дают разработчики Yoast на странице поддержки является то, что Google умеет на протяжении многих лет распознавать previousи next REL — теги, которые означают нумерацию страниц, и, таким образом, они понимают архитектуру сайта очень хорошо направлять пользователей на первой странице. Далее стоит процитировать…

Отсутствие индексации всех этих страниц приводит к меньшему количеству обходов для них (источника ), что впоследствии приводит к меньшему количеству обходов старых статей, что не является хорошей идеей для большинства сайтов ».

Появляется информация о том, что если вы не индексируете страницу в долгосрочной перспективе, они также могут не переходить по ссылкам с этой страницы. Поскольку эта страница не проиндексирована, дальнейшее сканирование с этой страницы может уменьшиться. Вроде нормально. Я лично считаю, что это следует предлагать как вариант, который пользователи могут настроить.

Как настроить Noindex для архивов в Yoast

Но я не хочу, чтобы Google индексировал тысячи страниц по тегам и категориям, так как это может привести к дублированию контента и проблемам с бюджетом сканирования на крупных сайтах.

Вариант 1 — if (is_paged()) {

Итак, вот код, который я добавил в файл functions.php моей темы WordPress, чтобы заблокировать все подстраницы из категорий, а также теги, а также страницы архива индекса.

add_filter("wpseo_robots", function($robots) {
    if (is_paged()) {
        return 'noindex,follow';
    } else {
        return $robots;
    }
});

Что делает этот код, так это то, что он будет показывать метатеги noindex на всем выгружаемом контенте (is_page) из Google. Он добавит мета-тег robots в часть HTML-кода, подобную этой.

Все URL-адреса, содержащиеся /page/в URL-адресе, что несколько раз встречается в индексных архивах. архивы категорий и архивы тегов покажут этот код.

Вариант 2 — if (is_paged() && is_archive()) {

Вариант 2. Следующий код добавит noindex к подстраницам категорий и тегов, сохраняя подстраницы страниц индекса. Посмотрите, что вам подходит.

add_filter("wpseo_robots", function($robots) {
    if (is_paged() && is_archive()) {
        return 'noindex,follow';
    } else {
        return $robots;
    }
});

Очень важно — после активации вы можете проверить исходный HTML-код всех таких страниц и увидеть, что код отображается правильно и на тех страницах, которые вы ожидали. Постепенно по мере того, как робот Googlebot повторно просматривает ваши страницы и считывает эти теги, Google будет удалять их из индекса в течение следующих нескольких недель.

Предупреждение: делайте это на свой страх и риск, поскольку это приведет к удалению, возможно, тысяч проиндексированных страниц из индекса Google и может отрицательно повлиять на рейтинг вашего сайта в поисковых системах и посещаемость сайта. Поэтому перед внедрением этого кода проконсультируйтесь со специалистом по SEO.