SEO-специалист регулярно сталкивается с задачей проверить не весь сайт, а конкретный набор страниц. Собрали список URL после контент-аудита, подготовили карту редиректов для миграции, хотите просканировать только посадочные страницы конкурентов, и тут стандартный режим Spider оказывается избыточным. Он лезет во все ссылки подряд, тратит время и ресурсы.

Screaming Frog SEO Spider решает эту задачу через режим списка. С виду простая штука: загрузил перечень URL и получил данные только по ним. Но за этой простотой скрывается гибкий механизм, способный закрыть десятки нетипичных сценариев аудита.

Ниже, полное руководство по режиму списка: от базовой загрузки до продвинутых техник с API-интеграциями и аудитом редиректов.

💡 Быстрый обзор:

• Переключение в режим списка: Mode > List в верхнем меню SEO Spider
• Загрузка URL: файл, ручной ввод или XML-карта сайта
• Автоматическая нормализация и дедупликация при загрузке
• Экспорт данных в исходном порядке для сопоставления с внешними таблицами
• Продвинутые сценарии: аудит редиректов, сбор внешних ссылок и метрик через API

Как работает режим списка

В SEO Spider два основных режима сканирования. Первый, Spider по умолчанию: вводите домен, паук обходит страницы по ссылкам. Второй, List: вы загружаете готовый перечень URL, и паук работает только с ними.

Переключиться между режимами просто: Mode > List в навигации верхнего уровня.

Два ключевых отличия от Spider-режима. Интерфейс меняется: вместо адресной строки появляется кнопка загрузки. И автоматически включается ограничение глубины сканирования со значением «0». Это означает, что паук не пойдёт по ссылкам загруженных страниц, он просканирует только те URL, которые вы ему дали, и ничего больше. Ни картинок на них, ни внешних ссылок, ни исходящих.

Есть нюанс: если включён JavaScript-рендеринг, SEO Spider загрузит ресурсы страницы (скрипты, стили, изображения), чтобы корректно отрисовать её в headless Chrome. Но это по-прежнему не обход других страниц, только ресурсы самой загруженной.

Загрузка списка URL

В режиме списка нажмите кнопку Upload и выберите способ: загрузить файл, вставить URL в диалоговое окно или импортировать XML-карту сайта.

Два момента, о которых стоит знать перед загрузкой.

Требование протокола

Если опустить http:// или https:// и ввести просто www.screamingfrog.co.uk/, SEO Spider не прочитает URL. Вы увидите сообщение «0 URLs found».

Всегда указывайте протокол: https://www.screamingfrog.co.uk/.

Нормализация и дедупликация

SEO Spider нормализует адреса при загрузке и автоматически убирает дубликаты перед сканированием. Например, вы загружаете четыре URL:

https://www.screamingfrog.co.uk/``https://www.screamingfrog.co.uk/#fragment-this-wont-be-crawled``https://www.screamingfrog.co.uk/seo-spider/``https://www.screamingfrog.co.uk/seo-spider/

Паук определит количество уникальных адресов. URL с фрагментом (#) не считается отдельной страницей и нормализуется. Дубликат /seo-spider/ схлопывается в одну позицию.

Инструмент сообщит, что найдено 4 URL, и нормализует их в диалоговом окне. При запуске сканирования он обработает только 2 уникальных адреса.

И хотя отсканировано 2 URL из 4 загруженных, экспортировать исходный список можно в том же порядке, в котором вы его подали.

Экспорт данных в исходном порядке

Для обычного экспорта данных из любой вкладки используйте стандартную кнопку Export. Но если нужно сохранить порядок, в котором URL были загружены, например, чтобы сопоставить результаты с внешней таблицей или датасетом, пользуйтесь кнопкой экспорта в верхней панели, рядом с Upload и Start.

Данные в таком экспорте сохраняют исходную последовательность и включают все URL из загрузки, с дубликатами и исправлениями.

Колонка Original URL, это адрес, который вы загрузили. Колонка Address, URL, который фактически просканировал SEO Spider. Разница между ними и есть результат нормализации.

Продвинутые сценарии

Режим списка становится по-настоящему мощным, когда вы выходите за рамки «загрузил и просканировал». Три расширенных сценария ниже закрывают большинство реальных задач аудита.

Сканирование списка URL и дополнительных элементов

Допустим, нужно проверить список страниц и все изображения на них. Или собрать внешние ссылки с конкретных URL для билдинга битых линков. Или проаудировать hreflang и канонические теги на выбранных страницах, не трогая остальной сайт.

Для этого снимите автоматическое ограничение глубины. Перейдите в Configuration > Spider > Limits и отключите Limit Search Depth.

Теперь SEO Spider может выходить за пределы загруженного списка. Чтобы он не пошёл гулять по всему сайту, настройте фильтры в Configuration > Spider > Crawl. Отключите все Resource Links и Page Links, а затем точечно включите только то, что нужно просканировать дополнительно.

Например, для аудита страницы и её изображений включите только Images в Resource Links. Загрузите один URL, и увидите в интерфейсе просканированную страницу плюс все изображения на ней.

Эта гибкость даёт буквально лазерный аудит: вы проверяете только те элементы разметки и ресурсов, которые нужны, не тратя время на полный обход.

Аудит перенаправлений при миграции

При миграции сайта критически важно проверить каждое перенаправление и убедиться, что цепочки не рвутся. Режим списка позволяет загрузить исходные URL, а SEO Spider пройдёт по всей цепочке сам.

Включите опцию Always Follow Redirects в Configuration > Spider > Advanced. С этой настройкой лимит глубины игнорируется для редиректов: паук идёт по цепочке, пока не получит ответ 200 (или пока не упрётся в максимальное количество редиректов из Configuration > Spider > Limits).

После сканирования откройте отчёт All Redirects: он покажет полную цепочку для каждого исходного URL в одном представлении.

Это избавляет от рутины с последовательной загрузкой целевых URL каждого шага редиректа, инструмент добирается до финальной точки сам.

Подключение к API и сбор метрик

Режим списка поддерживает интеграцию с Google Analytics, Google Search Console, PageSpeed Insights и инструментами анализа обратных ссылок.

Например, подключив Ahrefs API, вы получаете по каждому URL метрики ссылающихся доменов, позиции по ключевым словам, оценочный трафик и ценность ссылок. Все данные выводятся на отдельной вкладке Link Metrics.

На практике это незаменимо для конкурентного анализа: загружаете список страниц конкурента и сразу видите органические метрики, не переключаясь между инструментами.

⁉️🤔 Частые вопросы

Чем режим списка отличается от обычного Spider-режима?

В Spider-режиме SEO Spider обходит сайт по ссылкам, начиная со стартового URL. В List-режиме вы загружаете готовый перечень адресов, и паук сканирует только их. Глубина по умолчанию, 0, то есть никакие внешние или дочерние страницы не запрашиваются. Это даёт полный контроль над набором проверяемых URL.

Можно ли загрузить список URL из Google Sheets или Excel?

Да. Экспортируйте столбец с URL из таблицы в CSV или TXT, затем загрузите файл через Upload > From a File. Либо скопируйте столбец и вставьте в диалоговое окно Paste. Каждый URL должен быть с протоколом (https://), иначе SEO Spider его не примет.

Как экспортировать данные ровно в том порядке, в котором я загрузил список?

Используйте кнопку экспорта в верхней панели (рядом с Upload и Start), а не стандартную кнопку на вкладках. Экспорт из панели сохраняет исходную последовательность и включает все загруженные URL, в том числе дубликаты и нормализованные. Колонка Original URL покажет, что вы подали на вход, а Address, что фактически просканировалось.

Что делать, если часть URL из списка не сканируется?

Проверьте протокол: все адреса должны начинаться с http:// или https://. Убедитесь, что URL отвечают (не 404, не 500). Посмотрите отчёт Response Codes после сканирования: он покажет статус каждого загруженного адреса. Если SEO Spider сообщает «0 URLs found» на этапе загрузки, скорее всего, проблема в формате: файл не читается, или вставленный текст не распознан как URL.

Режим списка доступен в бесплатной версии Screaming Frog?

Да, List Mode работает в бесплатной версии SEO Spider. Ограничение бесплатной версии, 500 URL в очереди сканирования, и оно действует одинаково для обоих режимов. Для списков более 500 URL нужна платная лицензия.

Стоит ли осваивать режим списка глубже?

Режим списка в Screaming Frog, это не просто альтернативный способ загрузки URL. Это инструмент точечного аудита, который экономит часы, когда нужно проверить конкретный набор страниц, а не устраивать полный обход сайта.

Освоив базовую загрузку, обязательно попробуйте связку «снятие лимита глубины + точечное включение ресурсов», это самый полезный продвинутый сценарий. Именно он превращает SEO Spider из обычного краулера в хирургический инструмент под задачу.

Ознакомьтесь с полным руководством пользователя и разделом FAQ на официальном сайте Screaming Frog. Если останутся вопросы, техподдержка отвечает оперативно и по делу.