Сканер упал на середине сайта. 50 000 URL, а что с ними делать, непонятно. Знакомый сценарий для каждого, кто занимается техническим SEO.

Screaming Frog SEO Spider, инструмент, без которого аудит сайта превращается в гадание. Его знают все: от фрилансеров до корпоративных SEO-команд. И когда разработчики выпускают мажорное обновление, это повод разобрать каждую новую функцию.

Версия 14.0, вышедшая под кодовым названием «мания величия», принесла шесть крупных нововведений. Прямая запись в Google Таблицы, полные заголовки HTTP, сбор cookies, агрегированная структура сайта и тёмный режим, каждое закрывает конкретную рабочую боль.

💡 Быстрый обзор:

• Тёмный режим снижает нагрузку на глаза при многочасовых аудитах
• Экспорт в Google Таблицы, одним кликом, без промежуточных CSV
• Полные заголовки HTTP и cookies теперь видны прямо в интерфейсе
• Агрегированное дерево каталогов помогает увидеть архитектуру сайта целиком

1. Тёмный режим

Не самая технически сложная фича релиза, но первая по заметности: все скриншоты перешли на тёмную тему. Включить через Configuration > User Interface > Theme > Dark.

Для тех, кто аудирует сайты часами при слабом освещении, разница ощутима. Разработчики также обновили графику на вкладках обзора и структуры сайта. Для скринкастов картинка чище, фокус зрителя на данных, а не на ярком фоне.

2. Экспорт в Google Таблицы

Раньше данные из Screaming Frog шли в CSV, и только потом, в Google Таблицы. Версия 14.0 убирает промежуточный шаг: экспорт идёт напрямую в Таблицы на Google Диске.

Добавляете учётные записи Google, и данные сканирования оказываются в папке Screaming Frog SEO Spider на Диске.

Ограничение: Google Таблицы держат до 5 миллионов ячеек. На вкладке Internal по умолчанию 55 столбцов, они легко утраиваются. Потолок, около 90 000 строк. Для крупных сайтов используйте другие форматы или сокращайте число столбцов.

Прямой экспорт встроен в планировщик и командную строку, можно настроить nightly-скан с автоматической выгрузкой в Таблицу. Для командной работы и Google Data Studio, ощутимая экономия рутины.

3. Заголовки HTTP

До версии 14.0 Screaming Frog извлекал лишь базовый набор заголовков. Теперь можно сохранять и запрашивать полные заголовки HTTP, и запроса, и ответа.

Сценарии: детали кеширования через Cache-Control и ETag, заголовки Set-Cookie, Content-Language для мультиязычных сайтов, политики безопасности через Content-Security-Policy и Strict-Transport-Security.

Включение: Configuration > Spider > Extraction > HTTP Headers. Заголовки ответа добавляются столбцами на вкладку Internal. Массовый экспорт, через Bulk Export > Web > All HTTP Headers.

4. Cookies

Версия 14.0 сохраняет и анализирует все cookies, полученные при сканировании. Включение там же: Configuration > Spider > Extraction > Cookies. Данные видны на вкладке Cookies: имя, значение, домен, срок действия, флаги Secure и HttpOnly.

Для cookies, загружаемых через JavaScript, нужен режим рендеринга. Без него часть cookies, выставленных скриптами, будет невидима.

Агрегированный анализ через Reports > Cookies > Cookie Summary удобен для GDPR-аудита. Массовый экспорт: Bulk Export > Web > All Cookies.

Обратите внимание: при сборе cookies SEO Spider отключает автоисключение Google Analytics. Добавьте трекинговые скрипты в Configuration > Exclude или отфильтруйте user-agent на уровне Analytics.

5. Агрегированная структура сайта

SEO Spider показывает количество URL в каждом каталоге прямо в дереве директорий. Доступ, значок дерева рядом с кнопкой «Export».

Вместо плоского списка URL вы видите архитектуру сайта целиком. Сразу заметно, где раздутые разделы, где глубина вложенности зашкаливает.

Вкладка «Site Structure» обновлена: агрегированное дерево каталогов с переключением вида, статус индексируемости по сегментам пути, глубина сканирования по директориям.

6. Новые параметры конфигурации

Два параметра через Configuration > Spider > Advanced, оба включены по умолчанию:

• Ignore Noindex URLs for On-Page Filters, неиндексируемые страницы не помечаются фильтрами «дубликат title» или «meta description длиннее X символов». Логично: noindex-страницы и не должны индексироваться.
• Ignore Paginated URLs for Duplicate Filters, страницы пагинации не считаются дубликатами.

При сканировании staging-сайта с noindex на всех страницах отключите эти параметры.

Прочие улучшения

Версия 14.0 также включает полезные правки:

• Фильтр «Missing Alt Attribute» на вкладке Images: пустой alt="" и отсутствующий атрибут теперь разделены. Декоративные изображения должны иметь пустой alt, пропущенный атрибут ломает screen reader.

• Headless Chrome обновлён вровень с Googlebot. Настройка «Accept Cookies» переименована в «Cookie Storage»: Session Only, Permanent, Don't Store.

• Новые фильтры URL: двойные слеши, повторяющийся путь, пробелы, URL внутреннего поиска. Фильтр «Missing Safe Browsing Policy Header» на вкладке Security.

• Noindex-URL исключены из фильтра «URLs not in Sitemap». Проверка расширенных результатов Google обновлена.

⁉️🤔 Частые вопросы

Что такое Screaming Frog SEO Spider и зачем он нужен?

Screaming Frog SEO Spider, десктопный краулер для технического SEO-аудита. Сканирует сайт, собирает URL, заголовки, мета-теги, статус-коды, редиректы, битые ссылки. Бесплатная версия, до 500 URL. Платная лицензия снимает лимит и открывает JavaScript-рендеринг, интеграцию с Google Analytics и Search Console.

Чем версия 14.0 принципиально отличается от предыдущих?

Тремя вещами: прямой экспорт в Google Таблицы без промежуточных файлов, полный сбор HTTP-заголовков и cookies, агрегированное представление структуры сайта. Предыдущие версии не давали такой детализации.

Нужно ли платить за Screaming Frog после обновления?

Бесплатная лицензия (до 500 URL) остаётся. Платная, £199 в год на момент выхода 14.0, снимает лимит и открывает расширенные функции. Обновление внутри мажорной версии бесплатно для владельцев лицензии.

Поддерживает ли SEO Spider сканирование JavaScript-сайтов?

Да, через встроенный Headless Chrome. В версии 14.0 движок обновлён для соответствия Googlebot. Рендеринг включается в Configuration > Spider > Rendering. Для точного сбора cookies рендеринг обязателен.

Где скачать Screaming Frog SEO Spider?

С официального сайта: screamingfrog.co.uk/seo-spider. Доступны версии для Windows, macOS и Ubuntu. Там же, полная документация и release history.

Что дальше: Screaming Frog после версии 14.0

С момента выхода 14.0 инструмент прошёл долгий путь, согласно release history разработчики добавили семантический анализ на базе LLM, автосравнение сканирований, MCP-интеграцию. Актуальная версия уже 24.x. Но фундамент версии 14.0, прямые интеграции, работа с заголовками и cookies, остаётся основой daily-работы SEO-специалиста.

Начните с бесплатной версии, если ещё не пользовались Screaming Frog. Пропустите через неё свой сайт, загляните на вкладки Internal и Response Codes. Увиденное удивляет.