Сканер впав на середині сайту. 50 000 URL, а що з ними робити, незрозуміло. Знайомий сценарій для кожного, хто займається технічним SEO.

Screaming Frog SEO Spider, інструмент, без якого аудит сайту перетворюється на ворожіння. Його знають усі: від фрилансерів до корпоративних SEO-команд. І коли розробники випускають мажорне оновлення — це привід розібрати кожну нову функцію.

Версія 14.0, що вийшла під кодовою назвою «манія величі», принесла шість великих нововведень. Прямий запис у Google Таблиці, повні заголовки HTTP, збір cookies, агрегована структура сайту та темний режим, кожне закриває конкретний робочий біль.

💡 Швидкий огляд:

• Темний режим знижує навантаження на очі під час багатогодинних аудитів
• Експорт у Google Таблиці, одним кліком, без проміжних CSV
• Повні заголовки HTTP і cookies тепер видно прямо в інтерфейсі
• Агреговане дерево каталогів допомагає побачити архітектуру сайту цілком

1. Темний режим

Не найскладніша технічно фіча релізу, але перша за помітністю: усі скриншоти перейшли на темну тему. Увімкнути через Configuration > User Interface > Theme > Dark.

Для тих, хто аудирує сайти годинами за слабкого освітлення, різниця відчутна. Розробники також оновили графіку на вкладках огляду та структури сайту. Для скринкастів картинка чистіша, фокус глядача на даних, а не на яскравому тлі.

2. Експорт у Google Таблиці

Раніше дані зі Screaming Frog ішли в CSV, і тільки потім, у Google Таблиці. Версія 14.0 прибирає проміжний крок: експорт іде напряму в Таблиці на Google Диску.

Додаєте облікові записи Google, і дані сканування опиняються в папці Screaming Frog SEO Spider на Диску.

Обмеження: Google Таблиці тримають до 5 мільйонів клітинок. На вкладці Internal за замовчуванням 55 стовпців, вони легко потроюються. Стеля, близько 90 000 рядків. Для великих сайтів використовуйте інші формати або скорочуйте кількість стовпців.

Прямий експорт вбудовано в планувальник і командний рядок, можна налаштувати nightly-скан з автоматичним вивантаженням у Таблицю. Для командної роботи та Google Data Studio, відчутна економія рутини.

3. Заголовки HTTP

До версії 14.0 Screaming Frog видобував лише базовий набір заголовків. Тепер можна зберігати й запитувати повні заголовки HTTP, і запиту, і відповіді.

Сценарії: деталі кешування через Cache-Control та ETag, заголовки Set-Cookie, Content-Language для мультимовних сайтів, політики безпеки через Content-Security-Policy та Strict-Transport-Security.

Увімкнення: Configuration > Spider > Extraction > HTTP Headers. Заголовки відповіді додаються стовпцями на вкладку Internal. Масовий експорт, через Bulk Export > Web > All HTTP Headers.

4. Cookies

Версія 14.0 зберігає й аналізує всі cookies, отримані під час сканування. Увімкнення там само: Configuration > Spider > Extraction > Cookies. Дані видно на вкладці Cookies: ім'я, значення, домен, термін дії, прапорці Secure та HttpOnly.

Для cookies, що завантажуються через JavaScript, потрібен режим рендерингу. Без нього частина cookies, виставлених скриптами, буде невидимою.

Агрегований аналіз через Reports > Cookies > Cookie Summary зручний для GDPR-аудиту. Масовий експорт: Bulk Export > Web > All Cookies.

Зверніть увагу: під час збору cookies SEO Spider вимикає автовиключення Google Analytics. Додайте трекінгові скрипти в Configuration > Exclude або відфільтруйте user-agent на рівні Analytics.

5. Агрегована структура сайту

SEO Spider показує кількість URL у кожному каталозі прямо в дереві директорій. Доступ, значок дерева поруч із кнопкою «Export».

Замість плаского списку URL ви бачите архітектуру сайту цілком. Одразу помітно, де роздуті розділи, де глибина вкладеності зашкалює.

Вкладка «Site Structure» оновлена: агреговане дерево каталогів із перемиканням вигляду, статус індексованості за сегментами шляху, глибина сканування за директоріями.

6. Нові параметри конфігурації

Два параметри через Configuration > Spider > Advanced, обидва ввімкнені за замовчуванням:

• Ignore Noindex URLs for On-Page Filters, неіндексовані сторінки не позначаються фільтрами «дублікат title» або «meta description довший за X символів». Логічно: noindex-сторінки й не повинні індексуватися.
• Ignore Paginated URLs for Duplicate Filters, сторінки пагінації не вважаються дублікатами.

Під час сканування staging-сайту з noindex на всіх сторінках вимкніть ці параметри.

Інші покращення

Версія 14.0 також містить корисні правки:

• Фільтр «Missing Alt Attribute» на вкладці Images: порожній alt="" і відсутній атрибут тепер розділені. Декоративні зображення повинні мати порожній alt, пропущений атрибут ламає screen reader.

• Headless Chrome оновлено врівень із Googlebot. Налаштування «Accept Cookies» перейменовано на «Cookie Storage»: Session Only, Permanent, Don't Store.

• Нові фільтри URL: подвійні слеші, повторюваний шлях, пробіли, URL внутрішнього пошуку. Фільтр «Missing Safe Browsing Policy Header» на вкладці Security.

• Noindex-URL виключені з фільтра «URLs not in Sitemap». Перевірку розширених результатів Google оновлено.

⁉️🤔 Часті запитання

Що таке Screaming Frog SEO Spider і для чого він потрібен?

Screaming Frog SEO Spider, десктопний краулер для технічного SEO-аудиту. Сканує сайт, збирає URL, заголовки, мета-теги, статус-коди, редиректи, биті посилання. Безкоштовна версія, до 500 URL. Платна ліцензія знімає ліміт і відкриває JavaScript-рендеринг, інтеграцію з Google Analytics і Search Console.

Чим версія 14.0 принципово відрізняється від попередніх?

Трьома речами: прямий експорт у Google Таблиці без проміжних файлів, повний збір HTTP-заголовків і cookies, агреговане представлення структури сайту. Попередні версії не давали такої деталізації.

Чи потрібно платити за Screaming Frog після оновлення?

Безкоштовна ліцензія (до 500 URL) залишається. Платна, £199 на рік на момент виходу 14.0, знімає ліміт і відкриває розширені функції. Оновлення всередині мажорної версії безкоштовне для власників ліцензії.

Чи підтримує SEO Spider сканування JavaScript-сайтів?

Так, через вбудований Headless Chrome. У версії 14.0 рушій оновлено для відповідності Googlebot. Рендеринг вмикається в Configuration > Spider > Rendering. Для точного збору cookies рендеринг обов'язковий.

Де завантажити Screaming Frog SEO Spider?

З офіційного сайту: screamingfrog.co.uk/seo-spider. Доступні версії для Windows, macOS та Ubuntu. Там само, повна документація та release history.

Що далі: Screaming Frog після версії 14.0

З моменту виходу 14.0 інструмент пройшов довгий шлях, згідно з release history розробники додали семантичний аналіз на базі LLM, автопорівняння сканувань, MCP-інтеграцію. Актуальна версія вже 24.x. Але фундамент версії 14.0, прямі інтеграції, робота із заголовками та cookies, залишається основою daily-роботи SEO-спеціаліста.

Почніть із безкоштовної версії, якщо ще не користувалися Screaming Frog. Пропустіть через неї свій сайт, зазирніть на вкладки Internal і Response Codes. Побачене дивує.