SEO-фахівець регулярно стикається із завданням перевірити не весь сайт, а конкретний набір сторінок. Зібрали список URL після контент-аудиту, підготували карту редиректів для міграції, хочете просканувати лише посадкові сторінки конкурентів, і тут стандартний режим Spider виявляється надлишковим. Він лізе в усі посилання підряд, витрачає час і ресурси.

Screaming Frog SEO Spider вирішує це завдання через режим списку. На перший погляд проста річ: завантажили перелік URL і отримали дані лише за ними. Але за цією простотою прихований гнучкий механізм, здатний закрити десятки нетипових сценаріїв аудиту.

Нижче, повний посібник із режиму списку: від базового завантаження до просунутих технік з API-інтеграціями та аудитом редиректів.

💡 Швидкий огляд:

• Перемикання в режим списку: Mode > List у верхньому меню SEO Spider
• Завантаження URL: файл, ручне введення або XML-карта сайту
• Автоматична нормалізація та дедуплікація під час завантаження
• Експорт даних у вихідному порядку для зіставлення із зовнішніми таблицями
• Просунуті сценарії: аудит редиректів, збір зовнішніх посилань і метрик через API

Як працює режим списку

У SEO Spider є два основні режими сканування. Перший, Spider за замовчуванням: вводите домен, павук обходить сторінки за посиланнями. Другий, List: ви завантажуєте готовий перелік URL, і павук працює лише з ними.

Перемкнутися між режимами просто: Mode > List у навігації верхнього рівня.

Дві ключові відмінності від режиму Spider. Інтерфейс змінюється: замість адресного рядка з'являється кнопка завантаження. І автоматично вмикається обмеження глибини сканування зі значенням «0». Це означає, що павук не піде за посиланнями завантажених сторінок, він просканує лише ті URL, які ви йому дали, і нічого більше. Ані зображень на них, ані зовнішніх посилань, ані вихідних.

Є нюанс: якщо ввімкнено JavaScript-рендеринг, SEO Spider завантажить ресурси сторінки (скрипти, стилі, зображення), щоб коректно відобразити її в headless Chrome. Але це, як і раніше, не обхід інших сторінок, лише ресурси самої завантаженої.

Завантаження списку URL

У режимі списку натисніть кнопку Upload і виберіть спосіб: завантажити файл, вставити URL у діалогове вікно або імпортувати XML-карту сайту.

Два моменти, про які варто знати перед завантаженням.

Вимога протоколу

Якщо опустити http:// або https:// і ввести просто www.screamingfrog.co.uk/, SEO Spider не прочитає URL. Ви побачите повідомлення «0 URLs found».

Завжди вказуйте протокол: https://www.screamingfrog.co.uk/.

Нормалізація та дедуплікація

SEO Spider нормалізує адреси під час завантаження й автоматично прибирає дублікати перед скануванням. Наприклад, ви завантажуєте чотири URL:

https://www.screamingfrog.co.uk/``https://www.screamingfrog.co.uk/#fragment-this-wont-be-crawled``https://www.screamingfrog.co.uk/seo-spider/``https://www.screamingfrog.co.uk/seo-spider/

Павук визначить кількість унікальних адрес. URL із фрагментом (#) не вважається окремою сторінкою і нормалізується. Дублікат /seo-spider/ згортається в одну позицію.

Інструмент повідомить, що знайдено 4 URL, і нормалізує їх у діалоговому вікні. Під час запуску сканування він опрацює лише 2 унікальні адреси.

І хоча відскановано 2 URL із 4 завантажених, експортувати вихідний список можна в тому самому порядку, в якому ви його подали.

Експорт даних у вихідному порядку

Для звичайного експорту даних із будь-якої вкладки використовуйте стандартну кнопку Export. Але якщо потрібно зберегти порядок, у якому URL були завантажені, наприклад, щоб зіставити результати із зовнішньою таблицею чи датасетом, користуйтеся кнопкою експорту на верхній панелі, поруч із Upload і Start.

Дані в такому експорті зберігають вихідну послідовність і містять усі URL із завантаження, з дублікатами та виправленнями.

Колонка Original URL — це адреса, яку ви завантажили. Колонка Address, URL, який фактично просканував SEO Spider. Різниця між ними і є результатом нормалізації.

Просунуті сценарії

Режим списку стає по-справжньому потужним, коли ви виходите за межі «завантажив і просканував». Три розширені сценарії нижче закривають більшість реальних задач аудиту.

Сканування списку URL і додаткових елементів

Припустімо, потрібно перевірити список сторінок і всі зображення на них. Або зібрати зовнішні посилання з конкретних URL для білдингу битих лінків. Або проаудитувати hreflang і канонічні теги на вибраних сторінках, не чіпаючи решту сайту.

Для цього зніміть автоматичне обмеження глибини. Перейдіть у Configuration > Spider > Limits і вимкніть Limit Search Depth.

Тепер SEO Spider може виходити за межі завантаженого списку. Щоб він не пішов гуляти всім сайтом, налаштуйте фільтри в Configuration > Spider > Crawl. Вимкніть усі Resource Links і Page Links, а потім точково увімкніть лише те, що потрібно просканувати додатково.

Наприклад, для аудиту сторінки та її зображень увімкніть лише Images у Resource Links. Завантажте один URL, і побачите в інтерфейсі проскановану сторінку плюс усі зображення на ній.

Ця гнучкість дає буквально лазерний аудит: ви перевіряєте лише ті елементи розмітки та ресурсів, які потрібні, не витрачаючи час на повний обхід.

Аудит переспрямувань під час міграції

Під час міграції сайту критично важливо перевірити кожне переспрямування і переконатися, що ланцюжки не рвуться. Режим списку дозволяє завантажити вихідні URL, а SEO Spider пройде всім ланцюжком сам.

Увімкніть опцію Always Follow Redirects у Configuration > Spider > Advanced. З цим налаштуванням ліміт глибини ігнорується для переспрямувань: павук іде ланцюжком, доки не отримає відповідь 200 (або доки не впреться в максимальну кількість переспрямувань з Configuration > Spider > Limits).

Після сканування відкрийте звіт All Redirects: він покаже повний ланцюжок для кожного вихідного URL в одному поданні.

Це позбавляє рутини з послідовним завантаженням цільових URL кожного кроку переспрямування, інструмент добирається до фінальної точки сам.

Підключення до API і збір метрик

Режим списку підтримує інтеграцію з Google Analytics, Google Search Console, PageSpeed Insights та інструментами аналізу зворотних посилань.

Наприклад, підключивши Ahrefs API, ви отримуєте за кожним URL метрики доменів, що посилаються, позиції за ключовими словами, оціночний трафік і цінність посилань. Усі дані виводяться на окремій вкладці Link Metrics.

На практиці це незамінне для конкурентного аналізу: завантажуєте список сторінок конкурента й одразу бачите органічні метрики, не перемикаючись між інструментами.

⁉️🤔 Часті запитання

Чим режим списку відрізняється від звичайного Spider-режиму?

У Spider-режимі SEO Spider обходить сайт за посиланнями, починаючи зі стартової URL-адреси. У List-режимі ви завантажуєте готовий перелік адрес, і павук сканує лише їх. Глибина за замовчуванням, 0, тобто жодні зовнішні чи дочірні сторінки не запитуються. Це дає повний контроль над набором URL-адрес для перевірки.

Чи можна завантажити список URL із Google Sheets або Excel?

Так. Експортуйте стовпець з URL-адресами з таблиці у CSV або TXT, потім завантажте файл через Upload > From a File. Або скопіюйте стовпець і вставте в діалогове вікно Paste. Кожна URL-адреса має бути з протоколом (https://), інакше SEO Spider її не прийме.

Як експортувати дані саме в тому порядку, в якому я завантажив список?

Використовуйте кнопку експорту на верхній панелі (поруч із Upload і Start), а не стандартну кнопку на вкладках. Експорт із панелі зберігає вихідну послідовність і включає всі завантажені URL-адреси, зокрема дублікати й нормалізовані. Стовпець Original URL покаже, що ви подали на вхід, а Address, що фактично просканувалося.

Що робити, якщо частина URL зі списку не сканується?

Перевірте протокол: усі адреси мають починатися з http:// або https://. Переконайтеся, що URL-адреси відповідають (не 404, не 500). Подивіться звіт Response Codes після сканування: він покаже статус кожної завантаженої адреси. Якщо SEO Spider повідомляє «0 URLs found» на етапі завантаження, найімовірніше, проблема у форматі: файл не читається або вставлений текст не розпізнано як URL-адресу.

Режим списку доступний у безплатній версії Screaming Frog?

Так, List Mode працює в безплатній версії SEO Spider. Обмеження безплатної версії, 500 URL-адрес у черзі сканування, і воно діє однаково для обох режимів. Для списків понад 500 URL-адрес потрібна платна ліцензія.

Чи варто освоювати режим списку глибше?

Режим списку в Screaming Frog — це не просто альтернативний спосіб завантаження URL-адрес. Це інструмент точкового аудиту, який економить години, коли потрібно перевірити конкретний набір сторінок, а не влаштовувати повний обхід сайту.

Освоївши базове завантаження, обов'язково спробуйте зв'язку «зняття ліміту глибини + точкове ввімкнення ресурсів» — це найкорисніший просунутий сценарій. Саме він перетворює SEO Spider зі звичайного краулера на хірургічний інструмент під задачу.

Ознайомтеся з повним посібником користувача і розділом FAQ на офіційному сайті Screaming Frog. Якщо залишаться запитання, техпідтримка відповідає оперативно й по суті.