Skaner zatrzymał się w połowie witryny. 50 000 URL-i i nie wiadomo, co z nimi zrobić. Znajomy scenariusz dla każdego, kto zajmuje się technicznym SEO.

Screaming Frog SEO Spider, narzędzie, bez którego audyt witryny zamienia się w zgadywankę. Znają je wszyscy: od freelancerów po korporacyjne zespoły SEO. A kiedy deweloperzy wydają dużą aktualizację, to dobry powód, by rozłożyć na czynniki pierwsze każdą nową funkcję.

Wersja 14.0, która wyszła pod kryptonimem „mania wielkości", przyniosła sześć dużych nowości. Bezpośredni zapis do Arkuszy Google, pełne nagłówki HTTP, zbieranie cookies, zagregowana struktura witryny i tryb ciemny, każda z nich rozwiązuje konkretny, codzienny problem.

💡 Szybki przegląd:

• Tryb ciemny zmniejsza zmęczenie oczu podczas wielogodzinnych audytów
• Eksport do Arkuszy Google jednym kliknięciem, bez pośrednich plików CSV
• Pełne nagłówki HTTP i cookies widoczne teraz bezpośrednio w interfejsie
• Zagregowane drzewo katalogów pomaga zobaczyć całościową architekturę witryny

1. Tryb ciemny

Nie jest to najbardziej skomplikowana technicznie funkcja tej wersji, ale najbardziej rzuca się w oczy: wszystkie zrzuty ekranu przeszły na ciemny motyw. Włącza się go w Configuration > User Interface > Theme > Dark.

Dla tych, którzy audytują witryny godzinami przy słabym oświetleniu, różnica jest odczuwalna. Deweloperzy odświeżyli również grafikę na zakładkach przeglądu i struktury witryny. Przy nagrywaniu screencastów obraz jest czystszy, uwaga widza skupia się na danych, a nie na jaskrawym tle.

2. Eksport do Arkuszy Google

Wcześniej dane ze Screaming Frog trafiały do CSV, a dopiero potem do Arkuszy Google. Wersja 14.0 eliminuje ten pośredni krok: eksport odbywa się bezpośrednio do Arkuszy na Dysku Google.

Dodaje się konta Google, a dane ze skanowania lądują w folderze Screaming Frog SEO Spider na Dysku.

Ograniczenia: Arkusze Google obsługują do 5 milionów komórek. Na zakładce Internal jest domyślnie 55 kolumn, a ich liczbę można łatwo potroić. Pułap to około 90 000 wierszy. W przypadku dużych witryn należy użyć innych formatów lub zmniejszyć liczbę kolumn.

Eksport bezpośredni jest wbudowany w harmonogram i wiersz poleceń, można skonfigurować nightly scan z automatycznym zrzutem do Arkusza. Dla pracy zespołowej i Google Data Studio to odczuwalna oszczędność czasu na rutynowych czynnościach.

3. Nagłówki HTTP

Do wersji 14.0 Screaming Frog pobierał tylko podstawowy zestaw nagłówków. Teraz można przechowywać i analizować pełne nagłówki HTTP, zarówno żądania, jak i odpowiedzi.

Scenariusze użycia: szczegóły cache'owania przez Cache-Control i ETag, nagłówki Set-Cookie, Content-Language dla witryn wielojęzycznych, polityki bezpieczeństwa przez Content-Security-Policy i Strict-Transport-Security.

Włączenie: Configuration > Spider > Extraction > HTTP Headers. Nagłówki odpowiedzi są dodawane jako kolumny na zakładce Internal. Eksport zbiorczy przez Bulk Export > Web > All HTTP Headers.

4. Cookies

Wersja 14.0 przechowuje i analizuje wszystkie cookies zebrane podczas skanowania. Włączenie w tym samym miejscu: Configuration > Spider > Extraction > Cookies. Dane są widoczne na zakładce Cookies: nazwa, wartość, domena, czas wygaśnięcia, flagi Secure i HttpOnly.

W przypadku cookies ładowanych przez JavaScript wymagany jest tryb renderowania. Bez niego część cookies ustawianych przez skrypty będzie niewidoczna.

Analiza zagregowana przez Reports > Cookies > Cookie Summary jest wygodna przy audycie pod kątem RODO. Eksport zbiorczy: Bulk Export > Web > All Cookies.

Proszę zwrócić uwagę: podczas zbierania cookies SEO Spider wyłącza automatyczne wykluczanie Google Analytics. Należy dodać skrypty śledzące w Configuration > Exclude lub odfiltrować user-agent na poziomie Analytics.

5. Zagregowana struktura witryny

SEO Spider pokazuje liczbę URL-i w każdym katalogu bezpośrednio w drzewie katalogów. Dostęp przez ikonę drzewa obok przycisku „Export".

Zamiast płaskiej listy URL-i widzą Państwo całościową architekturę witryny. Od razu widać, gdzie sekcje są rozdęte, a gdzie głębokość zagnieżdżenia przekracza normę.

Zakładka „Site Structure" została zaktualizowana: zagregowane drzewo katalogów z przełączaniem widoku, status indeksowalności według segmentów ścieżki, głębokość skanowania według katalogów.

6. Nowe parametry konfiguracji

Dwa parametry w Configuration > Spider > Advanced, oba domyślnie włączone:

• Ignore Noindex URLs for On-Page Filters, strony z noindex nie są oznaczane przez filtry „duplicate title" lub „meta description dłuższy niż X znaków". To logiczne: strony z noindex i tak nie powinny być indeksowane.
• Ignore Paginated URLs for Duplicate Filters, strony paginacji nie są uznawane za duplikaty.

Podczas skanowania witryny stagingowej z noindex na wszystkich stronach należy wyłączyć te parametry.

Inne ulepszenia

Wersja 14.0 zawiera również przydatne poprawki:

• Filtr „Missing Alt Attribute" na zakładce Images: pusty alt="" i brakujący atrybut są teraz rozdzielone. Obrazy dekoracyjne powinny mieć pusty alt, pominięty atrybut psuje działanie czytnika ekranu.

• Headless Chrome został zaktualizowany do poziomu zgodnego z Googlebotem. Ustawienie „Accept Cookies" zostało przemianowane na „Cookie Storage": Session Only, Permanent, Don't Store.

• Nowe filtry URL: podwójne ukośniki, powtarzająca się ścieżka, spacje, URL wewnętrznej wyszukiwarki. Filtr „Missing Safe Browsing Policy Header" na zakładce Security.

• URL-e z noindex wykluczone z filtra „URLs not in Sitemap". Sprawdzanie wyników rozszerzonych Google zostało zaktualizowane.

⁉️🤔 Często zadawane pytania

Czym jest Screaming Frog SEO Spider i do czego służy?

Screaming Frog SEO Spider to desktopowy crawler do technicznego audytu SEO. Skanuje witrynę, zbiera URL-e, nagłówki, meta tagi, kody statusu, przekierowania, uszkodzone linki. Darmowa wersja do 500 URL-i. Płatna licencja znosi limit i odblokowuje renderowanie JavaScript, integrację z Google Analytics i Search Console.

Czym wersja 14.0 zasadniczo różni się od poprzednich?

Trzema rzeczami: bezpośrednim eksportem do Arkuszy Google bez plików pośrednich, pełnym zbieraniem nagłówków HTTP i cookies, zagregowanym widokiem struktury witryny. Poprzednie wersje nie oferowały takiej szczegółowości.

Czy po aktualizacji trzeba płacić za Screaming Frog?

Darmowa licencja (do 500 URL-i) pozostaje. Płatna, £199 rocznie w momencie premiery wersji 14.0, znosi limit i odblokowuje zaawansowane funkcje. Aktualizacje w ramach głównej wersji są bezpłatne dla posiadaczy licencji.

Czy SEO Spider obsługuje skanowanie witryn opartych na JavaScript?

Tak, przez wbudowany Headless Chrome. W wersji 14.0 silnik został zaktualizowany, aby odpowiadać Googlebotowi. Renderowanie włącza się w Configuration > Spider > Rendering. Dla dokładnego zbierania cookies renderowanie jest obowiązkowe.

Gdzie pobrać Screaming Frog SEO Spider?

Z oficjalnej strony: screamingfrog.co.uk/seo-spider. Dostępne są wersje na Windows, macOS i Ubuntu. Tam również znajduje się pełna dokumentacja i historia wydań.

Co dalej: Screaming Frog po wersji 14.0

Od momentu premiery 14.0 narzędzie przeszło długą drogę, zgodnie z historią wydań deweloperzy dodali analizę semantyczną opartą na LLM, automatyczne porównywanie skanów, integrację MCP. Aktualna wersja to już 24.x. Jednak fundament wersji 14.0, bezpośrednie integracje, praca z nagłówkami i cookies, pozostaje podstawą codziennej pracy specjalisty SEO.

Proszę zacząć od darmowej wersji, jeśli jeszcze nie korzystali Państwo ze Screaming Frog. Proszę przepuścić przez nią swoją witrynę, zajrzeć na zakładki Internal i Response Codes. To, co Państwo zobaczą, potrafi zaskoczyć.