Scanner stürzte mitten im Crawl der Website ab. 50.000 URLs und keine klare Vorstellung, was damit anzufangen ist. Ein vertrautes Szenario für jeden, der im technischen SEO arbeitet.

Screaming Frog SEO Spider, das Tool, ohne das Website-Audits zur Raterei werden. Jeder kennt es: vom Freelancer bis zum Corporate-SEO-Team. Und wenn die Entwickler ein größeres Update veröffentlichen, lohnt es sich, jede neue Funktion genau unter die Lupe zu nehmen.

Version 14.0, veröffentlicht unter dem Codenamen „Megalomania", brachte sechs wesentliche Neuerungen. Direkter Export zu Google Sheets, vollständige HTTP-Header, Cookie-Erfassung, aggregierte Seitenstruktur und der Dark Mode, jede davon adressiert einen spezifischen Schmerzpunkt im Workflow.

💡 Kurzüberblick:

• Dark Mode reduziert die Augenbelastung bei stundenlangen Audits
• Export zu Google Sheets mit einem Klick, ohne CSV-Zwischendateien
• Vollständige HTTP-Header und Cookies jetzt direkt in der Oberfläche sichtbar
• Aggregierter Verzeichnisbaum hilft, die gesamte Website-Architektur zu visualisieren

1. Dark Mode

Nicht die technisch komplexeste Funktion des Release, aber die auffälligste: Alle Screenshots wurden auf das dunkle Theme umgestellt. Aktivieren Sie es über Configuration > User Interface > Theme > Dark.

Für diejenigen, die stundenlang bei schwachem Licht Websites auditieren, ist der Unterschied spürbar. Die Entwickler haben zudem die Grafiken auf den Tabs Übersicht und Seitenstruktur aktualisiert. Für Screencasts ist das Bild sauberer, der Fokus des Betrachters bleibt auf den Daten statt auf einem hellen Hintergrund.

2. Export zu Google Sheets

Bisher gingen Daten aus Screaming Frog in eine CSV-Datei und erst von dort in Google Sheets. Version 14.0 entfernt den Zwischenschritt: Der Export erfolgt direkt in Sheets auf Google Drive.

Fügen Sie Google-Konten hinzu, und die Scan-Daten erscheinen im Ordner Screaming Frog SEO Spider auf Drive.

Einschränkung: Google Sheets fasst bis zu 5 Millionen Zellen. Der Tab „Internal" hat standardmäßig 55 Spalten, und die verdreifachen sich leicht. Die Obergrenze liegt bei etwa 90.000 Zeilen. Nutzen Sie für große Websites andere Formate oder reduzieren Sie die Spaltenanzahl.

Der Direktexport ist in den Scheduler und die Kommandozeile integriert, sodass Sie einen nächtlichen Scan mit automatischem Upload in ein Sheet einrichten können. Für Team-Zusammenarbeit und Google Data Studio ist das eine erhebliche Zeitersparnis.

3. HTTP-Header

Vor Version 14.0 extrahierte Screaming Frog nur einen Basissatz an Headern. Jetzt können Sie vollständige HTTP-Header speichern und abfragen, sowohl Request als auch Response.

Anwendungsfälle: Caching-Details via Cache-Control und ETag, Set-Cookie-Header, Content-Language für mehrsprachige Sites, Sicherheitsrichtlinien via Content-Security-Policy und Strict-Transport-Security.

Zum Aktivieren: Configuration > Spider > Extraction > HTTP Headers. Response-Header werden als Spalten im Tab „Internal" hinzugefügt. Massenexport via Bulk Export > Web > All HTTP Headers.

4. Cookies

Version 14.0 speichert und analysiert alle während des Crawls empfangenen Cookies. Aktivieren Sie dies an derselben Stelle: Configuration > Spider > Extraction > Cookies. Die Daten erscheinen auf dem Tab „Cookies": Name, Wert, Domain, Ablaufdatum, Secure- und HttpOnly-Flags.

Für Cookies, die über JavaScript geladen werden, ist der Rendering-Modus erforderlich. Ohne ihn bleiben einige von Skripten gesetzte Cookies unsichtbar.

Die aggregierte Analyse via Reports > Cookies > Cookie Summary ist praktisch für DSGVO-Audits. Massenexport: Bulk Export > Web > All Cookies.

Hinweis: Beim Erfassen von Cookies deaktiviert SEO Spider den automatischen Ausschluss von Google Analytics. Fügen Sie Tracking-Skripte unter Configuration > Exclude hinzu oder filtern Sie den User-Agent auf Analytics-Ebene.

5. Aggregierte Seitenstruktur

SEO Spider zeigt die Anzahl der URLs in jedem Verzeichnis direkt im Verzeichnisbaum an. Zugriff über das Baum-Symbol neben der Schaltfläche „Export".

Statt einer flachen URL-Liste sehen Sie die gesamte Website-Architektur. Es ist sofort ersichtlich, wo Bereiche aufgebläht sind und wo die Verschachtelungstiefe übermäßig ist.

Der Tab „Site Structure" wurde aktualisiert: aggregierter Verzeichnisbaum mit Ansichtsumschaltung, Indexierbarkeitsstatus nach Pfadsegmenten, Crawl-Tiefe nach Verzeichnissen.

6. Neue Konfigurationsparameter

Zwei Parameter via Configuration > Spider > Advanced, beide standardmäßig aktiviert:

• Ignore Noindex URLs for On-Page Filters: Nicht indexierbare Seiten werden nicht von Filtern wie „doppelter Titel" oder „Meta-Description länger als X Zeichen" markiert. Das ist sinnvoll: Noindex-Seiten sollen ohnehin nicht indexiert werden.
• Ignore Paginated URLs for Duplicate Filters: Paginierungs-Seiten werden nicht als Duplikate gezählt.

Wenn Sie eine Staging-Site mit Noindex auf allen Seiten crawlen, deaktivieren Sie diese Parameter.

Weitere Verbesserungen

Version 14.0 enthält auch nützliche Korrekturen:

• Filter „Missing Alt Attribute" auf dem Tab „Images": Leeres alt="" und fehlendes Attribut werden jetzt getrennt. Dekorative Bilder sollten ein leeres Alt-Attribut haben; ein fehlendes Attribut stört Screenreader.

• Headless Chrome wurde aktualisiert, um Googlebot zu entsprechen. Die Einstellung „Accept Cookies" wurde umbenannt in „Cookie Storage": Session Only, Permanent, Don't Store.

• Neue URL-Filter: doppelte Schrägstriche, sich wiederholender Pfad, Leerzeichen, interne Such-URLs. Filter „Missing Safe Browsing Policy Header" auf dem Tab „Security".

• Noindex-URLs aus dem Filter „URLs not in Sitemap" ausgeschlossen. Validierung für Google Rich Results aktualisiert.

⁉️🤔 Häufig gestellte Fragen

Was ist Screaming Frog SEO Spider und wofür wird es benötigt?

Screaming Frog SEO Spider ist ein Desktop-Crawler für technische SEO-Audits. Er scannt Websites, sammelt URLs, Titel, Meta-Tags, Statuscodes, Weiterleitungen und defekte Links. Die kostenlose Version deckt bis zu 500 URLs ab. Eine kostenpflichtige Lizenz entfernt das Limit und schaltet JavaScript-Rendering sowie die Integration mit Google Analytics und Search Console frei.

Wie unterscheidet sich Version 14.0 grundlegend von früheren Versionen?

Drei Dinge: direkter Export zu Google Sheets ohne Zwischendateien, vollständige Erfassung von HTTP-Headern und Cookies, aggregierte Ansicht der Seitenstruktur. Frühere Versionen boten diesen Detailgrad nicht.

Muss ich nach dem Update für Screaming Frog bezahlen?

Die kostenlose Lizenz (bis zu 500 URLs) bleibt bestehen. Die kostenpflichtige Version (199 £ pro Jahr zum Zeitpunkt des Release von 14.0) entfernt das Limit und schaltet erweiterte Funktionen frei. Updates innerhalb der Hauptversion sind für Lizenzinhaber kostenlos.

Unterstützt SEO Spider das Crawlen von JavaScript-Websites?

Ja, über den integrierten Headless Chrome. In Version 14.0 wurde die Engine aktualisiert, um Googlebot zu entsprechen. Das Rendering wird unter Configuration > Spider > Rendering aktiviert. Für eine genaue Cookie-Erfassung ist Rendering erforderlich.

Wo kann ich Screaming Frog SEO Spider herunterladen?

Von der offiziellen Website: screamingfrog.co.uk/seo-spider. Versionen sind für Windows, macOS und Ubuntu verfügbar. Die vollständige Dokumentation und der Release-Verlauf finden sich ebenfalls dort.

Ausblick: Screaming Frog nach Version 14.0

Seit dem Release von 14.0 hat das Tool einen weiten Weg zurückgelegt. Laut Release-Verlauf haben die Entwickler LLM-basierte semantische Analyse, automatischen Scan-Vergleich und MCP-Integration hinzugefügt. Die aktuelle Version ist bereits 24.x. Aber die Grundlage von Version 14.0 (Direktintegrationen, Arbeiten mit Headern und Cookies) bleibt die Basis der täglichen Arbeit eines SEO-Spezialisten.

Beginnen Sie mit der kostenlosen Version, falls Sie Screaming Frog noch nicht genutzt haben. Lassen Sie Ihre Website damit crawlen und prüfen Sie die Tabs „Internal" und „Response Codes". Was Sie sehen, könnte Sie überraschen.