Ein SEO-Spezialist steht regelmäßig vor der Aufgabe, nicht eine ganze Website, sondern eine bestimmte Auswahl an Seiten zu prüfen. Sie haben nach einem Content-Audit eine URL-Liste zusammengestellt, eine Redirect-Map für eine Migration vorbereitet oder möchten nur die Landingpages von Wettbewerbern scannen, und der standardmäßige Spider-Modus erweist sich dabei als überdimensioniert. Er crawlt unterschiedslos allen Links hinterher und vergeudet Zeit und Ressourcen.

Der Screaming Frog SEO Spider löst diese Aufgabe über den Listenmodus. Das Prinzip ist einfach: Sie laden eine URL-Liste hoch und erhalten ausschließlich zu diesen URLs Daten. Doch hinter dieser Einfachheit steckt ein flexibler Mechanismus, der Dutzende nicht standardisierter Audit-Szenarien bewältigen kann.

Nachfolgend eine vollständige Anleitung zum Listenmodus: vom einfachen Hochladen bis hin zu fortgeschrittenen Techniken mit API-Integrationen und Redirect-Audits.

💡 Kurzüberblick:

• Wechsel in den Listenmodus: Mode > List im oberen Menü des SEO Spider
• URLs laden: per Datei, manueller Eingabe oder XML-Sitemap
• Automatische Normalisierung und Deduplizierung beim Hochladen
• Datenexport in ursprünglicher Reihenfolge für den Abgleich mit externen Tabellen
• Erweiterte Szenarien: Redirect-Audits, Sammlung externer Links und Metriken per API

So funktioniert der Listenmodus

Der SEO Spider verfügt über zwei Haupt-Crawl-Modi. Der erste, Spider, ist standardmäßig aktiv: Sie geben eine Domain ein, und der Spider crawlt Seiten, indem er Links folgt. Der zweite, List: Sie laden eine fertige URL-Liste hoch, und der Spider arbeitet ausschließlich mit diesen URLs.

Der Wechsel zwischen den Modi ist einfach: Mode > List in der oberen Navigation.

Zwei wesentliche Unterschiede zum Spider-Modus. Die Oberfläche ändert sich: Statt einer Adressleiste erscheint eine Schaltfläche zum Hochladen. Und die Crawl-Tiefenbegrenzung wird automatisch mit dem Wert „0" aktiviert. Das bedeutet, der Spider folgt keinen Links von den hochgeladenen Seiten aus, er scannt nur die von Ihnen übergebenen URLs und sonst nichts. Keine Bilder darauf, keine externen Links, keine ausgehenden Links.

Eine Nuance gibt es: Ist JavaScript-Rendering aktiviert, lädt der SEO Spider Seitenressourcen (Skripte, Styles, Bilder), um die Seite in Headless Chrome korrekt darzustellen. Dies ist jedoch weiterhin kein Crawlen anderer Seiten, sondern nur das Laden von Ressourcen der geladenen Seite selbst.

Eine URL-Liste laden

Klicken Sie im Listenmodus auf die Schaltfläche Upload und wählen Sie eine Methode: eine Datei hochladen, URLs in einen Dialog einfügen oder eine XML-Sitemap importieren.

Zwei Dinge, die Sie vor dem Hochladen wissen sollten.

Protokollpflicht

Wenn Sie http:// oder https:// weglassen und nur www.screamingfrog.co.uk/ eingeben, kann der SEO Spider die URL nicht lesen. Sie erhalten die Meldung „0 URLs found".

Geben Sie immer das Protokoll an: https://www.screamingfrog.co.uk/.

Normalisierung und Deduplizierung

Der SEO Spider normalisiert Adressen beim Hochladen und entfernt automatisch Duplikate vor dem Crawlen. Beispiel: Sie laden vier URLs hoch:

https://www.screamingfrog.co.uk/``https://www.screamingfrog.co.uk/#fragment-this-wont-be-crawled``https://www.screamingfrog.co.uk/seo-spider/``https://www.screamingfrog.co.uk/seo-spider/

Der Spider ermittelt die Anzahl eindeutiger Adressen. Eine URL mit einem Fragment (#) gilt nicht als separate Seite und wird normalisiert. Das doppelte /seo-spider/ wird auf einen Eintrag reduziert.

Das Tool meldet, dass 4 URLs gefunden wurden, und normalisiert sie im Dialogfeld. Wenn Sie den Crawl starten, verarbeitet es nur 2 eindeutige Adressen.

Und obwohl 2 von 4 hochgeladenen URLs gescannt wurden, können Sie die ursprüngliche Liste in genau der Reihenfolge exportieren, in der Sie sie übermittelt haben.

Export der Daten in ursprünglicher Reihenfolge

Für den regulären Datenexport aus einem beliebigen Tab nutzen Sie die standardmäßige Schaltfläche Export. Wenn Sie jedoch die Reihenfolge beibehalten müssen, in der die URLs hochgeladen wurden, etwa um Ergebnisse mit einer externen Tabelle oder einem Datensatz abzugleichen, verwenden Sie die Export-Schaltfläche in der oberen Symbolleiste neben Upload und Start.

Die Daten in einem solchen Export bewahren die ursprüngliche Reihenfolge und enthalten alle URLs aus dem Upload, einschließlich Duplikaten und Korrekturen.

Die Spalte Original URL ist die von Ihnen hochgeladene Adresse. Die Spalte Address ist die URL, die der SEO Spider tatsächlich gescannt hat. Der Unterschied zwischen beiden ist das Ergebnis der Normalisierung.

Fortgeschrittene Szenarien

Der Listenmodus entfaltet seine volle Stärke, wenn Sie über „Hochladen und Scannen" hinausgehen. Die drei folgenden fortgeschrittenen Szenarien decken die meisten realen Audit-Aufgaben ab.

Crawlen einer URL-Liste und zusätzlicher Elemente

Angenommen, Sie müssen eine Liste von Seiten und alle darauf befindlichen Bilder prüfen. Oder externe Links von bestimmten URLs für den Broken-Link-Building sammeln. Oder hreflang- und canonical-Tags auf ausgewählten Seiten auditieren, ohne den Rest der Website anzutasten.

Entfernen Sie dazu die automatische Tiefenbegrenzung. Gehen Sie zu Configuration > Spider > Limits und deaktivieren Sie Limit Search Depth.

Jetzt kann der SEO Spider über die hochgeladene Liste hinausgehen. Damit er nicht über die gesamte Website wandert, konfigurieren Sie Filter unter Configuration > Spider > Crawl. Deaktivieren Sie alle Resource Links und Page Links und aktivieren Sie dann selektiv nur das, was Sie zusätzlich crawlen müssen.

Um beispielsweise eine Seite und ihre Bilder zu auditieren, aktivieren Sie unter Resource Links nur Images. Laden Sie eine URL hoch, und Sie sehen im Interface die gescannte Seite sowie alle darauf befindlichen Bilder.

Diese Flexibilität ermöglicht ein buchstäblich laserfokussiertes Audit: Sie prüfen nur die Markup-Elemente und Ressourcen, die Sie benötigen, ohne Zeit mit einem vollständigen Crawl zu verschwenden.

Audit von Weiterleitungen während einer Migration

Während einer Website-Migration ist es entscheidend, jede Weiterleitung zu prüfen und sicherzustellen, dass Ketten nicht unterbrochen werden. Der Listenmodus erlaubt es Ihnen, Quell-URLs hochzuladen, und der SEO Spider folgt der gesamten Kette selbstständig.

Aktivieren Sie die Option Always Follow Redirects unter Configuration > Spider > Advanced. Mit dieser Einstellung wird die Tiefenbegrenzung für Weiterleitungen ignoriert: Der Spider folgt der Kette, bis er eine 200-Antwort erhält (oder bis er die maximale Anzahl von Weiterleitungen aus Configuration > Spider > Limits erreicht).

Öffnen Sie nach dem Crawl den Bericht All Redirects: Er zeigt die vollständige Kette für jede Quell-URL in einer Ansicht.

Das eliminiert die mühsame Arbeit, Ziel-URLs aus jedem Weiterleitungsschritt nacheinander zu laden, das Tool erreicht das endgültige Ziel selbstständig.

Anbindung an APIs und Erfassung von Metriken

Der Listenmodus unterstützt die Integration mit Google Analytics, Google Search Console, PageSpeed Insights und Backlink-Analyse-Tools.

Wenn Sie beispielsweise die Ahrefs API anbinden, erhalten Sie für jede URL Kennzahlen wie verweisende Domains, Keyword-Rankings, geschätzten Traffic und Linkwert. Alle Daten werden auf einem separaten Tab Link Metrics angezeigt.

In der Praxis ist dies für die Wettbewerbsanalyse von unschätzbarem Wert: Sie laden eine Liste mit Wettbewerberseiten hoch und sehen sofort die organischen Metriken, ohne zwischen verschiedenen Tools wechseln zu müssen.

⁉️🤔 Häufig gestellte Fragen

Wie unterscheidet sich der Listenmodus vom regulären Spider-Modus?

Im Spider-Modus durchsucht der SEO Spider eine Website, indem er Links folgt, ausgehend von einer Start-URL. Im Listenmodus laden Sie eine fertige Adressliste hoch, und der Spider scannt ausschließlich diese. Die Tiefe ist standardmäßig auf 0 gesetzt, das heißt, es werden keine externen oder untergeordneten Seiten angefordert. So behalten Sie die vollständige Kontrolle über die zu prüfende URL-Menge.

Kann ich eine URL-Liste aus Google Sheets oder Excel hochladen?

Ja. Exportieren Sie die URL-Spalte aus der Tabelle als CSV oder TXT und laden Sie die Datei dann über Upload > From a File hoch. Oder kopieren Sie die Spalte und fügen Sie sie in den Paste-Dialog ein. Jede URL muss ein Protokoll (https://) enthalten, andernfalls akzeptiert der SEO Spider sie nicht.

Wie exportiere ich Daten in genau der Reihenfolge, in der ich die Liste hochgeladen habe?

Nutzen Sie die Export-Schaltfläche in der oberen Symbolleiste (neben Upload und Start), nicht die Standardschaltfläche auf den Tabs. Der Export aus der Symbolleiste bewahrt die ursprüngliche Reihenfolge und enthält alle hochgeladenen URLs, einschließlich Duplikaten und normalisierten Adressen. Die Spalte Original URL zeigt, was Sie übermittelt haben, und Address, was tatsächlich gescannt wurde.

Was tun, wenn einige URLs aus der Liste nicht gecrawlt werden?

Prüfen Sie das Protokoll: Alle Adressen müssen mit http:// oder https:// beginnen. Stellen Sie sicher, dass die URLs antworten (kein 404, kein 500). Sehen Sie sich nach dem Crawl den Bericht Response Codes an: Er zeigt den Status jeder hochgeladenen Adresse. Meldet der SEO Spider beim Upload „0 URLs found", liegt das Problem höchstwahrscheinlich am Format: Die Datei ist nicht lesbar oder der eingefügte Text wird nicht als URLs erkannt.

Ist der Listenmodus in der kostenlosen Version von Screaming Frog verfügbar?

Ja, der Listenmodus funktioniert in der kostenlosen Version des SEO Spider. Die Beschränkung der kostenlosen Version liegt bei 500 URLs in der Crawl-Warteschlange und gilt für beide Modi gleichermaßen. Für Listen mit mehr als 500 URLs benötigen Sie eine kostenpflichtige Lizenz.

Lohnt es sich, den Listenmodus tiefergehend zu beherrschen?

Der Listenmodus in Screaming Frog ist nicht nur ein alternativer Weg, URLs hochzuladen. Er ist ein Präzisions-Audit-Werkzeug, das Stunden spart, wenn Sie eine bestimmte Seitenauswahl prüfen müssen, statt einen vollständigen Website-Crawl durchzuführen.

Probieren Sie nach dem Beherrschen des grundlegenden Uploads unbedingt die Kombination „Tiefenbegrenzung aufheben + selektive Ressourceneinbindung" aus, das ist das nützlichste fortgeschrittene Szenario. Es macht den SEO Spider von einem gewöhnlichen Crawler zu einem chirurgischen Instrument für die jeweilige Aufgabe.

Sehen Sie sich das vollständige Benutzerhandbuch und den FAQ-Bereich auf der offiziellen Screaming-Frog-Website an. Bei verbleibenden Fragen antwortet der technische Support prompt und auf den Punkt.