SEO Crawler: crawle bis zu 10.000 Seiten mit ausgeführtem JavaScript

Crawle bis zu 10.000 Seiten einer Domain
Crawle auf Wunsch mit ausgeführtem JavaScript (Headless Browser)
Wenn die Analyse abgeschlossen ist, erhältst du eine E-Mail
Je nachdem wie schnell die Website antwortet, kann das auch mal ein paar Stunden dauern
Hier kannst du den Fortschritt sehen
Warum solltest du deine Website crawlen?

URL*

DEINE EMAIL (um dich zu informieren, wenn der Crawl fertig ist)*

MEHR EINSTELLEN?

NUR SEITEN IN DIESEN VERZEICHNISSEN CRAWLEN (eins pro Zeile)

DIESE VERZEICHNISSE NICHT CRAWLEN (eins pro Zeile)

DIESE GET PARAMETER IGNORIEREN (csv)

ANZAHL DER ZU CRAWLENDEN SEITEN (10.000 max.)

User Agent:

Google Modus (Noindex und Canonical Tags beachten)

Disallow Regeln für den gewählten User Agent in der robots.txt beachten

Generell KEINE URLs mit dynamischen Parametern crawlen z.B. sid oder index.php?id=4

mit ausgeführtem JavaScript crawlen (Headless Browser)

SEORCH