SEORCH
ENGLISH
SEO CRAWLER
KEYWORD MONITOR
SEO TOOLS
ABOUT
Überprüfe eine komplette Website auf OnPage Faktoren.
Crawle viele tausend Seiten, finde fehlende Inhalte, technische Fehler und vieles mehr ..
CRAWL
INFO
SHOW
SEO Crawler:
Crawle bis zu 10.000 Seiten einer Domain
Crawle auf Wunsch mit ausgeführtem JavaScript (Headless Browser)
Wenn die Analyse abgeschlossen ist, erhältst du eine E-Mail
Je nachdem wie schnell die Website antwortet, kann das auch mal ein paar Stunden dauern
Hier kannst du
den Fortschritt sehen
Warum solltest du deine
Website crawlen
?
Website:
URL
*
DEINE EMAIL (um dich zu informieren, wenn der Crawl fertig ist)
*
MEHR EINSTELLEN?
NUR SEITEN IN DIESEN VERZEICHNISSEN CRAWLEN (eins pro Zeile)
DIESE VERZEICHNISSE NICHT CRAWLEN (eins pro Zeile)
DIESE GET PARAMETER IGNORIEREN (csv)
ANZAHL DER ZU CRAWLENDEN SEITEN (10.000 max.)
User Agent:
Chrome Browser
Google Bot
Bing Bot
Yandex Bot
Google Modus (Noindex und Canonical Tags beachten)
Disallow Regeln für den gewählten User Agent in der robots.txt beachten
Generell KEINE URLs mit dynamischen Parametern crawlen z.B.
sid
oder index.php
?id=4
mit
ausgeführtem JavaScript
crawlen (Headless Browser)