Über den URLinspectorBot
Version : 1.0
Bot-Typ : Gut (gut erzogen, achtet auf Traffic, identifiziert sich selbst, hat einen offiziellen Namen)
Kategorie : Webseiten Mmonitoring
Crawling für : Hyperlinks, Sitemaps, URL-Status, Seitentitel
Befolgt Robots.txt : Ja
Befolgt Crawl-Delay : Noch nicht (geplant)
Robots-Test-Tool : Noch nicht (geplant)
User-Agent String : Mozilla/5.0 (compatible; URLinspectorBot/1.0; +https://www.urlinspector.com/bot/))
Reverse DNS Suffix : noch nicht verwendet, wird hier veröffentlicht, sobald es feststeht
IP-Adressbereich : dynamisch, wird hier veröffentlicht, sobald ein fester Bereich genutzt wird
Was ist URLinspectorBot?
URLinspectorBot ist ein Web-Crawler, der die Datenbank von Webseiten und Hyperlinks für URLinspector und LinkResearchTools befüllt.
Dieser Bot durchforstet das Web, um unsere Datenbank mit Daten über Webseiten unserer Nutzer und neue Links zu füllen und den Status der bereits gefundenen zu überprüfen, um unseren Nutzern die umfassendsten und aktuellsten Daten zur Verfügung zu stellen.
Die Link- und Seitenstatusdaten, die URLinspectorBot aus dem Web sammelt, werden von tausenden digitalen Vermarktern unserer Software verwendet, um ihre Webseiten zu verbessern.
Es ist ein Werkzeug, das auch Sie verwenden können, um den Zustand Ihrer Website zu überwachen, derzeit kostenlos.
Was macht URLinspectorBot auf Ihrer Website?
URLinspectorBot crawlt Ihre Website, notiert Links und fügt sie unserer Datenbank hinzu. In regelmäßigen Abständen wird Ihre Website erneut gecrawlt, um den aktuellen Status der zuvor gefundenen Links zu überprüfen.
URLinspectorBot klickt keine Werbung auf Ihrer Website (falls vorhanden) und fügt keine Besucher zu Ihrem Google Analytics-Traffic hinzu.
Beachtet URLinspectorBot die robots.txt-Datei?
Ja. Unbedingt.
Wir respektieren robots.txt strikt, sowohl disallow als auch allow Regeln.
Wir verwenden die originale Google robots.txt Bibliothek, um robots.txt Dateien zu analysieren. Es ist die gleiche Bibliothek, die auch Googlebot zum Analysieren von robots.txt-Dateien verwendet.
Wie Sie URLinspectorBot auf Ihrer Website kontrollieren
URLinspectorBot hält sich strikt an die robots.txt-Datei auf Ihrer Website. Sie können ihn also für Ihre Website vollständig kontrollieren, wenn Sie dies wünschen.
Wenn Sie aus irgendeinem Grund verhindern möchten, dass URLinspectorBot Ihre Website besucht, fügen Sie die beiden folgenden Zeilen in die robots.txt-Datei auf Ihrem Server ein:
User-agent: URLinspectorBot
Disallow: /
Bitte beachten Sie, dass URLinspectorBot einige Zeit benötigen kann, um die Änderungen in Ihrer robots.txt-Datei zu übernehmen. Dies wird vor jedem nächsten geplanten Crawl durchgeführt.
Bitte beachten Sie auch, dass wenn Ihre robots.txt Fehler enthält und URLinspectorBot nicht in der Lage ist, Ihre Befehle zu erkennen, wird er Ihre Website weiterhin so crawlen wie bisher. Auch eine fehlende oder leere robots.txt Datei wird URLinspectorBot nicht daran hindern, Ihre Website zu crawlen.
Sie können mehr über robots.txt und den Robots-Ausschlussstandard lesen
- Über den Robots-Ausschluss-Standard bei Wikipedia
- Einführung in robots.txt von Google
- Wie Google (und URLinspector) die robots.txt-Spezifikation interpretiert
Wenn Sie der Meinung sind, dass URLinspectorBot ein Fehlverhalten auf Ihrer Website zeigt oder wenn Sie Fragen dazu haben, zögern Sie bitte nicht, unser Support-Team zu kontaktieren [email protected].