Crawl-Fehler: Google baut direkte Kommunikation mit Webmastern aus

Google baut die Kommunikation mit Webmaster ausGoogle stellt zwar immer höhere Anforderungen an Website-Betreiber, SEOs und Co., um eine Website in den Suchmaschinen-Rankings nach oben zu bringen. Gleichzeitig baut Google via Webmaster-Tools (WMT) die direkte Kommunikation mit Webmastern aus. Stößt der Googlebot beim Crawlen einer Seite auf kritische Fehler, erhalten Seitenbetreiber künftig eine Warnmeldung im Nachrichten-Center. So kann man die Probleme zeitnah beheben und der Besucher- bzw. Ranking-Verlust hält sich in Grenzen.

Googlebot crawlt in mehr oder weniger regelmäßigen Abständen die im Netz vorhandenen Webseiten und stößt dabei auf Fehler vielfältiger Art: Eine Seite ist nicht erreichbar oder antwortet mit einem x-beliebigen 400er oder 500er-Fehler, auch ein Time-Out des Servers kann den Googlebot bei seiner Entdeckungstour durchs Web ausbremsen usw.

Zwei Arten von Fehlern beim Crawlen einer Website

Google teilt die Fehler beim Crawl-Vorgang in zwei Kategorien ein:

  • Website-Fehler
  • URL-Fehler

Website-Fehler:
Bei Website-Fehlern gibt es Probleme mit der Website als solches, so dass der Googlebot keine Verbindung zu dieser herstellen kann. Hierfür gibt es mehrere Gründe:

  • Der DNS-Server ist nicht richtig konfiguriert oder vorübergehend down.
  • Der Webserver ist durch eine Firewall durch Zugriffe von außen geschützt.
  • Der Webserver erlaubt keine Crawler bzw. Spider-Zugriffe (z. B. aufgrund eines entsprechenden Ausschlusses in der robots.txt-Datei).
  • Der Webserver ist zurzeit down oder überlastet.
  • Der Googlebot kann nicht auf die robots.txt-Datei zugreifen.

Diese Fehler sollten bei Webseiten und Online-Shops idealerweise nicht auftreten. Wenn der Googlebot eine gewisse Anzahl dieser Fehler beim Crawlen entdeckt, erhält man im Nachrichten-Center eine Meldung von Google. Neben einer genauen Fehlerbeschreibung listet Google auch mehrere Vorschläge auf, wie das Problem gelöst werden kann.

URL-Fehler:
Auf der anderen Seite gibt es jedoch Fehler, die selbst bei einem gut konfigurierten System jederzeit auftauchen können. Dabei handelt es sich um Seiten, die etwas anderes als einen 200-OK-Code oder fälschlicherweise einen 200er-Code („Soft Error“) zurückliefern.

Bei URL-Fehlern gibt es von Google nur eine Warnmeldung, wenn die Fehleranzahl in den einzelnen Kategorien (Server-Fehler, Soft 404, Zugriff verweigert, Nicht gefunden, Not followed) abrupt ansteigt oder wenn die Anzahl an Fehlern eine gewisse Grenze überschreitet (z. B. 500 oder 1000). Dies könnte passieren, wenn ein Verzeichnis versehentlich gelöscht oder verschoben wurde oder bei einem Relaunch, wenn die bisherigen Links auf nicht mehr existente Seiten weisen.

Nachrichtenweiterleitung aktivieren

Da nicht jeder Webmaster regelmäßig (z. B. einmal in der Woche) in die Webmaster-Tools reinschaut, sollte man am besten in seinem Google-WMT-Dashboard unter „Einstellungen“ die Nachrichtenweiterleitung aktivieren. So kann man die Warnmeldungen von Google an eine beliebige mit dem Google-Konto verknüpfte E-Mail-Adresse schicken lassen.

Bild oben: © teracreonte – Fotolia.com