Googlebot: Folgende Crawling-Signale sollten Sie im Auge behalten

Google-Robot

Die Grundlage für erfolgreiches SEO ist, dass die Bots der Suchmaschinen jederzeit ungehinderten Zugriff auf alle Seiten Ihres Webauftritts haben, die in den Suchergebnissen erscheinen sollen. Haben sie das nicht, werden Sie auch keine guten Platzierungen  erreichen können. Auf der „SMX East“ in New York gab Google-Ingenieur Gary Illyes bekannt, dass die Suchmaschine mehrere Signale auswertet, um Webseiten effizient zu crawlen, wie der „Search Engine Roundtable“-Blog berichtet.
Folgende Crawling-Signale berücksichtigt der Googlebot:

  • Antwortzeit des Servers: Wie lange dauert es, bis der Webserver auf eine bestimmte Anfrage antwortet? Wird hier eine gewisse Zeit überschritten, stoppt Google den Crawling-Vorgang oder verlangsamt diesen. Schließlich möchte man nicht Ihren Server lahm legen.
  • HTTP-Statuscodes: Erhält Google vom Server eine Antwort in der Art 5XX, wird das Crawling ebenfalls verlangsamt bzw. abgebrochen, um auch hier den Server nicht zu überlasten. Eine Liste der gängigen 5XX-Fehler findet man in der Wikipedia.

In beiden Fällen wird Google die entsprechende Webseite zu einem späteren Zeitpunkt erneut besuchen. Um Probleme dieser Art zu vermeiden, sollten Sie regelmäßig einen Blick in die Google Webmaster-Tools werfen, um Crawling-Fehler frühzeitig zu identifizieren, ehe Sie größeren Schaden anrichten.

Achten Sie außerdem darauf, dass Seiten nicht irrtümlicherweise per robots.txt vom Crawling-Vorgang ausgeschlossen oder mit dem nofollow-Attribut versehen sind.

Bild oben: © Kirill_M – Fotolia.com

abgelegt unter: SEO

Tags: ,

Schreib einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *