Skip to main content

Crawl-Budget

Das Crawl-Budget ist die Zahl der Haupt- und Unterseiten, die Google pro Webseite (Haupt-URL) maximal crawlt. Diese Zahl legen die Suchmaschinenalgorithmen von Google und anderen Suchmaschinen selbst fest, sie hängt stark vom Ranking ab. Von Haupt-URLs mit einem hohen PageRank werden die Unterseiten häufiger gecrawlt. Die wichtigsten Unterseiten erfasst die Suchmaschine dabei besonders häufig, auch crawlt sie in tiefere Ebenen.

Wie lässt sich das Crawl Budget verbessern?

Zunächst einmal ist es vom Index-Budget abzugrenzen, das die Zahl der zu indexierenden URLs pro Seite festlegt und das durch einen 404-Fehlercode nicht belastet werden kann (weil dabei keine URL gezählt wird), während dieser Fehlercode das Budget für das Crawlen pro Seite durchaus stark belastet. Dieser Fehlercode ist also strikt zu vermeiden. Des Weiteren wäre ein guter PageRank immer hilfreich, der durch Maßnahmen der Onpage- und Offpage-Optimierung erreicht wird. Für Webseitenbetreiber mit vielen Unterseiten muss sich allerdings die Frage stellen, ob die vielen Unterseiten nicht das Budget für das Crawlen zu stark ausschöpfen bis hin zum Effekt, dass einige Unterseiten der Indexierung entgehen. Das wäre bezüglich des entgangenen Traffics kontraproduktiv, daher geht der Trend zu einem nur noch mäßigen Einsatz von Unterseiten.

Sie haben noch Fragen?

Kontaktieren Sie uns