Crawl Budget

Stellen Sie sich vor, Google hätte unendlich viel Zeit und Ressourcen für Ihre Website. Der Googlebot würde jeden Tag vorbeischauen, jede noch so kleine Änderung sofort registrieren und jede Ihrer Unterseiten – egal wie tief verschachtelt – blitzschnell in den Index aufnehmen. Das wäre der Idealzustand.

Die Realität sieht leider anders aus. Das Internet ist gigantisch, und selbst Google muss haushalten. Der Googlebot kann nicht alles gleichzeitig crawlen. Er muss priorisieren. Er muss entscheiden: „Lohnt es sich, hier Zeit zu investieren, oder gehe ich lieber zur nächsten Website?“

Genau hier kommt das Crawl Budget ins Spiel. Es ist die Währung, mit der Ihre Website um die Aufmerksamkeit von Google bezahlt. Wenn Ihr Budget aufgebraucht ist, dreht der Bot ab – und Ihre neuen Inhalte bleiben erst einmal unsichtbar.

Wir erleben oft, dass Kunden nervös werden, wenn sie diesen Begriff hören. „Muss ich mein Crawl Budget optimieren?“, ist eine häufige Frage. Die Antwort ist ein klares „Jein“. Für viele Websites ist es gar kein Thema, für andere ist es der entscheidende Flaschenhals.

In diesem Artikel entmystifizieren wir das Thema Crawl Budget. Wir zeigen Ihnen, wann Sie wirklich handeln müssen, wer Ihre größten „Budget-Diebe“ sind und wie Sie dafür sorgen, dass Google seine Zeit auf Ihre wichtigsten Seiten verwendet.

Was ist Crawl Budget (praxisnah erklärt)?

Lassen Sie uns die Buzzwords beiseitelegen und das Konzept ganz einfach betrachten. Das Crawl Budget ist im Grunde die Anzahl der URLs, die der Googlebot auf Ihrer Website crawlen kann und will .

Es setzt sich aus zwei Hauptfaktoren zusammen:

1. Crawl Capacity (Das Limit Ihres Servers)

Google ist ein höflicher Gast. Der Bot möchte Ihren Server nicht überlasten. Wenn Ihre Website langsam antwortet oder bei vielen Zugriffen in die Knie geht, drosselt Google die Geschwindigkeit.

• Einfach gesagt: Wie viele Seiten kann Google technisch abrufen, ohne dass Ihre Seite abstürzt?

2. Crawl Demand (Die Wichtigkeit Ihrer Seite)

Google will Inhalte finden, die Nutzer interessieren. Beliebte Seiten (mit vielen externen Links und Traffic) werden öfter besucht als verwaiste Landingpages, die seit 2015 niemand mehr angeklickt hat. Auch Aktualität spielt eine Rolle: Ein News-Portal hat einen höheren „Crawl Demand“ als eine statische Visitenkarte.

• Einfach gesagt: Wie viele Seiten will Google abrufen, weil sie wichtig oder aktuell sind?

Ein Rechenbeispiel:
Stellen Sie sich vor, Sie haben einen riesigen Online-Shop mit 100.000 URLs (Produkte, Kategorien, Filter). Google gesteht Ihnen aber aufgrund Ihrer Server-Performance und Ihrer aktuellen Popularität nur ein Budget von 2.000 Crawls pro Tag zu.
Sie können sich leicht ausrechnen, wie lange es dauert, bis der Bot einmal alles gesehen hat: Wochen. Wenn Sie heute ein neues Produkt einstellen, kann es passieren, dass Google es erst in 20 Tagen findet. Das ist bares Geld, das Ihnen entgeht.

Wann ist Crawl Budget wirklich ein Thema?

Hier müssen wir ehrlich sein, um Ihnen unnötige Arbeit zu ersparen. In der SEO-Szene wird Crawl Budget oft als Allheilmittel verkauft. Doch für die meisten Websites da draußen ist es gar nicht das primäre Problem.

Sie haben wahrscheinlich KEIN Crawl-Budget-Problem, wenn:

• Ihre Seite weniger als ein paar tausend URLs hat.
• Neue Inhalte in der Regel innerhalb von ein paar Tagen im Index auftauchen.
• Sie keine komplexen technischen Spielereien (wie riesige Filter-Navigationen) nutzen.

Bei einer sauberen Unternehmensseite mit 500 Unterseiten kommt der Googlebot locker durch. Hier sollten Sie sich eher auf Content und Onpage-Optimierung konzentrieren.

Wann müssen Sie hellhörig werden?
Das Thema wird kritisch für:

1. Große E-Commerce-Sites: Sobald Sie Varianten, Filter und Sortierungen haben, explodiert die Zahl der URLs schnell in die Millionen.
2. Große Publisher/News-Portale: Hier ist Schnelligkeit alles. Wenn die Breaking News erst morgen indexiert wird, ist der Traffic weg.
3. Seiten mit technischer „URL-Explosion“: Wenn ein Fehler im System unendlich viele URLs generiert (z. B. Kalenderfunktionen, die bis ins Jahr 3000 verlinken).
4. Seiten nach einem Relaunch: Wenn Weiterleitungen nicht sauber gesetzt sind, verrennt sich der Bot.

Oft ist ein scheinbares „Crawl Budget Problem“ in Wahrheit nur ein Symptom für unsaubere Technik. Wenn Sie Google zwingen, Tausende von Fehlerseiten zu crawlen, fehlt die Zeit für die echten Inhalte.

Die häufigsten Budget-Fresser (und wie Sie sie stoppen)

Wenn wir Crawl-Analysen durchführen, finden wir fast immer die gleichen Verdächtigen, die Ressourcen verschwenden. Das Gute daran: Wenn Sie diese „Fresser“ eliminieren, wird Budget frei, ohne dass Sie Ihren Server aufrüsten müssen.

Hier sind die Top 5 der Ressourcen-Vernichter:

1. Parameter-URLs und Faceted Navigation

Das ist der Endgegner im E-Commerce. Stellen Sie sich vor, Sie haben einen Schuh-Shop.
Die URL /schuhe ist wichtig.
Aber was ist mit /schuhe?farbe=rot&groesse=42&sortierung=preis_asc&ansicht=liste?
Jede Kombination aus Filtern erzeugt eine neue URL. Technisch ist das oft notwendig, aber für Google ist es meist Duplicate Content oder uninteressant.

Wenn Sie Google erlauben, jede dieser Millionen Kombinationen zu crawlen, wird der Bot den Großteil seiner Zeit in Ihrer Faceted Navigation verbringen. Ihre wichtigen Kategorieseiten bleiben auf der Strecke. Hier helfen klare Regeln in der robots.txt oder saubere Canonical-Tags, wobei robots.txt effektiver ist, um das Crawling vorher zu stoppen.

Mehr dazu: Parameter-URLs richtig handhaben

2. Redirect-Ketten (Die stille Bremse)

Ein Link zeigt auf Seite A. Seite A leitet weiter auf Seite B. Seite B leitet weiter auf Seite C.
Jeder dieser Sprünge (Hops) kostet den Bot Zeit und Mühe. Google folgt meist nur 5 solcher Sprünge, bevor er abbricht. Schlimmer noch: Jeder Hop in einer Redirect-Kette frisst einen kleinen Teil des Crawl Budgets.
Wir sehen oft alte Weiterleitungen aus Relaunches von 2015, die auf Weiterleitungen von 2018 zeigen, die wiederum auf die heutige URL zeigen. Das muss bereinigt werden.

3. Soft 404 Fehler

Ein Soft 404 ist besonders tückisch. Das passiert, wenn eine Seite für den Nutzer aussieht wie „Nicht gefunden“ (z. B. „Leider keine Produkte in dieser Kategorie“), der Server aber technisch meldet: „Alles okay hier (Statuscode 200)“.
Google crawlt diese Seite, analysiert den Inhalt und merkt dann: „Moment, hier ist ja gar nichts.“ Das ist verschwendete Zeit. Wenn eine Seite leer ist oder nicht existiert, sollte sie auch technisch korrekt antworten (404 oder 410).

4. 5xx Serverfehler

Wenn der Googlebot vorbeikommt und Ihr Server meldet „500 Internal Server Error“ oder „503 Service Unavailable“, ist das ein Warnsignal.
Passiert das häufiger, denkt Google: „Oh, der Server ist überlastet. Ich komme lieber seltener vorbei, um nichts kaputtzumachen.“
Sie verlieren also doppelt: Die Fehlerseiten werden nicht indexiert und Ihre generelle Crawl Capacity wird herabgestuft. Ein stabiler Server ist die Grundvoraussetzung für gutes Crawling.

5. Doppelte URLs (Duplicate Content)

Erreichbarkeit unter http und https? Mit und ohne www? Mit und ohne Trailing Slash (/ am Ende)?
Wenn Ihre Seite unter vier verschiedenen Varianten erreichbar ist, muss Google theoretisch alle vier prüfen, um die richtige zu finden. Saubere, server-seitige 301-Weiterleitungen auf eine Hauptversion sind Pflicht.

Maßnahmen mit Priorität (erst Hygiene, dann Feintuning)

Sie wissen jetzt, wo die Probleme liegen könnten. Aber wo fangen Sie an? Wir empfehlen eine klare Reihenfolge. Erst muss die Basis stimmen, bevor wir an den Feinheiten schrauben.

Schritt 1: Statuscodes aufräumen

Ihr Ziel ist eine saubere Struktur, in der fast jeder Crawl auf einer funktionierenden Seite (Status 200) landet.

• Prüfen Sie Ihre HTTP-Statuscodes .
• Eliminieren Sie interne Links, die auf 404-Fehlerseiten zeigen (Broken Links). Jeder Link auf eine tote Seite ist eine Sackgasse für den Bot.
• Lösen Sie Redirect-Ketten auf. Verlinken Sie intern immer direkt auf das finale Ziel, nicht auf die Weiterleitung.

Schritt 2: Die XML-Sitemap säubern

Ihre XML-Sitemap ist Ihre Wunschliste an Google. „Bitte sehen Sie sich diese Seiten an.“
Wenn diese Liste voller Müll ist (404-Seiten, weitergeleitete URLs, noindex-Seiten), verliert Google das Vertrauen in Ihre Sitemap.
Sorgen Sie dafür, dass in der Sitemap wirklich nur Ihre indexierbaren, kanonischen Top-Seiten stehen. Das erhöht die Wahrscheinlichkeit, dass Google diese priorisiert abarbeitet.

Schritt 3: Parameter und Filter steuern

Entscheiden Sie aktiv, was Google sehen darf.

• Braucht Google die „Sortieren nach Preis“-URLs? Wahrscheinlich nicht. Sperren Sie sie in der robots.txt.
• Braucht Google die Kombination aus „Farbe: Rot“ + „Größe: XL“ + „Material: Leder“? Meistens nicht, da das Suchvolumen dafür zu gering ist („Longtail“ hin oder her).
• Setzen Sie klare Regeln, welche URL-Muster für den Bot tabu sind. Das ist der effektivste Hebel, um bei großen Shops Budget freizuschaufeln.

Schritt 4: Interne Verlinkung fokussieren

Google nutzt interne Links , um die Wichtigkeit einer Seite zu verstehen.
Eine Seite, die von der Startseite verlinkt ist, wird sehr oft gecrawlt. Eine Seite, die nur über zehn Klicks erreichbar ist, wird selten besucht.
Nutzen Sie das zu Ihrem Vorteil. Verlinken Sie Ihre wichtigsten „Money Pages“ und neue Artikel prominent (z. B. „Beliebte Produkte“, „Ähnliche Artikel“). Damit lenken Sie den Bot gezielt dorthin, wo er am dringendsten gebraucht wird.

Monitoring: woran Sie Verbesserung erkennen

Sie haben aufgeräumt. Aber hat es was gebracht? SEO ist messbar, und das gilt auch für das Crawl Budget.

Ihr wichtigstes Tool ist der Crawl-Statistiken-Bericht in der Google Search Console (unter „Einstellungen“).

Achten Sie auf folgende Indikatoren:

1. Gesamtzahl der Crawling-Anfragen: Steigt die Kurve oder bleibt sie stabil auf hohem Niveau? Ein Einbruch deutet auf Serverprobleme hin.
2. Antworten nach Statuscode: Der Anteil an „200 OK“ sollte dominieren (idealerweise >90%). Wenn Sie viele 301, 302 oder 404 sehen, haben Sie noch Hausaufgaben bei der Link-Hygiene.
3. Dateityp: Wird hauptsächlich HTML (Ihr Content) gecrawlt, oder verbringt der Bot zu viel Zeit mit JavaScript-Dateien oder Bildern?
4. Zweck: Sehen Sie sich das Verhältnis von „Aktualisierung“ (bekannte Seiten) zu „Entdeckung“ (neue Seiten) an. Wir wollen eine gesunde Mischung.

Für Fortgeschrittene: Logfile-Analyse
Wenn Sie es ganz genau wissen wollen, kommen Sie an den Server-Logfiles nicht vorbei. Hier sehen Sie jeden einzelnen Zugriff des Googlebots – ungefiltert. Sie erkennen sofort, ob der Bot sich in einer Endlosschleife aus Filter-URLs verfangen hat, die in der Search Console vielleicht gar nicht so detailliert auftauchen. Das ist der Goldstandard der Diagnose.

---

Fazit: Qualität vor Quantität

Crawl Budget Optimierung klingt technisch und kompliziert, ist aber im Kern logisch: Machen Sie es dem Bot einfach.

Stellen Sie sich den Googlebot wie einen Besucher vor, der wenig Zeit hat. Würden Sie ihn durch ein Labyrinth aus kaputten Türen (404), Umleitungen (301) und sinnlosen Kopien (Parameter) schicken? Sicher nicht. Sie würden ihm den roten Teppich zu Ihren besten Inhalten ausrollen.

Genau das tun wir mit technischem SEO. Wir räumen die Hindernisse weg. Das Ergebnis ist nicht nur eine bessere Crawl-Statistik, sondern fast immer auch ein besseres Ranking – weil Google Ihre Seite endlich richtig versteht und wertschätzt.

Haben Sie den Verdacht, dass Google Ihre Seite nur mit angezogener Handbremse crawlt? Finden wir es heraus.

Häufige Fragen zu Crawl Budget

Sollte ich einfach alles blockieren, was nicht wichtig ist?

Vorsicht mit dem Hammer. Wenn Sie per robots.txt zu viel blockieren, kann das Nebenwirkungen haben (z. B. können Linksignale nicht mehr fließen). Blockieren Sie Parameter-URLs, ja. Aber blockieren Sie keine regulären Kategorieseiten oder JS/CSS-Dateien, die für das Rendering wichtig sind.

Hilft eine XML-Sitemap immer beim Crawl Budget?

Sie hilft bei der Priorisierung . Sie erhöht nicht automatisch das Budget (die Kapazität), aber sie sagt dem Bot: „Wenn Sie schon da sind, fangen Sie bitte hiermit an.“ Eine saubere Sitemap ist daher essenziell für die Effizienz.

Spielt die Ladezeit (Page Speed) eine Rolle?

Absolut. „Time is money“ gilt auch für Bots. Wenn Google Ihre Seite in 200ms laden kann statt in 2000ms, kann der Bot in der gleichen Zeit zehnmal so viele Seiten crawlen. Ein schneller Server ist der einfachste Weg, das Crawl Budget faktisch zu erhöhen.