• 0Einkaufswagen
IN-SEO.de
  • Startseite
  • Leistungen
    • Website SEO Analyse
    • SEO Beratung
    • Linkbuilding Agentur
    • Texte
    • SEO Agentur
    • Social Media Marketing
    • Webdesign
    • SEO für Branchen, Berufe & mehr
    • SEO für Jeden und alles
    • Experte Virales Marketing
    • Linkabbau
    • Amazon SEO Agentur München
  • Referenzen
  • Shop
  • Kontakt
    • Über uns
    • Was kostet SEO?
    • Lexikon
    • Meine Bücher
    • Partner & Freunde
    • Übersicht
    • SEO Checkliste
    • Blog
    • SEO lernen
    • Impressum
    • Datenschutzerklärung
  • Suche
  • Menü Menü

SEO-Check kostenlos!
Blog - Aktuelle Neuigkeiten

Was ist Crawl Budget?

16. März 2022/in SEO/von Dirk Schiff

Die Anzahl der Seiten, die auf einer Website von Google maximal gecrawlt werden, haben die Bezeichnung Crawl Budget.

Erklärung

Die Anzahl der Unterseiten die mit jeder URL gecrawlt werden legt Google selbst fest. Dies wird von Google bei allen Websites unterschiedlich gehandhabt. Wie Matt Cutts erklärt nimmt Google die Abhängigkeit der Websites vom PageRank als Basis. Das Crawl Budget richtet sich nach dem PageRank – das Crawl Budget wird größer wenn der PageRank hoch ist. Die Häufigkeit von tiefgehendem Crawl und wie oft von einer Website die wichtigen Unterseiten gecrawlt werden wird vom Crawl Budget bestimmt.

Crawl Budget und Index Budget – zwei verschiedene Themen

Die Begriffe Crawl Budget und Index Budget werden von Google unterschiedlich bewertet. Index Budget legt die Anzahl der URLs, die indexiert werden können, fest. Kurz die Verdeutlichung des Unterschieds: Beinhaltet eine Website viele Seiten mit dem Fehlercode “404-Fehlercode” wird jede dieser Seiten das Crawl Budget belasten. Eine Indexierung ist aber aufgrund der Fehlermeldung nicht möglich; eine vollständige Ausschöpfung vom Index Budget gibt es daher nicht.

Schwierigkeiten

Schwierigkeiten beim Crawl Budget ergeben sich für Website, die eine große Anzahl an Unterseiten beinhalten. Üblicherweise crawlt Google nicht alle Unterseiten, sondern nur eine gewisse Anzahl. Die Folge ist, dass nicht alle Unterseiten gecrawlt und damit nicht indexiert werden. Die Folge ist, dass dem Traffic, dem Seitentreiber die nicht indexierten Seiten entgehen.

Auswirkungen auf die Suchmaschinenoptimierung

Mit der Crawl Optimization bildete sich, bezogen auf der o. g. Grundlage, ein Teilbereich. Dieser Teilbereich will den Googlebot so steuern, dass eine sinnvolle Ausnutzung vom vorhandenen Crawl Budget erfolgt und die Seiten, die eine große Bedeutung und von hochwertiger Qualität sind für den Webseitenbetreiber indexiert werden. Doch im ersten Schritt ist die Identifikation der untergeordneten Seiten, die wenig Bedeutung haben, wichtig. In der Regel sind dies fehlerhafte Seiten mit einem “404-Errorcode”, mit einem sehr geringen Informationsgehalt und / oder einem minderwertigem Content. Vom Crawling werden diese Seiten nicht berücksichtigt. Damit bleibt für hochwertige Unterseiten das Crawl Budget verfügbar. Danach erfolgt die Bearbeitung der wichtigen Unterseiten, damit diese bevorzugt vom Spider gecrawlt werden. Bei der Crawl Optimization sind verschiedene Maßnahmen möglich:

  • Die Architektur der Seiten so zu realisieren, dass eine  flache Seitenarchitektur entsteht. Wichtig ist, dass zu den Unterseiten kurze Wege führen und diese mit wenigen Klicks erreichbar sind.
  • Häufig gecrawlte Seiten mit Seiten, die viele Backlinks beinhalten intern verlinken.
  • Für die wichtigen Unterseiten einer Website eine optimale interne Verlinkung schaffen.
  • Unwichtige Seiten mittels robots.txt vom Crawling ausschließen. Dies können bspw. Seiten mit Log-in, Bildern oder Kontaktformularen sein.
  • Mit Metadaten Seiten wie nofollow oder noindex vom Crawling ausschließen.
  • Für die wichtigsten Unterseiten einer Website eine URL-Liste in Verbindung mit einer  XML-Sitemap  erstellen und anbieten
  • Verbessert die Crawl Optimization das Angebot der indexierten und gecrawlten und Seiten, kann sich das Ranking verbessern. Fakt ist, dass die Seiten, die ein gutes Ranking haben, deutlich öfter gecrawlt werden. Das bringt für die Seite und den Webseitenbetreiber Vorteile mit sich.

Dirk Schiff
Dirk Schiff

Dirk Schiff ist Head of SEO bei der AnalyticaA GmbH, Diplomierter Online Marketing Manager, Journalist (FJS) und Online Marketing Experte. Er optimiert seit 2007 Internetseiten. Er leitete bei stellenanzeigen.de den SEO-Bereich Inhouse, sowie für 40 Verlagsportale.

Ähnliche Beiträge

Schlagworte: Crawl Budget, Crawling Buget
Eintrag teilen
  • Teilen auf Facebook
  • Teilen auf Twitter
  • Teilen auf WhatsApp
  • Teilen auf Pinterest
  • Teilen auf LinkedIn
  • Teilen auf Tumblr
  • Teilen auf Vk
  • Teilen auf Reddit
  • Per E-Mail teilen
  • SMX 2023: SEO und SEA Konferenz in München1. Dezember 2022 - 22:52

    Die Suchmaschinen bringen immer wieder neue Updates, die von den Suchmaschinenoptimierern zur Zufriedenheit von Google & Co. umgesetzt werden müssen. Es ist eine ganz neue Zeit angebrochen, die zwar erst am Anfang steht, doch viele Herausforderungen mit sich bringt. Die Ressourcen sind nicht unendlich und auch die Budgets sind es nicht. Die Kunden sind anspruchsvoller, […]

  • YouTube-SEO für bessere Rankings23. November 2022 - 11:01

    Um bei YouTube bessere Rankings zu erzielen, sollte für jedes einzelne Video eine SEO-Optimierung durchgeführt werden. Dies ist ähnlich zu betrachten wie die Optimierung der einer Webseite. Titel und Beschreibung sind ebenso ausschlaggebend für das Ranking bei YouTube, wie die Meta-Daten einer Webseite für eine organisches Ranking bei Google. Die Anleitung hilft dabei die YouTube-Videos […]

  • Besseres Keyword Matching = bessere Chancen für Nischen Keywords12. August 2022 - 08:53

    Google gibt eine klare Empfehlung für den Werbenden raus. Man soll von Exact Match auf Broad Match umstellen. Die Suchmaschine verändert die Art des Matchings, weil  es sich bei 15 Prozent der täglichen Suchanfragen immer neue Suchen handelt, die es zuvor noch nie gegeben hat. Praktische Umsetzung bei den Google Ads Man stellt nicht nur […]

  • Google Ads ScriptGoogle-Ads-Skripte können die Arbeit erleichtern12. August 2022 - 08:46

    Ist es möglich durch die Nutzung von Google-Ads-Skripten Zeit einzusparen? Ja, es ist möglich viel Zeit einzusparen. Ads-Skripte automatisieren Anhand von Google-Ads-Skripten können Änderungen im Google-Konto automatisiert vorgenommen werden. Durch die die Verwendung von Java-Script-Code, ist es möglich die Gebote zu verändern oder Anzeigengruppen zu pausieren. Darüber hinaus können Keywords hinzugefügt werden. D.h. man muss […]

  • Preissuchmaschine AmazonGoogle TrendsAmazon ist eine Suchmaschine oder eher Preissuchmaschine?5. August 2022 - 07:55

    Amazon ist im Laufe der Jahre zur Preissuchmaschine geworden. Dies hat sich bereits im Jahr 2015 herauskristallisiert. Seiner Zeit wurden zahlreiche Artikel dazu publiziert. „Suchmaschine: Amazon ist das neue Google“ lautete ein Artikel auf dem Amazon Watchblog. [1] Eine Umfrage des Marktforschungsunternehmens Mintel hat ergeben, dass 84% der Deutschen bei Amazon eingekauft haben. Die Verkaufsplattform […]

  • Online Marketing ViralExperte Virales Marketing1. August 2022 - 23:12

    Herzlich Willkommen auf meiner Website in-seo.de! Bist du auf der Suche nach einem Experten für Virales Marketing? Dann bist du bei mir genau richtig. Online Marketing Experte für Interviews im TV und Radio? Ich gebe gerne Interviews für Radio, TV oder Zeitungen. Pressenanfragen kannst du jederzeit gerne an info@in-seo.de richten. Ich freue mich von dir […]

  • Reiseveranstalter SEOSEO für die Reisebranche: Touristik4. Mai 2022 - 22:27

    Warum brauchen Sie SEO für Ihre Website im Bereich Touristik? Der Markt im Reisebereich ist stark umkämpft. Keywords wie „Griechenland Urlaub“ oder „Mallorca Reisen“ sind gefragt. Darüber hinaus wird nach Hotels, Reiseveranstaltern und dem Keyword „Urlaub“ in verschiedenen Kombinationen gesucht. Große Portale wie holidaycheck.de oder ab-in-den-urlaub.de dominieren den Reismarkt. Auch tui.com oder Check24 sind weit […]

  • Die Contra 2022: Conversion & Traffic Konferenz – Online Marketing1. Mai 2022 - 22:46

    Die Conversion und Traffic Konferenz “Contra”  endlich wieder live! Nach der langen Corona-Pandemie findet die Conversion und Traffic Konferenz “Contra” vom 01. bis 03.Juni 2022 in der Mitsubishi Electric Halle in Düsseldorf live statt. Dieses Datum sollten sich alle notieren, die sich mit Online Marketing befassen. Ein gezieltes Marketing ist die Grundlage für den Erfolg. […]

  • SEO für Rechtsanwälte & Steuerkanzleien27. April 2022 - 11:38

    Möchten Sie mehr Anfragen und eine höhere Sichtbarkeit bei Google erreichen? SEO für Rechtsanwälte bringt nachhaltig mehr Mandanten. Kostenloser Website Check! Bei in-seo.de finden Sie SEO-Dienstleistungen für Jeden und alles. Fordern Sie noch heute hier Ihre individuelle & kostenlose SEO Analyse an! Klicken Sie auf den “SEO-Check-Button” und legen los! Erscheinen Sie bei Google in […]

  • SEO in der SchweizSEO Zürich: Deine SEO Agentur25. April 2022 - 11:27

    Bist Du auf der Suche nach einem Online Marketing Experten in Zürich? Dann bist Du bei mir genau richtig. Mein Name ist Dirk Schiff und ich bin Online Marketing Experte seit über 14 Jahren. Zu meinen Referenzen gehören Yahoo Deutschland, Sportnahrung Engel, Shirtfriends und mehr. Website oder Online Shop Deine Webseite oder Dein Online Shop […]

SEO-Strategie: Taktik oder Konzept?seo strategyGoogle Pirate Update (DMCA Penalty)
Nach oben scrollen
Wir verwenden Cookies, um Inhalte und Anzeigen zu personalisieren, Funktionen für soziale Medien anbieten zu können und die Zugriffe auf unsere Website zu analysieren. Weitere Informationen Akzeptieren Opt-Out