• 0Einkaufswagen
IN-SEO.de
  • Startseite
  • Leistungen
    • Website SEO Analyse
    • SEO Beratung
    • Linkbuilding Agentur
    • Texte
    • SEO Agentur
    • Social Media Marketing
    • Webdesign
    • SEO für Branchen, Berufe & mehr
    • SEO für Jeden und alles
    • Linkabbau
  • Referenzen
  • Shop
  • Kontakt
    • Über uns
    • Was kostet SEO?
    • Lexikon
    • Meine Bücher
    • Partner & Freunde
    • Übersicht
    • SEO Checkliste
    • Blog
    • SEO lernen
    • Impressum
    • Datenschutzerklärung
  • Suche
  • Menü Menü

SEO-Check kostenlos!

Schlagwortarchiv für: Crawl Budget

Beiträge

Was ist Crawl Budget?

16. März 2022/in SEO /von Dirk Schiff

Die Anzahl der Seiten, die auf einer Website von Google maximal gecrawlt werden, haben die Bezeichnung Crawl Budget.

Erklärung

Die Anzahl der Unterseiten die mit jeder URL gecrawlt werden legt Google selbst fest. Dies wird von Google bei allen Websites unterschiedlich gehandhabt. Wie Matt Cutts erklärt nimmt Google die Abhängigkeit der Websites vom PageRank als Basis. Das Crawl Budget richtet sich nach dem PageRank – das Crawl Budget wird größer wenn der PageRank hoch ist. Die Häufigkeit von tiefgehendem Crawl und wie oft von einer Website die wichtigen Unterseiten gecrawlt werden wird vom Crawl Budget bestimmt.

Crawl Budget und Index Budget – zwei verschiedene Themen

Die Begriffe Crawl Budget und Index Budget werden von Google unterschiedlich bewertet. Index Budget legt die Anzahl der URLs, die indexiert werden können, fest. Kurz die Verdeutlichung des Unterschieds: Beinhaltet eine Website viele Seiten mit dem Fehlercode „404-Fehlercode“ wird jede dieser Seiten das Crawl Budget belasten. Eine Indexierung ist aber aufgrund der Fehlermeldung nicht möglich; eine vollständige Ausschöpfung vom Index Budget gibt es daher nicht.

Schwierigkeiten

Schwierigkeiten beim Crawl Budget ergeben sich für Website, die eine große Anzahl an Unterseiten beinhalten. Üblicherweise crawlt Google nicht alle Unterseiten, sondern nur eine gewisse Anzahl. Die Folge ist, dass nicht alle Unterseiten gecrawlt und damit nicht indexiert werden. Die Folge ist, dass dem Traffic, dem Seitentreiber die nicht indexierten Seiten entgehen.

Auswirkungen auf die Suchmaschinenoptimierung

Mit der Crawl Optimization bildete sich, bezogen auf der o. g. Grundlage, ein Teilbereich. Dieser Teilbereich will den Googlebot so steuern, dass eine sinnvolle Ausnutzung vom vorhandenen Crawl Budget erfolgt und die Seiten, die eine große Bedeutung und von hochwertiger Qualität sind für den Webseitenbetreiber indexiert werden. Doch im ersten Schritt ist die Identifikation der untergeordneten Seiten, die wenig Bedeutung haben, wichtig. In der Regel sind dies fehlerhafte Seiten mit einem „404-Errorcode“, mit einem sehr geringen Informationsgehalt und / oder einem minderwertigem Content. Vom Crawling werden diese Seiten nicht berücksichtigt. Damit bleibt für hochwertige Unterseiten das Crawl Budget verfügbar. Danach erfolgt die Bearbeitung der wichtigen Unterseiten, damit diese bevorzugt vom Spider gecrawlt werden. Bei der Crawl Optimization sind verschiedene Maßnahmen möglich:

  • Die Architektur der Seiten so zu realisieren, dass eine  flache Seitenarchitektur entsteht. Wichtig ist, dass zu den Unterseiten kurze Wege führen und diese mit wenigen Klicks erreichbar sind.
  • Häufig gecrawlte Seiten mit Seiten, die viele Backlinks beinhalten intern verlinken.
  • Für die wichtigen Unterseiten einer Website eine optimale interne Verlinkung schaffen.
  • Unwichtige Seiten mittels robots.txt vom Crawling ausschließen. Dies können bspw. Seiten mit Log-in, Bildern oder Kontaktformularen sein.
  • Mit Metadaten Seiten wie nofollow oder noindex vom Crawling ausschließen.
  • Für die wichtigsten Unterseiten einer Website eine URL-Liste in Verbindung mit einer  XML-Sitemap  erstellen und anbieten
  • Verbessert die Crawl Optimization das Angebot der indexierten und gecrawlten und Seiten, kann sich das Ranking verbessern. Fakt ist, dass die Seiten, die ein gutes Ranking haben, deutlich öfter gecrawlt werden. Das bringt für die Seite und den Webseitenbetreiber Vorteile mit sich.

Dirk Schiff
Dirk Schiff

Dirk Schiff isf Diplomierter Online Marketing Manager, Journalist (FJS) und SEO Experte. Er optimiert seit 2007 Internetseiten.

www.in-seo.de
  • Reiseveranstalter SEOSEO für die Reisebranche: Touristik4. Mai 2022 - 22:27

    Warum brauchen Sie SEO für Ihre Website im Bereich Touristik? Der Markt im Reisebereich ist stark umkämpft. Keywords wie „Griechenland Urlaub“ oder „Mallorca Reisen“ sind gefragt. Darüber hinaus wird nach Hotels, Reiseveranstaltern und dem Keyword „Urlaub“ in verschiedenen Kombinationen gesucht. Große Portale wie holidaycheck.de oder ab-in-den-urlaub.de dominieren den Reismarkt. Auch tui.com oder Check24 sind weit […]

  • SEO für Rechtsanwälte & Steuerkanzleien27. April 2022 - 11:38

    Möchten Sie mehr Anfragen und eine höhere Sichtbarkeit bei Google erreichen? SEO für Rechtsanwälte bringt nachhaltig mehr Mandanten. Kostenloser Website Check! Bei in-seo.de finden Sie SEO-Dienstleistungen für Jeden und alles. Fordern Sie noch heute hier Ihre individuelle & kostenlose SEO Analyse an! Klicken Sie auf den „SEO-Check-Button“ und legen los! Erscheinen Sie bei Google in […]

  • SEO in der SchweizSEO Zürich: Deine SEO Agentur25. April 2022 - 11:27

    Bist Du auf der Suche nach einem Online Marketing Experten in Zürich? Dann bist Du bei mir genau richtig. Mein Name ist Dirk Schiff und ich bin Online Marketing Experte seit über 14 Jahren. Zu meinen Referenzen gehören Yahoo Deutschland, Sportnahrung Engel, Shirtfriends und mehr. Website oder Online Shop Deine Webseite oder Dein Online Shop […]

  • Keyword-Kannibalisierung: wie kann ich das Problem beheben?8. April 2022 - 15:44

    Keyword-Kannibalisierung: wie kann ich das Problem beheben? Jeder SEO stellt sich irgendwann Mal die Frage, wenn zwei URLs zum gleichen Thema unter dem gleichen Keyword ranken, ob er den Content zusammenführen soll oder eine der beiden URLs auf die ähnliche weiterleitet. Manchmal ist es unbeabsichtigt und der Blogbeitrag rankt vor der Landing Page, mit der […]

  • Google Pirate Update (DMCA Penalty)24. März 2022 - 08:27

    Das Pirate Update wird auch DMCA Penalty genannt. Es handelt sich dabei um eine Änderung des Suchalgorithmus von Google. Wenn Webseiten gegeben Urheberrechte verstoßen, oder illegale Downloads anbieten, kann ein DMCA Penalty zum Einsatz kommen. Sogenannte Torrent-Seiten, die Raubkopien via Torrent-Datei zugänglich machen, sind vom Pirate Update betroffen. Sie werden manchmal teilweise oder sogar komplett […]

  • Was ist Crawl Budget?16. März 2022 - 09:25

    Die Anzahl der Seiten, die auf einer Website von Google maximal gecrawlt werden, haben die Bezeichnung Crawl Budget. Erklärung Die Anzahl der Unterseiten die mit jeder URL gecrawlt werden legt Google selbst fest. Dies wird von Google bei allen Websites unterschiedlich gehandhabt. Wie Matt Cutts erklärt nimmt Google die Abhängigkeit der Websites vom PageRank als […]

  • seo strategySEO-Strategie: Taktik oder Konzept?10. März 2022 - 10:56

    Wenn du in der organischen Suche bei Google weit vorne gefunden werden möchtest, bedarf es einer guten SEO-Strategie. Das Gleiche gilt für das ganzheitliche Online-Marketing. Wer sich als Unternehmer mit einem gezielten SEO-Konzept am Markt platziert, wird nachhaltig davon profitieren. Pull Marketing Channel SEO SEO ist einer der wichtigsten Pull Marketing-Kanäle. Dem Kunden wird ein […]

  • SMX 2022: Online Marketing Konferenz in München22. November 2021 - 10:57

    Auch im Jahr 2022 findet die SMX statt! Das ist eine gute Nachricht für alle die in den Bereichen SEO und SEA tätig sind. Die Konferenz für Suchmarking konnte – wie bereits in den Vorjahren – internationale hochkarätige Experten auf dem Gebiet Suchmarketing gewinnen. Online-Marketing war bereits seit Jahren ein sehr wichtiger Faktor; dieser hat […]

  • Links entwertenNegative Backlinks zu entwerten kann die organische Sichtbarkeit bei Google deutlich verbessern18. Oktober 2021 - 12:54

    Backlinkaufbau hat sich in den letzten Jahren verändert. Klasse statt Masse ist der Erfolgsfaktor bei Google. Mittlerweile besteht die Chance in Nischenbereichen, komplett ohne Backlinks organisch in die Top-10 von Google zu gelangen. Minderwertige Backlinks haben keine „Daseinsberechtigung“. Wenn die Backlinkstruktur einer Webseite diverse schadhafte Links enthält, macht es Sinn, diese via Google disavow-Tool (Links […]

  • Klickrate verbessern durch Snippet Optimierung18. Oktober 2021 - 12:46

    Anhand der Klickrate (CTR) kann gemessen werden, wie viele Menschen, denen eine Webseite bei Google angezeigt wurde, letztendlich über einen Klick die Seite aufgerufen haben. Darüber hinaus kann gemessen werden, wie erfolgreich ein Werbemittel ist. Die Erfolgsmessung bietet gute Möglichkeiten für neue Optimierungsmaßnahmen. [1] Steigerung der Click Through Rate (CTR) Das erste was der potentielle […]

  • Reiseveranstalter SEOSEO für die Reisebranche: Touristik4. Mai 2022 - 22:27
  • SEO für Rechtsanwälte & Steuerkanzleien27. April 2022 - 11:38
  • SEO in der SchweizSEO Zürich: Deine SEO Agentur25. April 2022 - 11:27
  • Keyword-Kannibalisierung: wie kann ich das Problem beheben?8. April 2022 - 15:44
  • Google Pirate Update (DMCA Penalty)24. März 2022 - 08:27

Recent posts

  • Reiseveranstalter SEO
    SEO für die Reisebranche: Touristik
  • SEO für Rechtsanwälte & Steuerkanzleien
  • SEO in der Schweiz
    SEO Zürich: Deine SEO Agentur
  • Keyword-Kannibalisierung: wie kann ich das Problem beheben?
  • Google Pirate Update (DMCA Penalty)

Onlinemarketing Tipps

Kontakt Adresse

In SEO & Online Marketing Agentur Dirk Schiff

Wallbergstraße 28

81539 München

Telefon: 089 – 12099039

Datenschutzerklärung

Datenschutzerklärung

IN-SEO Agentur München - Dirk Schiff - Enfold WordPress Theme by Kriesi
    Nach oben scrollen
    Wir verwenden Cookies, um Inhalte und Anzeigen zu personalisieren, Funktionen für soziale Medien anbieten zu können und die Zugriffe auf unsere Website zu analysieren. Weitere Informationen Akzeptieren Opt-Out