• 0Einkaufswagen
IN-SEO.de
  • Startseite
  • Leistungen
    • Website SEO Analyse
    • SEO Beratung
    • Linkbuilding Agentur
    • Texte
    • SEO Agentur
    • Social Media Marketing
    • Webdesign
    • SEO für Branchen, Berufe & mehr
    • Linkabbau
  • Referenzen
  • Shop
  • Kontakt
    • Über uns
    • Was kostet SEO?
    • Lexikon
    • Meine Bücher
    • Partner & Freunde
    • Übersicht
    • SEO Checkliste
    • Blog
    • SEO lernen
    • Impressum
    • Datenschutzerklärung
  • Suche
  • Menü Menü

SEO-Check kostenlos!
Blog - Aktuelle Neuigkeiten

Crawling – Indexierung – Bewertung – Ranking

6. Mai 2020/in SEO /von Dirk Schiff

Inhaltsverzeichnis

  • Wie kommen meine Seiten in den Google-Index?
    • Technische Anforderungen an deine Website
    • SEO lernen – Dieses SEO Buch enthält alles was Du wissen musst!
    • Crawling & Indexing
    • Crawling
  • Crawling durch den Google-Bot – Indexierung – Bewertung – Ranking
    • Crawling richtig managen
    • Rankingfaktoren erfüllen und besser ranken
    • SEO-Relevanz von Inhalten
    • SEO-RELEVANTE SEITENTYPEN
    • Welche Seitentypen sind für das Ranking relevant?
    • Welche Seiten haben keine Relevanz für das Indexing?
    • Sind Produktseiten meines Online-Shops relevant für die Rankings?
    • Wie gehe bei meiner Optimierung der Produkte praktisch vor?
    • Beispiel:
    • Welche Möglichkeiten gibt es zur Steuerung des Crawlings?
    • Welche technischen Voraussetzungen braucht deine Sitemap?
    • Welche Seiten gehören in meine Sitemap?
    • Welche Seiten schließe ich aus der Sitemap aus?
    • Bilder- und Video- Sitemaps
    • Wie erstelle ich eine Sitemaps
    • Robots.txt-Datei
    • Welche Anweisungen kann ich dem Bots erteilen?
      • Beispiel
    • Welchen Bot kannst du über die Robots.txt-Datei steuern?
    • Indexierung
    • Wozu brauche ich eine Robots.txt?

Wie kommen meine Seiten in den Google-Index?

Technische Anforderungen an deine Website

Bevor du mit deiner Webseite an den Start gehst, stellt sich die Frage, wie deine Seite technisch aufgebaut werden musst. Mit einer detaillierten Zielsetzung fällt dir die Entscheidung leichter, für welches System du dich am Ende entscheidest. Wenn du dich vorab für das falsche System entscheidest, ist es sehr wahrscheinlich, dass du zu einem späteren Zeitpunkt zu einem komplett anderen System wechseln musst. Manche CMS oder Shopsysteme können gewisse Kapazitäten einfach nicht stemmen.

SEO lernen – Dieses SEO Buch enthält alles was Du wissen musst!

In den meisten Fällen entscheiden sich Unternehmen für das Content Management System WordPress. Eine individuelle Programmierung ist zu kostenintensiv. Viele Anforderungen an dein System ergeben sich erst zu einem späteren Zeitpunkt.

Beispiel

Du erstellst eine Webseite für eine Jobbörse auf der Basis von WordPress. Du hast dir das Theme JobRoller gekauft. Nach einer bestimmten Zeit kann das Theme deinem Anzeigenvolumen nicht mehr standhalten und du benötigst eine andere Programmierung.

Tipp

Plane die Architektur deine Webseite im Detail. Damit ersparst du dir einen frühen Wechsel deines Systems. Achte darauf, dass du nicht zu schnell online gehst, nur weil es dir unkompliziert erscheint. Definiere die technischen Anforderungen im Detail über überlege dir ob du bestimmte Features brauchst.

Crawling & Indexing

Crawling und Indexing entscheiden über deine Rankings. Was ist der Unterschied?

Crawling

Die Suchmaschinen-Bots, auch Spider genannt, durchsuchen deine Webseite nach Inhalten. Sie werden analysiert und bewertet. Das Crawling stellt die Grundlage für die Indexierung dar. Die Bewertung deiner Inhalte ergibt das Ranking.

Crawling durch den Google-Bot – Indexierung – Bewertung – Ranking

Crawling richtig managen

Du kannst den Crawling-Prozess selbst managen. Bevorzuge die Seiten für dein Crawling, die für SEO die höchste Relevanz verzeichnen. Bestimmte im Detail welche Seiten für das Crawling herangezogen werden sollen.

  1. Crawling

Der Suchmaschinen-Bot (Google-Bot) sammelt Daten im Web. Er crawlt deine Webseite.

  1. Indexierung

Deine Seite wird im Index der Suchmaschine zur Verfügung gestellt und bewertet.

  1. Ranking

Anhand unterschiedlicher On- und Offpage- Faktoren und dem Besucherverhalten wird deine Webseite gerankt.

Rankingfaktoren erfüllen und besser ranken

Entscheidend ist letzten Endes die Erfüllung der Rankingfaktoren. Ohne Indexierung ist es nicht möglich ein Ranking zu erzielen. Bevor deine Seite indexiert wird, musst du dafür sorgen, dass sie crawlbar ist.

SEO-Relevanz von Inhalten

Nicht jeder Inhalt, der für den Nutzer relevant ist, hat eine Bedeutung für SEO. Jede Seite, die für deine Umsätze eine Relevanz hat, ist auch relevant für dein Ranking.

Ratgeber-Seiten, die die Möglichkeit eines Cross-Sellings bieten, sind ebenfalls relevant für SEO, d.h. sie müssen indexiert werden.

Beispiel:

  • Du bist Fotograf aus Köln und dein Hauptaugenmerk ist die Hochzeitsfotografie.

  • Deine Hauptleistung ist auf der Unterseite /hochzeitsfotos dargestellt.
  • Du hast deine Seite auf die Phrase „Hochzeitsfotos Köln“ optimiert.
  • d.h. diese Seite eine sehr hohe Relevanz für Crawling, Indexing und Rankings.
  • Um unter „Hochzeitsfotograf Köln“ gefunden zu werden, legst du im Blog die Seite /hochzeitsfotos an.

SEO-RELEVANTE SEITENTYPEN

Welche Seitentypen sind für das Ranking relevant?

  • Startseite
  • Kategorieseite
  • Produktseite
  • Blogartikel-Seite
  • Magazin-Artikel-Seite
  • Landing-Page
  • Rategeberseiten
  • Lexikonseiten

Welche Seiten haben keine Relevanz für das Indexing?

  • Nicht gut optimierte Inhalte.
  • Warenkorb
  • Dashboard
  • Login-Seite
  • Tag-Seiten
  • Seiten ohne Inhalte
  • Thin Content (dt. dünner Inhalt)
  • Produktvarianten, die kaum oder keine Zugriffe verzeichnen

Sind Produktseiten meines Online-Shops relevant für die Rankings?

Grundsätzlich sind Produktseiten relevant für deine Rankings. Wenn du aber nicht ausreichend Ressourcen für die Optimierung dieser Seiten aufbringen kannst, dann solltest du differenzieren. Jedes Produkt sollte richtig optimiert sein.

Wie gehe bei meiner Optimierung der Produkte praktisch vor?

Du filterst deine Produkte nach folgenden Kriterien:

  • Welche meiner Produkte verkaufen sich am besten?
  • Über welche Produkte kommen die Besucher auf meine Webseite?
  • Welche Produkte bringen mir den meisten Traffic?
  • Habe ich Produktvarianten (z.B. andere Farbe), die keine Relevanz für die Suche (Suchvolumen) haben?

Produkte, die keine hohe Relevanz haben, verlinkst du intern etwas weniger im Verhältnis zu den Seiten, die für dich eine hohe Relevanz verzeichnen. D.h. Seiten mit geringer Relevanz sollen indexiert werden, weil sie intern auf relevante Seiten verweisen. Sie bieten deinem Nutzer einen Mehrwert, sind aber nicht wichtig für den organischen Einstieg über deine Webseite.

Beispiel:

Tag-Seiten bei WordPress sind ein gutes Beispiel für eine solche Seite, weil sie auf viele Seiten verweisen, die eine hohe Relevanz für das Ranking haben.

  • Überprüfe deine Seitenstruktur darauf, welche Seiten indexiert werden sollen.
  • Diese machst du via Robots.txt-Datei für die Suchmaschinen zugänglich.
  • Nicht Ranking-relevante Seiten sperrst du aus über die Robots-Datei.
  • Für alle anderen Seiten, die nicht für die Robots gesperrt werden, erstellst du eine XML-Sitemap, die du in deinem Account der Google-Search-Console hochlädst.
  • Dort überprüfst du die Indexierung deiner Seiten.
  • Achte darauf, dass unnötige Seiten nicht für den Google-Bot zugänglich gemacht werden, da Google ein sogenanntes Crawl-Budget vergibt. Damit ist die Dauer gemeint, die der Suchmaschinen-Bot auf deiner Webseite crawlt.
  • Der Bot soll keine unnötige Zeit auf deiner Webseite verweilen, da sonst Crawl-Budget unnötig verbraucht wird.
  • Setzte innerhalb deines Contents interne Links. Wichtige Seiten verlinkst du häufiger.
  • Nutze eine gezielte interne Verlinkung durch Paginierung.

Welche Möglichkeiten gibt es zur Steuerung des Crawlings?

Sitemaps – XML & HTML

Der Google-Bot verfolgt jeden Link deiner Webseite. Wenn du für eine gute interne Verlinkung sorgst, wird der Crawler alle wichtigen Seiten indexieren. Auch Bilder und Videos werden gecrawlt. Du reichst deine XML-Sitemap über die Search Console ein. Eine HTML-Sitemap, die du im Footer verlinkst macht ebenfalls Sinn.

Die Sitemap gibt dir keine Garantie dafür, dass alle Seiten im Index landen. Aber auch Seiten, die nicht indexiert werden, sich aber in der Sitemap befinden, kannst du im Nachgang optimieren. Wenn du zum Beispiel zwei Unterseiten deiner Webseite mit wenig Content hast, die gut zusammen passen, aber nach dem Crawling nicht im Index landen, kannst du die beiden Seiten einfach zusammen lege zu einer größeren Seite.

Robots.txt

Du bindest den Link zu deiner Sitemap in der robots.txt deiner Webseite ein. Der Bot folgt an erster Stelle, den Befehlen, die  du in der Sitemap für ihn hinterlegt hast. Dort legst du fest, welchen wichtigen Seiten er folgen soll.

Google Search Console

Im Administrationsbereich deiner Google Search Console hast du die Möglichkeit über den Tab „Sitemaps” in der Navigationsleiste Sitemaps bei Google einzureichen. Du kannst genau überprüfen wie URLs aus deinen Sitemaps indexiert wurden.

Welche technischen Voraussetzungen braucht deine Sitemap?

  • Ablage im Root-Verzeichnis deines Servers
  • XML-Format (Musterseite.de/sitemap.xml)
  • Angabe aller URLs zur Indexierung
  • UTF-8 Codierung
  • ASCII-Zeichen
  • Bis maximal 50.000 URLs
  • Bis maximal 50MB

Ab einer bestimmten Größe deiner Sitemap, macht es Sinn, mehrere kleine Sitemaps anzulegen. Wenn du WordPress als CMS nutzt, werden über das SEO Yoast Plugin automatisch mehrere Sitemaps generiert, die in verschiedene Bereich aufgeteilt sind. Beispielsweise wird für die Artikel eine separate Sitemap angelegt. Es existiert eine Index-Sitemap, die auf alle weiteren Sitemaps verlinkt. Wenn du grundsätzlich mehrere Seitentypen einsetzt, solltest du von Anfang an, mehrere Sitemaps anlegen.

Welche Seiten gehören in meine Sitemap?

Du solltest ausschließlich Seiten in deine Sitemap packen, die eine Relevanz für deine Rankings haben und indexierbar sind.

Welche Seiten schließe ich aus der Sitemap aus?

  • Seiten mit einer Weiterleitung  mit dem Statuscode 301 und 302
  • Seiten die nicht erreichbar sind mit dem Statuscode 404 und 410
  • Seiten die via Canonical Tag auf eine andere Seite verweisen
  • Seiten die mit der Meta-Robots-Angabe noindex
  • Tag-Seiten
  • Paginationen
  • Seiten die nur einen beschränkten Zugriff haben (Passwortschutz, Statuscode 404)

Hinterlege deine Sitemaps nicht nur in der Search Console, sondern auch in der Robots.txt-Datei.

Bilder- und Video- Sitemaps

Wenn du eigene Bilder und Videos nutzt, erstellst du jeweils eine Sitemap, die du in deiner Index-Sitemap verlinkst.

Wie erstelle ich eine Sitemaps

Ein Sitemap-Generator hilft dir dabei eine Sitemap zu erstellen. Wenn du WordPress nutzt, kannst du eine oder mehrere Sitemaps über SEO Plugins erstellen.

Sitemap-Generator  

https://timestampgenerator.com/tools/xml-sitemap-from-list

Robots.txt-Datei

Über die robots.txt-Datei teilst du den Suchmaschinen mit, welche Seiten und Dateien gecrawlt werden und welche nicht in das Crawling einbezogen werden.

Du kannst einzelne Bereiche wie z.B. Seiten oder Verzeichnisse komplett vom Crawling ausschließen. In der Regel crawlt der Google-Bot die komplette Seite, wenn du vorher keine Bereiche ausgeschlossen hast. Wenn du oder eine andere Webseite auf die Seiten verlinkt, die in der robots.txt gesperrt wurden, kann es sein, dass diese dennoch indexiert werden. Herausfinden kannst du das über deiner Search Console unter dem Punkt „Abdeckung“.

Rufe deine Nachrichten in der Search Console regelmäßig ab, denn du wirst informiert, wenn Probleme beim Crawlen auftreten.

Welche Anweisungen kann ich dem Bots erteilen?

  • Disallow

Damit legst du die Bereiche fest die vom Bot ausgeschlossen werden.

  • User-agent

Du legst fest welcher Bot oder User-Agent angesprochen wird.

  • Allow

Du legst fest welche Bereiche dennoch gecrawlt werden dürfen.

Die Anweisungen Disallow- und Allow kannst du auf komplette Domains, Subdomains oder einzelne Verzeichnisse erteilen.

Beispiel

User-agent: *

Disallow:

  • Die Bots dürfen auf alle Dateien zugreifen

User-agent: *

Disallow: /

  • Kein User Agent darf deine Domain crawlen

User-agent: googlebot

Disallow: /not-for-bing/

Der Google-Bot darf auf deine Seite zugreifen und sie crawlen, aber für das Verzeichnis /dont-crawl ist das Crawling für den Google-Bot verboten.

Welchen Bot kannst du über die Robots.txt-Datei steuern?

Du kannst einzelne Bots, aber auch Crawler steuern. Dadurch hast du die Möglichkeit deinen Server vor Überlastung zu schützen. Wenn du zu viele Webseitenaufrufe zur gleichen Zeit verzeichnest, kann deine Webseite abstürzen. In diesem Fall kannst du einzelne Bots über die rotbots.txt-Datei blockieren. Du kannst Malware-Bots dadurch aussperren.

Indexierung

Seit 2019 werden noindex-Anweisungen in der robots.txt nicht mehr berücksichtigt.

Wozu brauche ich eine Robots.txt?

Wenn du an der Neuerstellung deiner Webseite arbeitest und die Webseite aber erst nach Fertigstellung indexieren lassen möchtest.

Du möchtest bestimmte Bereiche nicht crawlen lassen. Dabei gilt es zu berücksichtigen, dass keine Links auf diese Seiten zeigen.

Wenn du gezielt Bots das Crawling verbieten möchtest, wie z.B. Spam-Bots.

 

 

 

 

Schlagworte: crawling, google bot, Indexierung, ranking
Eintrag teilen
  • Teilen auf Facebook
  • Teilen auf Twitter
  • Teilen auf WhatsApp
  • Teilen auf Pinterest
  • Teilen auf LinkedIn
  • Teilen auf Tumblr
  • Teilen auf Vk
  • Teilen auf Reddit
  • Per E-Mail teilen
Das könnte Dich auch interessieren
Penguin in Echtzeit Das Penguin Update 4.0
SEO Content Die Kunst des SEO
SEO Content OnpageDoc das Profi-Onpage-Tool für SEOs, Agenturen &Webmaster
SEO Content Änderungen der Richtlinien für Evaluatoren: Google verbessert die Qualität der Suchergebnisse
SEO Content Google wird sozial: Personalisierte Suchergebnisse und Patent
Penguin in Echtzeit Penguin Algorithmus von Google 2016
SEO & Google Rankingfaktoren 2015 für Ihre Webseite
SEO Content SEO Texte richtig schreiben
  • diplom online marketing managerOnline Marketing Manager werden?12. Januar 2021 - 00:11

    Hast Du schon einmal darüber nachgedacht im Bereich Online Marketing zu arbeiten und Karriere zu machen? Nutze die Zeit während der Corona Pandemie als Sprungbrett und werde Diplomierter Online Marketing Manager. Mit diesem Abschluss erreichst Du fundierte Kenntnisse auf akademischem Niveau. Wir schenken Dir einen 100 Euro Bildungsgutschein zum Lehrgang Diplomierte/r Online Marketing Manager/in an […]

  • SEO für Unternehmer & CEO´s21. Dezember 2020 - 16:36

    Suchmaschinenoptimierung ist im Vergleich zur Google-Werbung eine günstige und nachhaltige Methode, die Sichtbarkeit seiner Webseite zu verbessern. Du zahlst weitaus weniger Geld als bei der Schaltung von Google Ads. Definiere vorab deine Ziele! Alle SEO-Kampagnen sind für den Unternehmer skalierbar und anhand Traffic relevanter KPIs messbar. Du erzielst mehr Sichtbarkeit in der organischen Suche von […]

  • Suchmaschinenoptimierung lernen: Weiterbildung, Zertifikat, Coaching oder Studium?14. Dezember 2020 - 16:13

    Warum sollte ich SEO lernen? Wenn du SEO für dein eigenes Projekt lernst, kannst du damit mehr Traffic, mehr Umsatz und neue Kunden erreichen. Wie kann ich Suchmaschinenoptimierung professionell lernen? Du kannst von der klassischen Weiterbildung bis hin zum Master Studiengang verschiedene Ausbildungs- und Lernmethoden auswählen. Mehr Infos dazu findest du unter unseren Seiten „SEO-Ausbildung“ […]

  • Google Core Update Dezember 2020: Algorithums11. Dezember 2020 - 22:58

    Core Update noch im Dezember 2020? Google überrascht mit der Ankündigung, das Core Update noch in diesem Jahr durchzuführen. Wird es vielleicht sogar noch ein verfrühtes Weihnachtsgeschenk? So rätseln die Nutzer. Die ersten Daten sind jedoch präsent. Erkenne ich, ob meine Domain von dem Core Update betroffen ist? Der tägliche Sichtbarkeitsindex in SISTRIX bezieht sich […]

  • SEO KPIs: bessere Performance bei Google11. Dezember 2020 - 16:05

    Was sind KPIs? KPI: Begriff erklärt KPI heißt abgekürzt Key Performance Indicator. KPIs sind Kennzahlen, anhand dessen wichtige Performance-Werte von Unternehmen gemessen werden. Dadurch kannst du den Erfolg gezielter Kampagnen messen. Das Unternehmen ist in der Lage herauszufiltern, welche detaillierten wichtigen Fakten, seine Werbe- oder SEO- Kampagne in der Umsetzung gebracht haben. Ein messbarer Erfolg […]

  • Public RelationsGoogle Mobile First Indexing: Ändert sich was an SEO?23. November 2020 - 22:30

    Google verbannt den Desktop Content ab März 2021 Google ist immer für eine Überraschung gut. So verbannt der Google Index am Frühjahr 2021 die Desktop Only Websites. Mehr Bugs dürfen M-Dot-Websites und andere Mobilversionen in der Zukunft aufweisen. Geplant war von Google, dass bereits im September 2020 seine Mobile-First-Indexierung abgeschlossen sein sollte. Seit Jahren ist […]

  • BacklinkkaufPillar Page: SEO Geheimwaffe20. November 2020 - 15:58

    Das Thema „Pillar Page“ ist seit 2018 ein spannendes Thema zur Steigerung des organischen Traffics. Im Vergleich zur klassischen Landing Page zu einem bestimmten Keyword, wird bei der Pillar Page ein ganzer Themenbereich in den Fokus gestellt. Dabei geht es um einen ganzheitlichen und gut strukturierten Content. Was ist eine Pillar Page? Die Pillar Page […]

  • SEO StudiumSEO-Studium: Master oder Bachelor11. November 2020 - 16:13

    Viele SEO-Manager haben in ihrem Job die Berufung gefunden und sind aber als Quereinsteiger in diesem Beruf gelandet. Eine Weiterentwicklung zur Führungskraft im Unternehmen, könnte aufgrund des fehlenden Studiums schwierig werden. Wenn Du Head of SEO oder Team Lead werden möchtest, ist meistens ein Hochschulabschluss im Online Marketing gefragt. Das wird zumindest in den meisten […]

  • Störung des Ranking-Algorithmus der Google-Suche im November 20206. November 2020 - 18:29

    Seit einigen Tagen ist in der SEO-Branche ein Google Update zum großen Thema geworden. Der Suchmaschinenriese hat die Algorithmus Änderung in Form eines Updates bisher nicht bestätigt. Daher ist von einer Störung des Algorithmus auszugehen. Am 03. November wurde auf einschlägigen Blog und in Foren über Algorithmus Änderungen im Web diskutiert. Davor wurde bereits am […]

  • Top 10 bei GoogleGoogle-Algorithmus-Update Oktober 2020?3. November 2020 - 23:32

    Einige Gerüchte und Forenbeiträge in Web könnten Hinweise auf ein Google-Algorithmus-Updaten geben. Einige Webseitenbetreiber berichteten über Ranking Veränderungen vom 28. Oktober 2020. Diverse SEO Tools zeigen ebenfalls ähnliche Signale für eine Vielzahl an Webseiten. Am Morgen des 28. Oktobers konnte man auf Webmaster World diverse Mitteilungen zu starken Ranking Veränderungen bei Google lesen. Einige Webseitenbetreiber […]

  • diplom online marketing managerOnline Marketing Manager werden?12. Januar 2021 - 00:11
  • SEO für Unternehmer & CEO´s21. Dezember 2020 - 16:36
  • Suchmaschinenoptimierung lernen: Weiterbildung, Zertifikat, Coaching oder Studium?14. Dezember 2020 - 16:13
  • Google Core Update Dezember 2020: Algorithums11. Dezember 2020 - 22:58
  • SEO KPIs: bessere Performance bei Google11. Dezember 2020 - 16:05

Recent posts

  • diplom online marketing manager
    Online Marketing Manager werden?
  • SEO für Unternehmer & CEO´s
  • Suchmaschinenoptimierung lernen: Weiterbildung, Zertifikat, Coaching oder Studium?
  • Google Core Update Dezember 2020: Algorithums
  • SEO KPIs: bessere Performance bei Google

Onlinemarketing Tipps

Kontakt Adresse

In SEO

Wallbergstraße 28

81539 München

Telefon: 089 – 12099039

Datenschutzerklärung

Datenschutzerklärung

IN-SEO Agentur München - Dirk Schiff - Enfold WordPress Theme by Kriesi
    Kann man sich Follower auf Instagram kaufen? Instagram Follower kaufen SEO Redaktionen SEO für Verlage
    Nach oben scrollen
    Wir verwenden Cookies, um Inhalte und Anzeigen zu personalisieren, Funktionen für soziale Medien anbieten zu können und die Zugriffe auf unsere Website zu analysieren. Weitere Informationen Akzeptieren Opt-Out