Crawling – Indexierung – Bewertung – Ranking

Wie kommen meine Seiten in den Google-Index?

Technische Anforderungen an deine Website

Bevor du mit deiner Webseite an den Start gehst, stellt sich die Frage, wie deine Seite technisch aufgebaut werden musst. Mit einer detaillierten Zielsetzung fällt dir die Entscheidung leichter, für welches System du dich am Ende entscheidest. Wenn du dich vorab für das falsche System entscheidest, ist es sehr wahrscheinlich, dass du zu einem späteren Zeitpunkt zu einem komplett anderen System wechseln musst. Manche CMS oder Shopsysteme können gewisse Kapazitäten einfach nicht stemmen.

SEO lernen – Dieses SEO Buch enthält alles was Du wissen musst!

In den meisten Fällen entscheiden sich Unternehmen für das Content Management System WordPress. Eine individuelle Programmierung ist zu kostenintensiv. Viele Anforderungen an dein System ergeben sich erst zu einem späteren Zeitpunkt.

Beispiel

Du erstellst eine Webseite für eine Jobbörse auf der Basis von WordPress. Du hast dir das Theme JobRoller gekauft. Nach einer bestimmten Zeit kann das Theme deinem Anzeigenvolumen nicht mehr standhalten und du benötigst eine andere Programmierung.

Tipp

Plane die Architektur deine Webseite im Detail. Damit ersparst du dir einen frühen Wechsel deines Systems. Achte darauf, dass du nicht zu schnell online gehst, nur weil es dir unkompliziert erscheint. Definiere die technischen Anforderungen im Detail über überlege dir ob du bestimmte Features brauchst.

Crawling & Indexing

Crawling und Indexing entscheiden über deine Rankings. Was ist der Unterschied?

Crawling

Die Suchmaschinen-Bots, auch Spider genannt, durchsuchen deine Webseite nach Inhalten. Sie werden analysiert und bewertet. Das Crawling stellt die Grundlage für die Indexierung dar. Die Bewertung deiner Inhalte ergibt das Ranking.

Crawling durch den Google-Bot – Indexierung – Bewertung – Ranking

Crawling richtig managen

Du kannst den Crawling-Prozess selbst managen. Bevorzuge die Seiten für dein Crawling, die für SEO die höchste Relevanz verzeichnen. Bestimmte im Detail welche Seiten für das Crawling herangezogen werden sollen.

1. Crawling

Der Suchmaschinen-Bot (Google-Bot) sammelt Daten im Web. Er crawlt deine Webseite.

2. Indexierung

Deine Seite wird im Index der Suchmaschine zur Verfügung gestellt und bewertet.

3. Ranking

Anhand unterschiedlicher On- und Offpage- Faktoren und dem Besucherverhalten wird deine Webseite gerankt.

Rankingfaktoren erfüllen und besser ranken

Entscheidend ist letzten Endes die Erfüllung der Rankingfaktoren. Ohne Indexierung ist es nicht möglich ein Ranking zu erzielen. Bevor deine Seite indexiert wird, musst du dafür sorgen, dass sie crawlbar ist.

SEO-Relevanz von Inhalten

Nicht jeder Inhalt, der für den Nutzer relevant ist, hat eine Bedeutung für SEO. Jede Seite, die für deine Umsätze eine Relevanz hat, ist auch relevant für dein Ranking.

Ratgeber-Seiten, die die Möglichkeit eines Cross-Sellings bieten, sind ebenfalls relevant für SEO, d.h. sie müssen indexiert werden.

Beispiel:

• Du bist Fotograf aus Köln und dein Hauptaugenmerk ist die Hochzeitsfotografie.

• Deine Hauptleistung ist auf der Unterseite /hochzeitsfotos dargestellt.
• Du hast deine Seite auf die Phrase „Hochzeitsfotos Köln“ optimiert.
• d.h. diese Seite eine sehr hohe Relevanz für Crawling, Indexing und Rankings.
• Um unter „Hochzeitsfotograf Köln“ gefunden zu werden, legst du im Blog die Seite /hochzeitsfotos an.

SEO-RELEVANTE SEITENTYPEN

Welche Seitentypen sind für das Ranking relevant?

• Startseite
• Kategorieseite
• Produktseite
• Blogartikel-Seite
• Magazin-Artikel-Seite
• Landing-Page
• Rategeberseiten
• Lexikonseiten

Welche Seiten haben keine Relevanz für das Indexing?

• Nicht gut optimierte Inhalte.
• Warenkorb
• Dashboard
• Login-Seite
• Tag-Seiten
• Seiten ohne Inhalte
• Thin Content (dt. dünner Inhalt)
• Produktvarianten, die kaum oder keine Zugriffe verzeichnen

Sind Produktseiten meines Online-Shops relevant für die Rankings?

Grundsätzlich sind Produktseiten relevant für deine Rankings. Wenn du aber nicht ausreichend Ressourcen für die Optimierung dieser Seiten aufbringen kannst, dann solltest du differenzieren. Jedes Produkt sollte richtig optimiert sein.

Wie gehe bei meiner Optimierung der Produkte praktisch vor?

Du filterst deine Produkte nach folgenden Kriterien:

• Welche meiner Produkte verkaufen sich am besten?
• Über welche Produkte kommen die Besucher auf meine Webseite?
• Welche Produkte bringen mir den meisten Traffic?
• Habe ich Produktvarianten (z.B. andere Farbe), die keine Relevanz für die Suche (Suchvolumen) haben?

Produkte, die keine hohe Relevanz haben, verlinkst du intern etwas weniger im Verhältnis zu den Seiten, die für dich eine hohe Relevanz verzeichnen. D.h. Seiten mit geringer Relevanz sollen indexiert werden, weil sie intern auf relevante Seiten verweisen. Sie bieten deinem Nutzer einen Mehrwert, sind aber nicht wichtig für den organischen Einstieg über deine Webseite.

Beispiel:

Tag-Seiten bei WordPress sind ein gutes Beispiel für eine solche Seite, weil sie auf viele Seiten verweisen, die eine hohe Relevanz für das Ranking haben.

• Überprüfe deine Seitenstruktur darauf, welche Seiten indexiert werden sollen.
• Diese machst du via Robots.txt-Datei für die Suchmaschinen zugänglich.
• Nicht Ranking-relevante Seiten sperrst du aus über die Robots-Datei.
• Für alle anderen Seiten, die nicht für die Robots gesperrt werden, erstellst du eine XML-Sitemap, die du in deinem Account der Google-Search-Console hochlädst.
• Dort überprüfst du die Indexierung deiner Seiten.
• Achte darauf, dass unnötige Seiten nicht für den Google-Bot zugänglich gemacht werden, da Google ein sogenanntes Crawl-Budget vergibt. Damit ist die Dauer gemeint, die der Suchmaschinen-Bot auf deiner Webseite crawlt.
• Der Bot soll keine unnötige Zeit auf deiner Webseite verweilen, da sonst Crawl-Budget unnötig verbraucht wird.
• Setzte innerhalb deines Contents interne Links. Wichtige Seiten verlinkst du häufiger.
• Nutze eine gezielte interne Verlinkung durch Paginierung.

Welche Möglichkeiten gibt es zur Steuerung des Crawlings?

Sitemaps – XML & HTML

Der Google-Bot verfolgt jeden Link deiner Webseite. Wenn du für eine gute interne Verlinkung sorgst, wird der Crawler alle wichtigen Seiten indexieren. Auch Bilder und Videos werden gecrawlt. Du reichst deine XML-Sitemap über die Search Console ein. Eine HTML-Sitemap, die du im Footer verlinkst macht ebenfalls Sinn.

Die Sitemap gibt dir keine Garantie dafür, dass alle Seiten im Index landen. Aber auch Seiten, die nicht indexiert werden, sich aber in der Sitemap befinden, kannst du im Nachgang optimieren. Wenn du zum Beispiel zwei Unterseiten deiner Webseite mit wenig Content hast, die gut zusammen passen, aber nach dem Crawling nicht im Index landen, kannst du die beiden Seiten einfach zusammen lege zu einer größeren Seite.

Robots.txt

Du bindest den Link zu deiner Sitemap in der robots.txt deiner Webseite ein. Der Bot folgt an erster Stelle, den Befehlen, die  du in der Sitemap für ihn hinterlegt hast. Dort legst du fest, welchen wichtigen Seiten er folgen soll.

Google Search Console

Im Administrationsbereich deiner Google Search Console hast du die Möglichkeit über den Tab „Sitemaps” in der Navigationsleiste Sitemaps bei Google einzureichen. Du kannst genau überprüfen wie URLs aus deinen Sitemaps indexiert wurden.

Welche technischen Voraussetzungen braucht deine Sitemap?

• Ablage im Root-Verzeichnis deines Servers
• XML-Format (Musterseite.de/sitemap.xml)
• Angabe aller URLs zur Indexierung
• UTF-8 Codierung
• ASCII-Zeichen
• Bis maximal 50.000 URLs
• Bis maximal 50MB

Ab einer bestimmten Größe deiner Sitemap, macht es Sinn, mehrere kleine Sitemaps anzulegen. Wenn du WordPress als CMS nutzt, werden über das SEO Yoast Plugin automatisch mehrere Sitemaps generiert, die in verschiedene Bereich aufgeteilt sind. Beispielsweise wird für die Artikel eine separate Sitemap angelegt. Es existiert eine Index-Sitemap, die auf alle weiteren Sitemaps verlinkt. Wenn du grundsätzlich mehrere Seitentypen einsetzt, solltest du von Anfang an, mehrere Sitemaps anlegen.

Welche Seiten gehören in meine Sitemap?

Du solltest ausschließlich Seiten in deine Sitemap packen, die eine Relevanz für deine Rankings haben und indexierbar sind.

Welche Seiten schließe ich aus der Sitemap aus?

• Seiten mit einer Weiterleitung  mit dem Statuscode 301 und 302
• Seiten die nicht erreichbar sind mit dem Statuscode 404 und 410
• Seiten die via Canonical Tag auf eine andere Seite verweisen
• Seiten die mit der Meta-Robots-Angabe noindex
• Tag-Seiten
• Paginationen
• Seiten die nur einen beschränkten Zugriff haben (Passwortschutz, Statuscode 404)

Hinterlege deine Sitemaps nicht nur in der Search Console, sondern auch in der Robots.txt-Datei.

Bilder- und Video- Sitemaps

Wenn du eigene Bilder und Videos nutzt, erstellst du jeweils eine Sitemap, die du in deiner Index-Sitemap verlinkst.

Wie erstelle ich eine Sitemaps

Ein Sitemap-Generator hilft dir dabei eine Sitemap zu erstellen. Wenn du WordPress nutzt, kannst du eine oder mehrere Sitemaps über SEO Plugins erstellen.

Sitemap-Generator  

https://timestampgenerator.com/tools/xml-sitemap-from-list

Robots.txt-Datei

Über die robots.txt-Datei teilst du den Suchmaschinen mit, welche Seiten und Dateien gecrawlt werden und welche nicht in das Crawling einbezogen werden.

Du kannst einzelne Bereiche wie z.B. Seiten oder Verzeichnisse komplett vom Crawling ausschließen. In der Regel crawlt der Google-Bot die komplette Seite, wenn du vorher keine Bereiche ausgeschlossen hast. Wenn du oder eine andere Webseite auf die Seiten verlinkt, die in der robots.txt gesperrt wurden, kann es sein, dass diese dennoch indexiert werden. Herausfinden kannst du das über deiner Search Console unter dem Punkt „Abdeckung“.

Rufe deine Nachrichten in der Search Console regelmäßig ab, denn du wirst informiert, wenn Probleme beim Crawlen auftreten.

Welche Anweisungen kann ich dem Bots erteilen?

• Disallow

Damit legst du die Bereiche fest die vom Bot ausgeschlossen werden.

• User-agent

Du legst fest welcher Bot oder User-Agent angesprochen wird.

• Allow

Du legst fest welche Bereiche dennoch gecrawlt werden dürfen.

Die Anweisungen Disallow- und Allow kannst du auf komplette Domains, Subdomains oder einzelne Verzeichnisse erteilen.

Beispiel

User-agent: *

Disallow:

• Die Bots dürfen auf alle Dateien zugreifen

User-agent: *

Disallow: /

• Kein User Agent darf deine Domain crawlen

User-agent: googlebot

Disallow: /not-for-bing/

Der Google-Bot darf auf deine Seite zugreifen und sie crawlen, aber für das Verzeichnis /dont-crawl ist das Crawling für den Google-Bot verboten.

Welchen Bot kannst du über die Robots.txt-Datei steuern?

Du kannst einzelne Bots, aber auch Crawler steuern. Dadurch hast du die Möglichkeit deinen Server vor Überlastung zu schützen. Wenn du zu viele Webseitenaufrufe zur gleichen Zeit verzeichnest, kann deine Webseite abstürzen. In diesem Fall kannst du einzelne Bots über die rotbots.txt-Datei blockieren. Du kannst Malware-Bots dadurch aussperren.

Indexierung

Seit 2019 werden noindex-Anweisungen in der robots.txt nicht mehr berücksichtigt.

Wozu brauche ich eine Robots.txt?

Wenn du an der Neuerstellung deiner Webseite arbeitest und die Webseite aber erst nach Fertigstellung indexieren lassen möchtest.

Du möchtest bestimmte Bereiche nicht crawlen lassen. Dabei gilt es zu berücksichtigen, dass keine Links auf diese Seiten zeigen.

Wenn du gezielt Bots das Crawling verbieten möchtest, wie z.B. Spam-Bots.