10 Schritte zur Verbesserung der Crawlbarkeit und Indexierbarkeit Ihrer Website

Veröffentlicht: 2022-11-04

Keywords und Inhalt mögen die beiden Säulen sein, auf denen die meisten Strategien zur Suchmaschinenoptimierung aufbauen, aber sie sind bei weitem nicht die einzigen, die zählen.

Weniger häufig diskutiert, aber ebenso wichtig – nicht nur für Benutzer, sondern auch für Suchbots – ist die Auffindbarkeit Ihrer Website.

Es gibt ungefähr 50 Milliarden Webseiten auf 1,93 Milliarden Websites im Internet. Das sind viel zu viele, als dass ein menschliches Team sie erforschen könnte, also spielen diese Bots, auch Spinnen genannt, eine bedeutende Rolle.

Diese Bots bestimmen den Inhalt jeder Seite, indem sie Links von Website zu Website und von Seite zu Seite folgen. Diese Informationen werden in einer riesigen Datenbank oder einem Index von URLs zusammengestellt, die dann zum Ranking durch den Algorithmus der Suchmaschine geführt werden.

Dieser zweistufige Prozess zum Navigieren und Verstehen Ihrer Website wird als Crawling und Indizierung bezeichnet.

Als SEO-Profi haben Sie diese Begriffe zweifellos schon einmal gehört, aber lassen Sie uns sie nur der Klarheit halber definieren:

  • Crawlability bezieht sich darauf, wie gut diese Suchmaschinen-Bots Ihre Webseiten scannen und indizieren können.
  • Die Indexierbarkeit misst die Fähigkeit der Suchmaschine, Ihre Webseiten zu analysieren und sie ihrem Index hinzuzufügen.

Wie Sie sich wahrscheinlich vorstellen können, sind dies beides wesentliche Bestandteile von SEO.

Wenn Ihre Website unter schlechter Crawlbarkeit leidet, z. B. viele defekte Links und Sackgassen, können Suchmaschinen-Crawler nicht auf alle Ihre Inhalte zugreifen, wodurch sie aus dem Index ausgeschlossen werden.

Indexierbarkeit hingegen ist von entscheidender Bedeutung, da Seiten, die nicht indexiert sind, nicht in den Suchergebnissen erscheinen. Wie kann Google eine Seite bewerten, die es nicht in seine Datenbank aufgenommen hat?

Der Crawling- und Indizierungsprozess ist etwas komplizierter als wir hier besprochen haben, aber das ist die grundlegende Übersicht.

Wenn Sie nach einer eingehenderen Diskussion ihrer Funktionsweise suchen, hat Dave Davies einen ausgezeichneten Artikel über Crawling und Indizierung.

So verbessern Sie Crawling und Indizierung

Nachdem wir nun besprochen haben, wie wichtig diese beiden Prozesse sind, wollen wir uns einige Elemente Ihrer Website ansehen, die sich auf das Crawling und die Indexierung auswirken – und Möglichkeiten besprechen, wie Sie Ihre Website für sie optimieren können.

1. Verbessern Sie die Seitenladegeschwindigkeit

Mit Milliarden von Webseiten, die katalogisiert werden müssen, haben Webspider nicht den ganzen Tag Zeit, um auf das Laden Ihrer Links zu warten. Dies wird manchmal als Crawl-Budget bezeichnet.

Wenn Ihre Website nicht innerhalb des angegebenen Zeitrahmens geladen wird, verlassen sie Ihre Website, was bedeutet, dass Sie nicht gecrawlt und nicht indexiert bleiben. Und wie Sie sich vorstellen können, ist dies nicht gut für SEO-Zwecke.

Daher ist es eine gute Idee, Ihre Seitengeschwindigkeit regelmäßig zu bewerten und sie zu verbessern, wo immer Sie können.

Sie können die Google Search Console oder Tools wie Screaming Frog verwenden, um die Geschwindigkeit Ihrer Website zu überprüfen.

Wenn Ihre Website langsam läuft, ergreifen Sie Maßnahmen, um das Problem zu beheben. Dies kann ein Upgrade Ihres Servers oder Ihrer Hosting-Plattform, das Aktivieren der Komprimierung, das Minimieren von CSS, JavaScript und HTML sowie das Eliminieren oder Reduzieren von Weiterleitungen umfassen.

Finden Sie heraus, was Ihre Ladezeit verlangsamt, indem Sie Ihren Core Web Vitals-Bericht überprüfen. Wenn Sie genauere Informationen zu Ihren Zielen wünschen, insbesondere aus benutzerzentrierter Sicht, ist Google Lighthouse ein Open-Source-Tool, das Sie möglicherweise sehr nützlich finden.

2. Stärkung der internen Linkstruktur

Eine gute Seitenstruktur und interne Verlinkung sind grundlegende Elemente einer erfolgreichen SEO-Strategie. Eine desorganisierte Website ist für Suchmaschinen schwer zu crawlen, was die interne Verlinkung zu einem der wichtigsten Dinge macht, die eine Website tun kann.

Aber verlassen Sie sich nicht nur auf unser Wort. Hier ist, was Googles Such-Befürworter John Mueller dazu zu sagen hatte:

„Interne Verlinkung ist superkritisch für SEO. Ich denke, es ist eines der größten Dinge, die Sie auf einer Website tun können, um Google zu leiten und Besucher zu den Seiten zu führen, die Sie für wichtig halten.“

Wenn Ihre interne Verlinkung schlecht ist, riskieren Sie auch verwaiste Seiten oder solche Seiten, die auf keinen anderen Teil Ihrer Website verlinken. Da nichts auf diese Seiten geleitet wird, können Suchmaschinen sie nur über Ihre Sitemap finden.

Um dieses und andere durch schlechte Struktur verursachte Probleme zu beseitigen, erstellen Sie eine logische interne Struktur für Ihre Website.

Ihre Homepage sollte auf Unterseiten verlinken, die von Seiten weiter unten in der Pyramide unterstützt werden. Diese Unterseiten sollten dann dort, wo es sich natürlich anfühlt, kontextbezogene Links haben.

Eine weitere Sache, die Sie im Auge behalten sollten, sind defekte Links, einschließlich solcher mit Tippfehlern in der URL. Dies führt natürlich zu einem defekten Link, der zu dem gefürchteten 404-Fehler führt. Mit anderen Worten: Seite nicht gefunden.

Das Problem dabei ist, dass defekte Links nicht helfen und Ihre Crawlbarkeit beeinträchtigen.

Überprüfen Sie Ihre URLs noch einmal, insbesondere wenn Sie kürzlich eine Website-Migration, Massenlöschung oder Strukturänderung vorgenommen haben. Und stellen Sie sicher, dass Sie nicht auf alte oder gelöschte URLs verlinken.

Andere Best Practices für die interne Verlinkung sind eine gute Menge an verlinkbaren Inhalten (Inhalt ist immer König), die Verwendung von Ankertext anstelle von verlinkten Bildern und die Verwendung einer „angemessenen Anzahl“ von Links auf einer Seite (was auch immer das bedeutet).

Oh ja, und stellen Sie sicher, dass Sie Follow-Links für interne Links verwenden.

3. Senden Sie Ihre Sitemap an Google

Mit genügend Zeit und vorausgesetzt, Sie haben es nicht verboten, wird Google Ihre Website crawlen. Und das ist großartig, aber es hilft Ihrem Suchranking nicht, während Sie warten.

Wenn Sie kürzlich Änderungen an Ihren Inhalten vorgenommen haben und Google sofort darüber informieren möchten, ist es eine gute Idee, eine Sitemap an die Google Search Console zu senden.

Eine Sitemap ist eine weitere Datei, die sich in Ihrem Stammverzeichnis befindet. Es dient als Fahrplan für Suchmaschinen mit direkten Links zu jeder Seite Ihrer Website.

Dies ist vorteilhaft für die Indexierbarkeit, da Google dadurch gleichzeitig von mehreren Seiten erfahren kann. Während ein Crawler möglicherweise fünf internen Links folgen muss, um eine Deep Page zu entdecken, kann er durch das Einreichen einer XML-Sitemap alle Ihre Seiten mit einem einzigen Besuch Ihrer Sitemap-Datei finden.

Das Einreichen Ihrer Sitemap bei Google ist besonders nützlich, wenn Sie eine umfangreiche Website haben, häufig neue Seiten oder Inhalte hinzufügen oder Ihre Website keine gute interne Verlinkung hat.

4. Aktualisieren Sie die Robots.txt-Dateien

Sie möchten wahrscheinlich eine robots.txt-Datei für Ihre Website haben. Obwohl es nicht erforderlich ist, verwenden 99 % der Websites es als Faustregel. Wenn Sie damit nicht vertraut sind, handelt es sich um eine einfache Textdatei im Stammverzeichnis Ihrer Website.

Es teilt Suchmaschinen-Crawlern mit, wie sie Ihre Website crawlen sollen. Sein Hauptzweck besteht darin, den Bot-Traffic zu verwalten und zu verhindern, dass Ihre Website mit Anfragen überlastet wird.

Wo dies in Bezug auf die Crawlbarkeit nützlich ist, ist die Einschränkung, welche Seiten Google crawlt und indexiert. Beispielsweise möchten Sie wahrscheinlich keine Seiten wie Verzeichnisse, Einkaufswagen und Tags im Google-Verzeichnis haben.

Natürlich kann sich diese hilfreiche Textdatei auch negativ auf Ihre Crawlability auswirken. Es lohnt sich, sich Ihre robots.txt-Datei anzusehen (oder einen Experten damit zu beauftragen, wenn Sie sich nicht auf Ihre Fähigkeiten verlassen können), um festzustellen, ob Sie versehentlich den Crawler-Zugriff auf Ihre Seiten blockieren.

Einige häufige Fehler in robots.text-Dateien sind:

  • Robots.txt befindet sich nicht im Stammverzeichnis.
  • Schlechte Verwendung von Platzhaltern.
  • Noindex in robots.txt.
  • Blockierte Skripte, Stylesheets und Bilder.
  • Keine Sitemap-URL.

Für eine eingehende Untersuchung jedes dieser Probleme – und Tipps zu ihrer Lösung – lesen Sie diesen Artikel.

5. Überprüfen Sie Ihre Kanonisierung

Kanonische Tags konsolidieren Signale von mehreren URLs in einer einzigen kanonischen URL. Dies kann eine hilfreiche Möglichkeit sein, Google anzuweisen, die gewünschten Seiten zu indizieren, während Duplikate und veraltete Versionen übersprungen werden.

Aber dies öffnet die Tür für betrügerische kanonische Tags. Diese beziehen sich auf ältere Versionen einer Seite, die nicht mehr existiert, was dazu führt, dass Suchmaschinen die falschen Seiten indizieren und Ihre bevorzugten Seiten unsichtbar lassen.

Um dieses Problem zu beseitigen, verwenden Sie ein URL-Prüftool, um nach Rogue-Tags zu suchen und diese zu entfernen.

Wenn Ihre Website auf internationalen Verkehr ausgerichtet ist, dh wenn Sie Benutzer in verschiedenen Ländern auf verschiedene kanonische Seiten leiten, müssen Sie kanonische Tags für jede Sprache haben. Dadurch wird sichergestellt, dass Ihre Seiten in jeder Sprache indexiert werden, die Ihre Website verwendet.

6. Führen Sie ein Site-Audit durch

Nachdem Sie all diese anderen Schritte ausgeführt haben, müssen Sie noch eine letzte Sache tun, um sicherzustellen, dass Ihre Website für das Crawlen und Indexieren optimiert ist: eine Website-Prüfung. Und das beginnt mit der Überprüfung des Prozentsatzes der Seiten, die Google für Ihre Website indexiert hat.

Überprüfen Sie Ihre Indexierbarkeitsrate

Ihre Indexierbarkeitsrate ist die Anzahl der Seiten im Google-Index dividiert durch die Anzahl der Seiten auf unserer Website.

Sie können herausfinden, wie viele Seiten sich im Google-Index aus dem Google Search Console-Index befinden, indem Sie auf die Registerkarte „Seiten“ gehen und die Anzahl der Seiten auf der Website im CMS-Admin-Panel überprüfen.

Es besteht eine gute Chance, dass Ihre Website einige Seiten enthält, die Sie nicht indexieren möchten, sodass diese Zahl wahrscheinlich nicht 100 % beträgt. Aber wenn die Indexierbarkeitsrate unter 90 % liegt, dann gibt es Probleme, die untersucht werden müssen.

Sie können Ihre nicht indizierten URLs aus der Search Console abrufen und ein Audit für sie durchführen. Dies könnte Ihnen helfen zu verstehen, was das Problem verursacht.

Ein weiteres nützliches Website-Audit-Tool, das in der Google Search Console enthalten ist, ist das URL-Inspektionstool. Auf diese Weise können Sie sehen, was Google-Spider sehen, und diese dann mit echten Webseiten vergleichen, um zu verstehen, was Google nicht darstellen kann.

Prüfen Sie neu veröffentlichte Seiten

Jedes Mal, wenn Sie neue Seiten auf Ihrer Website veröffentlichen oder Ihre wichtigsten Seiten aktualisieren, sollten Sie sicherstellen, dass sie indexiert werden. Gehen Sie in die Google Search Console und vergewissern Sie sich, dass sie alle angezeigt werden.

Wenn Sie immer noch Probleme haben, kann Ihnen ein Audit auch Aufschluss darüber geben, welche anderen Teile Ihrer SEO-Strategie zu kurz kommen, also ist es ein doppelter Gewinn. Skalieren Sie Ihren Prüfungsprozess mit kostenlosen Tools wie:

  1. Schreiender Frosch
  2. Semrush
  3. Kabelbinder
  4. Oncrawl
  5. Lumar

7. Suchen Sie nach minderwertigen oder doppelten Inhalten

Wenn Google Ihre Inhalte für Suchende nicht als wertvoll ansieht, entscheidet es möglicherweise, dass es nicht wert ist, indexiert zu werden. Dieser dünne Inhalt, wie er bekannt ist, kann schlecht geschriebener Inhalt sein (z. B. gefüllt mit Grammatik- und Rechtschreibfehlern), Boilerplate-Inhalt, der nicht nur für Ihre Website gilt, oder Inhalt ohne externe Signale über seinen Wert und seine Autorität.

Um dies zu finden, stellen Sie fest, welche Seiten Ihrer Website nicht indiziert sind, und überprüfen Sie dann die Zielabfragen für sie. Liefern sie qualitativ hochwertige Antworten auf die Fragen der Suchenden? Wenn nicht, ersetzen oder aktualisieren Sie sie.

Doppelte Inhalte sind ein weiterer Grund, warum Bots beim Crawlen Ihrer Website hängen bleiben können. Im Grunde genommen hat Ihre Codierungsstruktur sie verwirrt und weiß nicht, welche Version indiziert werden soll. Dies kann durch Dinge wie Sitzungs-IDs, redundante Inhaltselemente und Paginierungsprobleme verursacht werden.

Manchmal löst dies eine Warnung in der Google Search Console aus, die Ihnen mitteilt, dass Google auf mehr URLs stößt, als es denkt, dass es sollte. Wenn Sie keine erhalten haben, überprüfen Sie Ihre Crawling-Ergebnisse auf Dinge wie doppelte oder fehlende Tags oder URLs mit zusätzlichen Zeichen, die zusätzliche Arbeit für Bots bedeuten könnten.

Beheben Sie diese Probleme, indem Sie Tags korrigieren, Seiten entfernen oder den Zugriff von Google anpassen.

8. Beseitigen Sie Weiterleitungsketten und interne Weiterleitungen

Bei der Weiterentwicklung von Websites sind Weiterleitungen ein natürliches Nebenprodukt, das Besucher von einer Seite auf eine neuere oder relevantere Seite leitet. Aber obwohl sie auf den meisten Websites üblich sind, könnten Sie, wenn Sie sie falsch handhaben, versehentlich Ihre eigene Indizierung sabotieren.

Es gibt mehrere Fehler, die Sie beim Erstellen von Weiterleitungen machen können, aber einer der häufigsten sind Weiterleitungsketten. Diese treten auf, wenn es mehr als eine Weiterleitung zwischen dem angeklickten Link und dem Ziel gibt. Google sieht dies nicht als positives Signal.

In extremeren Fällen können Sie eine Umleitungsschleife initiieren, bei der eine Seite auf eine andere Seite umleitet, die wiederum auf eine andere Seite weiterleitet, und so weiter, bis sie schließlich wieder auf die allererste Seite verlinkt. Mit anderen Worten, Sie haben eine Endlosschleife geschaffen, die nirgendwohin führt.

Überprüfen Sie die Weiterleitungen Ihrer Website mit Screaming Frog, Redirect-Checker.org oder einem ähnlichen Tool.

9. Korrigieren Sie defekte Links

In ähnlicher Weise können fehlerhafte Links die Crawlbarkeit Ihrer Website beeinträchtigen. Sie sollten Ihre Website regelmäßig überprüfen, um sicherzustellen, dass Sie keine defekten Links haben, da dies nicht nur Ihren SEO-Ergebnissen schadet, sondern menschliche Benutzer frustriert.

Es gibt eine Reihe von Möglichkeiten, wie Sie defekte Links auf Ihrer Website finden können, einschließlich der manuellen Bewertung jedes einzelnen Links auf Ihrer Website (Kopfzeile, Fußzeile, Navigation, In-Text usw.), oder Sie können die Google Search Console, Analytics oder Screaming Frog, um 404-Fehler zu finden.

Sobald Sie fehlerhafte Links gefunden haben, haben Sie drei Möglichkeiten, sie zu reparieren: sie umzuleiten (siehe Abschnitt oben für Vorbehalte), sie zu aktualisieren oder sie zu entfernen.

10. IndexNow

IndexNow ist ein relativ neues Protokoll, das die gleichzeitige Übermittlung von URLs zwischen Suchmaschinen über eine API ermöglicht. Es funktioniert wie eine aufgeladene Version der Übermittlung einer XML-Sitemap, indem es Suchmaschinen über neue URLs und Änderungen an Ihrer Website informiert.

Im Grunde bietet es Crawlern im Voraus eine Roadmap zu Ihrer Website. Sie geben Ihre Website mit den Informationen ein, die sie benötigen, sodass Sie die Sitemap nicht ständig erneut überprüfen müssen. Und im Gegensatz zu XML-Sitemaps können Sie Suchmaschinen über Nicht-200-Status-Codepages informieren.

Die Implementierung ist einfach und erfordert lediglich, dass Sie einen API-Schlüssel generieren, ihn in Ihrem Verzeichnis oder an einem anderen Ort hosten und Ihre URLs im empfohlenen Format übermitteln.

Einpacken

Inzwischen sollten Sie ein gutes Verständnis der Indexierbarkeit und Crawlbarkeit Ihrer Website haben. Sie sollten auch verstehen, wie wichtig diese beiden Faktoren für Ihr Suchranking sind.

Wenn die Spider von Google Ihre Website crawlen und indexieren können, spielt es keine Rolle, wie viele Keywords, Backlinks und Tags Sie verwenden – Sie werden nicht in den Suchergebnissen angezeigt.

Aus diesem Grund ist es wichtig, Ihre Website regelmäßig auf alles zu überprüfen, was Bots auflauern, irreführen oder fehlleiten könnte.

Besorgen Sie sich also ein gutes Werkzeugset und legen Sie los. Seien Sie fleißig und achten Sie auf die Details, und Sie werden bald Google-Spider wie Spinnen auf Ihrer Website haben.

Mehr Ressourcen:

  • 11 SEO-Tipps und Tricks zur Verbesserung der Suchindexierung
  • Wie Suchmaschinen crawlen und indizieren: Alles, was Sie wissen müssen
  • So führen Sie ein SEO-Audit durch: Die ultimative Checkliste

Beitragsbild: Roman Samborskyi/Shutterstock