Wie können wir automatisch generierte URL-Fehler ein für alle Mal beheben?

Die heutige „Ask An SEO“-Frage kommt von Bhaumik aus Mumbai, der fragt:

„Ich habe eine Frage zu automatisch generierten URLs. Meine Firma hatte zuvor verschiedene Tools zum Generieren von Sitemaps verwendet. Aber vor kurzem haben wir damit begonnen, sie manuell zu erstellen, indem wir notwendige URLs ausgewählt und andere in robots.txt blockiert haben.

Wir haben jetzt ein Problem mit mehr als 50 automatisch generierten URLs.

Zum Beispiel haben wir eine Seite namens „Keyword Keyword“ URL: https://url.com/keyword-keyword/ und wir haben eine andere Seite Wissenszentrum URL: https://www.url.com/folder/keyword-keyword .

Bei Abdeckungsproblemen sehen wir Fehler unter der 5xx-Serie, die völlig neue URLs erstellt hat, etwa https://test.url.com/keyword-keyword/keyword-keyword. Wir haben viele Wege ausprobiert, aber wir bekommen keine Lösung für diesen.“

Hallo Bhaumik,

Es ist eine interessante Situation, in der Sie sich befinden.

Die gute Nachricht ist, dass 5XX-Fehler in der Regel von selbst behoben werden, also machen Sie sich darüber keine Sorgen.

Das Kannibalisierungsproblem, mit dem Sie konfrontiert sind, ist auch häufiger als die meisten Leute denken.

Bei E-Commerce-Shops könnten Sie beispielsweise dasselbe Produkt (oder dieselbe Produktsammlung) in mehreren Ordnern anzeigen lassen.

Also, welches ist das offizielle?

Dasselbe gilt für Ihre Situation im B2B-Finanzbereich (ich habe Ihre URL oben entfernt und durch „Keyword Keyword“ ersetzt).

Aus diesem Grund haben die Suchmaschinen kanonische Links erstellt.

Kanonische Links sind eine Möglichkeit, Suchmaschinen mitzuteilen, wenn eine Seite ein Duplikat einer anderen ist und welche Seite die offizielle ist.

Nehmen wir an, Sie verkaufen rosafarbene Häschenpantoffeln.

Diese Hasenpantoffeln haben eine eigene Seite, sie sind im Angebot, sie erscheinen in Schuhen und auch in Pink.

• url.com/products/pink-bunny-slippers.
• url.com/on-sale/pink-bunny-slippers.
• url.com/products/pink/pink-bunny-slippers.
• url.com/category/footwear/pink-bunny-slippers.

Die erste URL oben ist die „offizielle Version“ der URL.

Das bedeutet, dass es einen kanonischen Link haben sollte, der auf sich selbst zeigt.

Die anderen drei Seiten sind doppelte Versionen davon. Wenn Sie also Ihren kanonischen Link einrichten, sollte er auf die offizielle Seite verweisen.

Kurz gesagt, Sie sollten sicherstellen, dass alle vier Seiten rel=“canonical“ href=“https://url.com/products/pink-bunny-slippers“ haben, da dies sie für Suchmaschinen dedupliziert.

Als Nächstes sollten Sie sicherstellen, dass Sie alle doppelten Versionen aus Ihrer Sitemap entfernen.

Eine Sitemap soll die wichtigsten und indexierbaren Seiten Ihrer Website enthalten.

Sie möchten keine inoffiziellen Versionen einer Seite, durch die robots.txt-Datei nicht zugelassene Seiten und nicht kanonisierte URLs in Ihre Sitemaps aufnehmen.

Suchmaschinen crawlen nicht jedes Mal Ihre gesamte Website – und wenn Sie sie zu unwichtigen Seiten weiterleiten, verschwenden Sie Ihre Fähigkeit zum richtigen Crawlen und Indexieren.

Es gibt eine andere Situation, die hier auftreten kann.

Wenn Sie die Site-Suche aktiviert haben, kann sie auch URLs erstellen, die Duplikate sind.

Wenn ich „pink bunny pantoffel“ in das Suchfeld Ihrer Website eingebe, erhalte ich wahrscheinlich eine URL mit derselben Schlüsselwortphrase in der URL – und auch mit Parametern darauf.

Dies würde Ihr Problem weiter vorantreiben, und Ihr IT-Team muss die kanonischen Links zu den Suchergebnissen programmgesteuert zusammen mit einem Meta-Roboter für noindex setzen, folgen.

Eine andere Sache, auf die Sie achten sollten, ist: Wenn ich vom Suchergebnis aus auf die Seite mit den rosa Hasenpantoffeln klicke, bleiben diese Parameter möglicherweise erhalten.

Wenn dies der Fall ist, unternehmen Sie die gleichen Schritte wie oben beschrieben.

Die Verwendung geeigneter kanonischer Links und die Sicherstellung, dass Ihre Sitemap keine inoffiziellen Seiten enthält, hilft, das Problem doppelter Seiten zu lösen und sicherzustellen, dass Sie den Besuch einer Spinne nicht verschwenden, indem sie die falschen Seiten Ihrer Website crawlt.

Ich hoffe das hilft!

Mehr Ressourcen:

• 7 SEO-Crawling-Tool-Warnungen und -Fehler, die Sie getrost ignorieren können
• Sollte ich eine Zielseite für jede URL und jeden Link zu meiner Hauptseite erstellen?
• Die ultimative SEO-Audit-Checkliste

Beitragsbild: Leremy/Shutterstock