Como podemos resolver erros de URL gerados automaticamente de uma vez por todas?

A pergunta “Ask An SEO” de hoje vem de Bhaumik de Mumbai, que pergunta:

“Tenho uma pergunta sobre URLs gerados automaticamente. Minha empresa já havia usado ferramentas diferentes para gerar sitemaps. Mas, recentemente, começamos a criá-los manualmente selecionando URLs que são necessários e bloqueando outros no robots.txt.

Estamos enfrentando um problema agora com mais de 50 URLs gerados automaticamente.

Por exemplo, temos uma página chamada URL de “palavra-chave da palavra-chave”: https://url.com/keyword-keyword/ e temos outra URL do centro de conhecimento da página: https://www.url.com/folder/keyword-keyword .

Em questões de cobertura, estamos vendo erros na série 5xx que criaram URLs totalmente novos, como https://test.url.com/keyword-keyword/keyword-keyword. Tentamos de várias maneiras, mas não estamos obtendo a solução para este. ”

Olá Bhaumik,

É uma situação interessante em que você está se encontrando.

A boa notícia é que os erros 5XX tendem a se resolver sozinhos, então não se preocupe com isso.

O problema de canibalização que você está enfrentando também é mais comum do que a maioria das pessoas pensa.

Com lojas de comércio eletrônico, por exemplo, você pode ter o mesmo produto (ou a mesma coleção de produtos) aparecendo em várias pastas.

Então, qual deles é o oficial?

O mesmo vale para sua situação no espaço financeiro B2B (removi seu URL acima e o substituí por “palavra-chave de palavra-chave”).

É por isso que os motores de busca criaram links canônicos.

Os links canônicos são uma maneira de informar aos mecanismos de pesquisa quando uma página é uma duplicata de outra e qual página é a oficial.

Vamos fingir que você vende chinelos de coelho rosa.

Estas pantufas de coelhinhos têm a sua própria página, estão à venda, aparecem em calçado, e também em cor-de-rosa.

• url.com/products/pink-bunny-chinelos.
• url.com/on-sale/pink-bunny-chinelos.
• url.com/products/pink/pink-bunny-chinelos.
• url.com/category/footwear/pink-bunny-slippers.

A primeira URL acima é a “versão oficial” da URL.

Isso significa que deve ter um link canônico apontando para si mesmo.

As outras três páginas são versões duplicadas dele. Portanto, ao configurar seu link canônico, ele deve fazer referência à página oficial.

Resumindo, você deve certificar-se de que todas as quatro páginas tenham rel=”canonical” href=”https://url.com/products/pink-bunny-slippers”, pois isso as desduplicará para os mecanismos de pesquisa.

Em seguida, certifique-se de remover todas as versões duplicadas do seu sitemap.

Um mapa do site deve apresentar as páginas mais importantes e indexáveis ​​do seu site.

Você não deseja incluir versões não oficiais de uma página, páginas não permitidas pelo robots.txt e URLs não canonizados em seus sitemaps.

Os mecanismos de pesquisa não rastreiam todo o site toda vez – e se você os enviar para páginas sem importância, estará desperdiçando sua capacidade de rastreamento e indexação adequados.

Há outra situação que pode ocorrer aqui.

Se você tiver a pesquisa de sites ativada, ela também poderá criar URLs duplicados.

Se eu digitar “chinelos de coelho rosa” na caixa de pesquisa do seu site, provavelmente obterei um URL com a mesma palavra-chave no URL – e também com parâmetros nele.

Isso aumentaria seu problema, e sua equipe de TI precisará definir programaticamente os links canônicos para os resultados da pesquisa, juntamente com um meta-robôs para noindex, siga.

Uma outra coisa a procurar é: se eu clicar na página de chinelos de coelho rosa no resultado da pesquisa, esses parâmetros podem ficar.

Se o fizerem, siga os mesmos passos mencionados acima.

Usar links canônicos adequados e garantir que seu sitemap não tenha páginas não oficiais ajudará a resolver o problema da página duplicada e ajudará a garantir que você não desperdice a visita de um spider fazendo com que ele rastreie as páginas erradas em seu site.

Eu espero que isso ajude!

Mais recursos:

• 7 avisos e erros da ferramenta de rastreamento de SEO que você pode ignorar com segurança
• Devo criar uma página de destino para cada URL e link para meu site principal?
• A lista de verificação final de auditoria de SEO

Imagem em destaque: Leremy/Shutterstock