10 passos para aumentar a indexabilidade e rastreabilidade do seu site

Palavras-chave e conteúdo podem ser os pilares gêmeos sobre os quais a maioria das estratégias de otimização de mecanismos de busca são construídas, mas estão longe de ser os únicos que importam.

Menos discutido, mas igualmente importante – não apenas para os usuários, mas para os bots de busca – é a capacidade de descoberta do seu site.

Existem cerca de 50 bilhões de páginas da web em 1,93 bilhão de sites na internet. Isso é demais para qualquer equipe humana explorar, então esses bots, também chamados de aranhas, desempenham um papel significativo.

Esses bots determinam o conteúdo de cada página seguindo links de site para site e de página para página. Essas informações são compiladas em um vasto banco de dados, ou índice, de URLs, que são então colocados no algoritmo do mecanismo de busca para classificação.

Esse processo de duas etapas de navegação e compreensão do seu site é chamado de rastreamento e indexação.

Como profissional de SEO, você certamente já ouviu esses termos antes, mas vamos defini-los apenas para maior clareza:

• A rastreabilidade refere-se a quão bem esses bots de mecanismos de pesquisa podem escanear e indexar suas páginas da web.
• A indexabilidade mede a capacidade do mecanismo de pesquisa de analisar suas páginas da Web e adicioná-las ao seu índice.

Como você provavelmente pode imaginar, essas são duas partes essenciais do SEO.

Se o seu site sofre de baixa rastreabilidade, por exemplo, muitos links quebrados e becos sem saída, os rastreadores do mecanismo de pesquisa não poderão acessar todo o seu conteúdo, o que o excluirá do índice.

A indexabilidade, por outro lado, é vital porque as páginas que não são indexadas não aparecerão nos resultados da pesquisa. Como o Google pode classificar uma página que não incluiu em seu banco de dados?

O processo de rastreamento e indexação é um pouco mais complicado do que discutimos aqui, mas essa é a visão geral básica.

Se você está procurando uma discussão mais aprofundada sobre como eles funcionam, Dave Davies tem um excelente artigo sobre rastreamento e indexação.

Como melhorar o rastreamento e a indexação

Agora que abordamos a importância desses dois processos, vamos analisar alguns elementos do seu site que afetam o rastreamento e a indexação – e discutir maneiras de otimizar seu site para eles.

1. Melhore a velocidade de carregamento da página

Com bilhões de páginas da Web para catalogar, os web spiders não precisam esperar o dia todo para que seus links sejam carregados. Isso às vezes é chamado de orçamento de rastreamento.

Se o seu site não carregar dentro do prazo especificado, eles sairão do seu site, o que significa que você permanecerá sem rastreamento e indexação. E como você pode imaginar, isso não é bom para fins de SEO.

Assim, é uma boa ideia avaliar regularmente a velocidade da sua página e melhorá-la sempre que puder.

Você pode usar o Google Search Console ou ferramentas como Screaming Frog para verificar a velocidade do seu site.

Se o seu site estiver lento, tome medidas para aliviar o problema. Isso pode incluir atualizar seu servidor ou plataforma de hospedagem, habilitar a compactação, reduzir CSS, JavaScript e HTML e eliminar ou reduzir redirecionamentos.

Descubra o que está diminuindo o tempo de carregamento verificando seu relatório Core Web Vitals. Se você deseja informações mais refinadas sobre seus objetivos, principalmente de uma visão centrada no usuário, o Google Lighthouse é uma ferramenta de código aberto que pode ser muito útil.

2. Fortaleça a estrutura de links internos

Uma boa estrutura de site e links internos são elementos fundamentais de uma estratégia de SEO bem-sucedida. Um site desorganizado é difícil para os mecanismos de pesquisa rastrearem, o que torna os links internos uma das coisas mais importantes que um site pode fazer.

Mas não acredite apenas em nossa palavra. Aqui está o que o defensor de buscas do Google, John Mueller, tinha a dizer sobre isso:

“A vinculação interna é super crítica para o SEO. Acho que é uma das maiores coisas que você pode fazer em um site para guiar o Google e guiar os visitantes para as páginas que você considera importantes.”

Se o seu link interno for ruim, você também corre o risco de páginas órfãs ou páginas que não têm links para nenhuma outra parte do seu site. Como nada é direcionado para essas páginas, a única maneira de os mecanismos de pesquisa encontrá-las é pelo seu mapa do site.

Para eliminar este e outros problemas causados ​​pela estrutura deficiente, crie uma estrutura interna lógica para o seu site.

Sua página inicial deve vincular a subpáginas suportadas por páginas mais abaixo na pirâmide. Essas subpáginas devem ter links contextuais onde pareçam naturais.

Outra coisa para ficar de olho são os links quebrados, incluindo aqueles com erros de digitação na URL. Isso, é claro, leva a um link quebrado, o que levará ao temido erro 404. Em outras palavras, página não encontrada.

O problema com isso é que links quebrados não estão ajudando e estão prejudicando sua rastreabilidade.

Verifique seus URLs, principalmente se você passou recentemente por uma migração de site, exclusão em massa ou alteração de estrutura. E verifique se você não está vinculando a URLs antigos ou excluídos.

Outras práticas recomendadas para links internos incluem ter uma boa quantidade de conteúdo vinculável (o conteúdo é sempre rei), usar texto âncora em vez de imagens vinculadas e usar um “número razoável” de links em uma página (o que quer que isso signifique).

Ah, sim, e certifique-se de usar os links de acompanhamento para links internos.

3. Envie seu mapa do site para o Google

Com tempo suficiente, e supondo que você não tenha dito para não fazer isso, o Google rastreará seu site. E isso é ótimo, mas não está ajudando sua classificação de pesquisa enquanto você espera.

Se você fez alterações recentemente em seu conteúdo e deseja que o Google saiba disso imediatamente, é uma boa ideia enviar um mapa do site para o Google Search Console.

Um mapa do site é outro arquivo que reside em seu diretório raiz. Ele serve como um roteiro para os mecanismos de pesquisa com links diretos para todas as páginas do seu site.

Isso é benéfico para a indexação porque permite que o Google aprenda sobre várias páginas simultaneamente. Enquanto um rastreador pode ter que seguir cinco links internos para descobrir uma página profunda, ao enviar um mapa do site XML, ele pode encontrar todas as suas páginas com uma única visita ao arquivo do mapa do site.

Enviar seu mapa do site para o Google é particularmente útil se você tiver um site profundo, adicionar novas páginas ou conteúdo com frequência ou se seu site não tiver bons links internos.

4. Atualizar arquivos Robots.txt

Você provavelmente deseja ter um arquivo robots.txt para seu site. Embora não seja obrigatório, 99% dos sites o utilizam como regra geral. Se você não estiver familiarizado com isso, é um arquivo de texto simples no diretório raiz do seu site.

Ele informa aos rastreadores do mecanismo de pesquisa como você gostaria que eles rastreassem seu site. Seu uso principal é gerenciar o tráfego de bots e evitar que seu site fique sobrecarregado com solicitações.

Onde isso é útil em termos de rastreabilidade é limitar quais páginas o Google rastreia e indexa. Por exemplo, você provavelmente não quer páginas como diretórios, carrinhos de compras e tags no diretório do Google.

Obviamente, esse arquivo de texto útil também pode afetar negativamente sua rastreabilidade. Vale a pena examinar seu arquivo robots.txt (ou pedir a um especialista para fazer isso se você não estiver confiante em suas habilidades) para ver se você está bloqueando inadvertidamente o acesso do rastreador às suas páginas.

Alguns erros comuns em arquivos robots.text incluem:

• Robots.txt não está no diretório raiz.
• Mau uso de curingas.
• Noindex em robots.txt.
• Scripts bloqueados, folhas de estilo e imagens.
• Nenhum URL do mapa do site.

Para um exame aprofundado de cada um desses problemas – e dicas para resolvê-los, leia este artigo.

5. Verifique sua canonização

As tags canônicas consolidam sinais de vários URLs em um único URL canônico. Essa pode ser uma maneira útil de dizer ao Google para indexar as páginas desejadas, ignorando duplicatas e versões desatualizadas.

Mas isso abre a porta para tags canônicas desonestas. Referem-se a versões mais antigas de uma página que não existe mais, levando os mecanismos de pesquisa a indexar as páginas erradas e deixando suas páginas preferidas invisíveis.

Para eliminar esse problema, use uma ferramenta de inspeção de URL para verificar tags não autorizadas e removê-las.

Se o seu site é voltado para tráfego internacional, ou seja, se você direciona usuários de diferentes países para páginas canônicas diferentes, você precisa ter tags canônicas para cada idioma. Isso garante que suas páginas sejam indexadas em cada idioma que seu site está usando.

6. Realize uma auditoria do local

Agora que você executou todas essas outras etapas, ainda há uma última coisa que você precisa fazer para garantir que seu site seja otimizado para rastreamento e indexação: uma auditoria de site. E isso começa com a verificação da porcentagem de páginas que o Google indexou para o seu site.

Verifique sua taxa de indexabilidade

Sua taxa de indexabilidade é o número de páginas no índice do Google dividido pelo número de páginas em nosso site.

Você pode descobrir quantas páginas estão no índice do Google a partir do Índice do Google Search Console acessando a guia “Páginas” e verificando o número de páginas no site no painel de administração do CMS.

Há uma boa chance de seu site ter algumas páginas que você não deseja indexar, então esse número provavelmente não será 100%. Mas se a taxa de indexabilidade estiver abaixo de 90%, você terá problemas que precisam ser investigados.

Você pode obter seus URLs não indexados no Search Console e executar uma auditoria para eles. Isso pode ajudá-lo a entender o que está causando o problema.

Outra ferramenta útil de auditoria de sites incluída no Google Search Console é a Ferramenta de inspeção de URL. Isso permite que você veja o que os spiders do Google veem, que você pode comparar com páginas da Web reais para entender o que o Google não consegue renderizar.

Auditoria de páginas recém-publicadas

Sempre que você publicar novas páginas em seu site ou atualizar suas páginas mais importantes, verifique se elas estão sendo indexadas. Entre no Google Search Console e verifique se todos estão aparecendo.

Se você ainda estiver tendo problemas, uma auditoria também pode fornecer informações sobre quais outras partes da sua estratégia de SEO estão falhando, por isso é uma vitória dupla. Dimensione seu processo de auditoria com ferramentas gratuitas como:

1. Sapo gritando
2. Semrush
3. Ziptie
4. Oncrawl
5. Lumar

7. Verifique se há conteúdo duplicado ou de baixa qualidade

Se o Google não considerar seu conteúdo valioso para os pesquisadores, ele poderá decidir que não vale a pena indexar. Esse conteúdo fraco, como é conhecido, pode ser conteúdo mal escrito (por exemplo, cheio de erros gramaticais e ortográficos), conteúdo padrão que não é exclusivo do seu site ou conteúdo sem sinais externos sobre seu valor e autoridade.

Para encontrar isso, determine quais páginas do seu site não estão sendo indexadas e, em seguida, revise as consultas de destino para elas. Eles estão fornecendo respostas de alta qualidade para as perguntas dos pesquisadores? Caso contrário, substitua-os ou atualize-os.

Conteúdo duplicado é outro motivo pelo qual os bots podem travar enquanto rastreiam seu site. Basicamente, o que acontece é que sua estrutura de codificação a confundiu e não sabe qual versão indexar. Isso pode ser causado por coisas como IDs de sessão, elementos de conteúdo redundantes e problemas de paginação.

Às vezes, isso acionará um alerta no Google Search Console, informando que o Google está encontrando mais URLs do que acha que deveria. Se você não recebeu um, verifique os resultados do rastreamento em busca de itens como tags duplicadas ou ausentes ou URLs com caracteres extras que podem estar criando trabalho extra para os bots.

Corrija esses problemas corrigindo tags, removendo páginas ou ajustando o acesso do Google.

8. Elimine as cadeias de redirecionamento e redirecionamentos internos

À medida que os sites evoluem, os redirecionamentos são um subproduto natural, direcionando os visitantes de uma página para uma mais recente ou mais relevante. Mas, embora sejam comuns na maioria dos sites, se você os estiver manipulando incorretamente, poderá sabotar inadvertidamente sua própria indexação.

Existem vários erros que você pode cometer ao criar redirecionamentos, mas um dos mais comuns são as cadeias de redirecionamento. Ocorrem quando há mais de um redirecionamento entre o link clicado e o destino. O Google não vê isso como um sinal positivo.

Em casos mais extremos, você pode iniciar um loop de redirecionamento, no qual uma página redireciona para outra página, que direciona para outra página, e assim por diante, até que eventualmente seja vinculada de volta à primeira página. Em outras palavras, você criou um loop sem fim que não leva a lugar nenhum.

Verifique os redirecionamentos do seu site usando Screaming Frog, Redirect-Checker.org ou uma ferramenta semelhante.

9. Corrigir links quebrados

Da mesma forma, links quebrados podem causar estragos na rastreabilidade do seu site. Você deve verificar regularmente seu site para garantir que não haja links quebrados, pois isso não apenas prejudicará seus resultados de SEO, mas também frustrará os usuários humanos.

Existem várias maneiras de encontrar links quebrados em seu site, incluindo avaliar manualmente cada link em seu site (cabeçalho, rodapé, navegação, texto etc.), ou você pode usar o Google Search Console, Analytics ou Screaming Frog para encontrar erros 404.

Depois de encontrar links quebrados, você tem três opções para corrigi-los: redirecioná-los (consulte a seção acima para advertências), atualizá-los ou removê-los.

10. Indexar agora

IndexNow é um protocolo relativamente novo que permite que URLs sejam enviados simultaneamente entre mecanismos de pesquisa por meio de uma API. Funciona como uma versão supercarregada de enviar um sitemap XML, alertando os mecanismos de pesquisa sobre novos URLs e alterações em seu site.

Basicamente, o que ele faz é fornecer aos rastreadores um roteiro para o seu site antecipadamente. Eles entram em seu site com as informações de que precisam, portanto, não há necessidade de verificar constantemente o mapa do site. E, ao contrário dos sitemaps XML, ele permite que você informe os mecanismos de pesquisa sobre páginas de código de status que não sejam 200.

Implementá-lo é fácil e requer apenas que você gere uma chave de API, hospede-a em seu diretório ou em outro local e envie seus URLs no formato recomendado.

Empacotando

Até agora, você deve ter uma boa compreensão da indexabilidade e rastreabilidade do seu site. Você também deve entender o quão importante esses dois fatores são para seus rankings de busca.

Se os spiders do Google puderem rastrear e indexar seu site, não importa quantas palavras-chave, backlinks e tags você use – você não aparecerá nos resultados de pesquisa.

E é por isso que é essencial verificar regularmente seu site em busca de qualquer coisa que possa ser uma armadilha, enganosa ou bots de direcionamento errado.

Então, pegue um bom conjunto de ferramentas e comece. Seja diligente e atento aos detalhes, e em breve você terá aranhas do Google invadindo seu site como aranhas.

Mais recursos:

• 11 dicas e truques de SEO para melhorar a indexação de pesquisa
• Como os mecanismos de pesquisa rastreiam e indexam: tudo o que você precisa saber
• Como fazer uma auditoria de SEO: a lista de verificação final

Imagem em destaque: Roman Samborskyi/Shutterstock