TechSEO360 Crawler Guide – Sitemaps e auditorias técnicas de SEO
Publicados: 2019-05-21Há 10 anos, o rastreador que uso para as auditorias técnicas de SEO que faço no Search Engine People é o que hoje se chama TechSEO360. Uma jóia escondida; econômico, eficiente (rastreia qualquer site de qualquer tamanho), voltado para o futuro (por exemplo: tinha suporte AJAX antes de outras ferramentas de rastreador). Já escrevi sobre esse rastreador de sites antes, mas queria fazer um post completo mais abrangente.
TechSEO360 Explicado
TechSEO360 é um rastreador de SEO técnico com destaques sendo:
- Software nativo para Windows e Mac.
- Pode rastrear sites muito grandes prontos para uso.
- Configuração flexível do rastreador para quem precisa.
- Use relatórios integrados ou personalizados para analisar os dados coletados do site (embora eu geralmente confie em exportar todos os dados para o Excel e usar seus poderosos filtros, pivotagem, formatação automática etc.).
- Crie mapas de site XML de imagem, vídeo e hreflang, além de mapas de site visuais.
Como este guia está estruturado
Este guia cobrirá todas as funcionalidades de SEO mais importantes encontradas neste software.
- Usaremos o site de demonstração https://Crawler.TechSEO360.com em todos os nossos exemplos.
- Todas as capturas de tela serão da versão para Windows – mas a versão para Mac contém os mesmos recursos e ferramentas.
- Estaremos usando o TechSEO360 em seu modo gratuito, que é o estado alterado para quando a avaliação inicial gratuita totalmente funcional 30 termina.
- Usaremos as configurações padrão para rastreamento e análise de sites, salvo indicação em contrário.
- Começaremos mostrando como configurar o rastreamento do site e, em seguida, passaremos para SEO técnico, relatórios e mapas do site.
Configurando e iniciando o rastreamento
A maioria dos sites rastreará bem ao usar as configurações padrão. Isso significa que a única configuração necessária normalmente será inserir o caminho do site que você deseja analisar - seja ele residente na Internet, servidor local ou disco local. 
Como alternativa fácil à configuração manual, também é possível aplicar várias "predefinições rápidas" que definem as configurações subjacentes. Exemplos podem ser:
- Você sabe que deseja criar um sitemap de vídeo e quer ter certeza de que pode gerar o melhor possível.
- Você usa um CMS de site específico que gera muitos URLs de conteúdo fino que devem ser excluídos.
Para aqueles que desejam mergulhar nas configurações, você pode afirmar um controle quase completo do processo de rastreamento, incluindo:
Mecanismo de rastreador
É aqui que você pode mexer com os detalhes internos mais profundos de como as solicitações HTTP são executadas. Uma coisa em particular é como você pode aumentar a velocidade de rastreamento: simplesmente aumente a contagem de threads simultâneos e conexões simultâneas - apenas certifique-se de que seu computador e site possam lidar com a carga adicional. 
Filtros para webmasters
Controle até que ponto o rastreador deve obedecer a noindex, nofollow, robots.txt e similares. 
Filtros de análise
Configure regras para quais URLs devem ter seu conteúdo analisado. Existem várias opções de filtragem "excluir" e "limitar a" disponíveis, incluindo padrões de URL, extensões de arquivo e tipos MIME. 
Filtros de saída
Semelhante a "Verificar site | Filtros de análise" - mas é usado para controlar quais URLs são "marcados" para remoção quando um rastreamento de site é concluído. 
Os URLs excluídos pelas opções encontradas em "Verificar site | Filtros para webmasters" e "Verificar site | Filtros de saída" ainda podem ser mantidos e exibidos após o rastreamento do site parar se a opção "Verificar site | Opções do rastreador | Aplicar filtros para webmaster e saída após a verificação do site pára" está desmarcada. Com esta combinação você:
- Consiga manter todas as informações coletadas pelo rastreador, para que você possa inspecionar tudo.
- Ainda evite que os URLs sejam incluídos ao criar sitemaps HTML e XML.
- Ainda obtenha a "marcação" adequada ao fazer relatórios e exportações.
Progresso do rastreamento
Durante o rastreamento do site, você pode ver várias estatísticas que mostram quantos URLs tiveram seu conteúdo analisado, quantos tiveram seus links e referências resolvidos e quantos URLs ainda estão aguardando nas filas. 
Visão geral do site após o rastreamento
Após a conclusão de um rastreamento de site, o programa abre uma visualização com colunas de dados à esquerda: 
Se você selecionar um URL, poderá ver mais detalhes à direita: 
Aqui está uma miniatura de como ele pode ficar em uma tela de tamanho normal: 
Lado esquerdo
Aqui você encontrará URLs e dados associados encontrados durante a verificação do site. Por padrão, apenas algumas das colunas de dados mais importantes são mostradas. Acima deste há um painel composto por cinco botões e uma caixa de texto. Seus propósitos são:
#1
Lista suspensa com "relatórios rápidos" predefinidos. Eles podem ser usados para configurar rapidamente:
- Quais colunas de dados são visíveis.
- Quais "opções de filtro rápido" estão habilitadas.
- O "texto de filtro rápido" ativo para limitar ainda mais o que é exibido.
#2
Menu suspenso para alternar entre mostrar todos os URLs no site como uma "lista" simples e como uma "árvore". 
#3
Lista suspensa para configurar quais colunas de dados são visíveis. 
#4
Comparado com o acima, habilitar a visibilidade da coluna de dados "Redireciona para o caminho" fica assim: 
#5
Lista suspensa para configurar quais "opções de filtro rápido" são selecionadas. 
#6
Botão liga/desliga para ativar/desativar todas as funcionalidades de "filtros rápidos".
#7
Caixa contendo o "texto de filtro rápido" que é usado para personalizar ainda mais o que é exibido.
Como usar a funcionalidade "relatórios rápidos" e "filtros rápidos" será explicado posteriormente com exemplos.
Lado direito
É aqui que você pode ver detalhes adicionais da URL selecionada no lado esquerdo. Isso inclui a lista "Vinculado por" com detalhes adicionais, lista "Links [internos]", lista "Usado por", "Resumo do diretório" e muito mais.
Para entender como usar isso ao investigar detalhes, compare os dois cenários a seguir.
#1
À esquerda, selecionamos o URL http://crawler.techseo360.com/noindex-follow.html - também podemos ver que o rastreador o marcou como "[noindex][follow]" na coluna de dados "URL flags": 
À direita dentro da aba "Links [internos]", podemos confirmar que todos os links foram seguidos incluindo e visualizar detalhes adicionais . 
#2
À esquerda, selecionamos o URL http://crawler.techseo360.com/nofollow.html - também podemos ver que o rastreador o marcou como "[index][nofollow]" na coluna de dados "URL flags".: 
À direita dentro da aba "Links [internos]", podemos confirmar que nenhum link foi seguido. 
Usando relatórios rápidos
Como eu disse, não costumo usá-los, preferindo Mostrar todas as colunas de dados e depois exportar para o Excel. Mas para quem gosta desse tipo de relatório integrado em outras ferramentas, aqui estão alguns dos relatórios rápidos mais usados disponíveis:
Todos os tipos de redirecionamentos
O "relatório rápido" integrado para mostrar todos os tipos de redirecionamentos, incluindo as informações necessárias para seguir as cadeias de redirecionamento: 
Essencialmente isso tem:
- Alterada a visibilidade das colunas de dados para as mais apropriadas.
- Defina o texto do filtro para:
[httpredirect|canonicalredirect|metarefreshredirect] -[noindex] 200 301 302 307 - Filtros ativados:
-
Only show URLs with all [filter-text] found in "URL state flags" column -
Only show URLs with any filter-text-number found in "response code" column
-
Com isso, um URL deve atender às três condições a seguir para ser exibido:
- Tem que apontar para outro URL por redirecionamento HTTP, instrução canônica ou meta-atualização de "0 segundo".
- Não pode conter uma instrução "noindex".
- Tem que ter o código de resposta 200, 301, 302 ou 307.
404 não encontrado
Se você precisa identificar rapidamente links quebrados e referências de URL, este relatório é uma boa escolha. Com isso, as colunas de dados "Linked.List" (por exemplo, tag "a"), "Used.List" (por exemplo, atributo "src") e "Redirected.List" ficam visíveis. 
Sem índice
Veja rapidamente todas as páginas com a instrução "noindex". 
Títulos duplicados #1
Veja rapidamente todas as páginas com títulos duplicados, incluindo aquelas com títulos vazios duplicados. 
Títulos duplicados #2
Se não for substituído por outros filtros, o texto do filtro corresponde ao conteúdo dentro de todas as colunas de dados visíveis. Aqui, reduzimos nosso relatório de títulos duplicados àqueles que contêm a palavra "exemplo". 
Contagem de caracteres do título
Limite os URLs mostrados pela contagem de caracteres do título. Você pode controlar o limite e se estiver acima ou abaixo. Semelhante está disponível para descrições. 
Contagem de pixels do título
Limite os URLs mostrados pela contagem de pixels do título. Você pode controlar o limite e se estiver acima ou abaixo. Semelhante está disponível para descrições. 
Imagens e texto alternativo/âncora ausente
Mostre apenas URLs de imagem que foram usados sem qualquer texto alternativo ou vinculados sem nenhum texto âncora. 
Outras ferramentas
Análise na página
Por padrão, é realizada uma análise de texto abrangente em todas as páginas durante o rastreamento do site. A opção encontrada para isso reside em "Scan website | Data collection" que fornece resultados como estes: 
No entanto, você também pode sempre analisar páginas individuais sem rastrear todo o site: 
Observe que você pode ver quais palavras-chave e frases são segmentadas em um site inteiro se usar o botão "soma de pontuações para páginas selecionadas".
Listas de palavras-chave
Um construtor de lista de palavras-chave flexível que permite combinar listas de palavras-chave e realizar uma limpeza abrangente. 
Ferramentas on-line de terceiros
Se precisar de mais ferramentas, você mesmo pode adicioná-las e até decidir quais devem ser acessíveis por guias em vez de apenas pelo menu suspenso. 
O software passará automaticamente a URL selecionada ou similar à ferramenta online selecionada. Cada ferramenta online é configurada por um arquivo de texto que define quais dados são passados e como isso é feito.
Mapas de site
Tipos de arquivo de mapa do site
Com 13 formatos de arquivo de sitemap distintos, é provável que suas necessidades sejam atendidas. Isso inclui sitemaps XML, sitemaps de vídeo e sitemaps de imagem. 
Sitemaps XML e Hreflang
Mesmo que seu site não inclua nenhuma marcação hreflang, o TechSEO360 geralmente poderá gerar mapas de site XML com informações hreflang alternativas apropriadas se seus URLs contiverem partes que incluam uma referência ao idioma, cultura ou país. 
Sitemaps de imagem e vídeo XML
Normalmente, você pode acelerar sua configuração usando uma das "Predefinições rápidas":
- Mapa do site de vídeo do Google
- Sitemap de vídeo do Google (o site tem vídeos hospedados externamente)
- Mapa do site de imagens do Google
- Mapa do site de imagens do Google (o site tem imagens hospedadas externamente)
Se você pretende criar sitemaps de imagem e vídeo, use uma das opções de vídeo, pois elas também incluem todas as configurações ideais para sitemaps de imagem.
O TechSEO360 usa métodos diferentes para calcular quais páginas, vídeos e imagens devem estar juntos em sitemaps XML gerados - algo que pode ser complicado se uma imagem ou vídeo for usado em vários lugares.
Sitemaps HTML
Selecione um dos modelos HTML integrados ou crie o seu próprio, incluindo o código HTML/CSS/JS real e várias opções usadas ao criar os mapas do site. 
Outra funcionalidade
Suporte a Javascript e AJAX
Você pode configurar o TechSEO360 para pesquisar o código Javascript para referências de arquivo e URL marcando a opção "Scan website | Crawler options | Try search inside Javascript".
Se você estiver lidando com um site AJAX, poderá alternar para uma solução habilitada para AJAX em "Verificar site | Mecanismo de rastreador | Tipo e manipulador de caminho padrão".
Texto personalizado e pesquisa de código
Muitas vezes, pode ser útil pesquisar texto e código em um site inteiro - por exemplo, para encontrar páginas usando código antigo do Google Analytics ou similar.
Você pode configurar várias pesquisas em "Verificar site | Coleta de dados" | Pesquise strings personalizadas, códigos e padrões de texto".
Os resultados são mostrados na coluna de dados "Pesquisas personalizadas da página" mostrando uma contagem para cada pesquisa - opcionalmente com o conteúdo extraído da correspondência de padrões.
Pontuação de Importância Calculada
O TechSEO360 calcula a importância de todas as páginas com base em links internos e redirecionamentos internos.
Você pode ver isso habilitando a visibilidade da coluna de dados "Pontuação de importância dimensionada".
Detecção de conteúdo semelhante
Às vezes, as páginas são semelhantes, mas não duplicatas exatas. Para encontrá-los, você pode ativar a opção "Verificar site | Coleta de dados | Rastreamento e armazenamento de dados estendidos | Realizar análise de palavras-chave para todas as páginas" antes da verificação.
Ao visualizar os resultados, habilite a visibilidade da coluna de dados "Duplicações de conteúdo da página (visualização visual)" e você obterá uma representação gráfica do conteúdo.
Interface de linha de comando (CLI)
Se você estiver usando a versão de avaliação ou paga, poderá usar a linha de comando - aqui está um exemplo:
"techseo.exe" -exit -scan -build ":my-project.ini" @override_rootpath=http://example.com@
O acima passa um arquivo de projeto com todas as opções definidas, substitui o domínio do site e instrui o TechSEO360 a executar um rastreamento completo, construir mapas do site e sair.
Importando dados
A funcionalidade "Arquivo | Importar..." funciona de forma inteligente e pode ser usada para:
- Importar listas de URLs. Se as URLs importadas forem de domínios mistos, o TechSEO360 determinará se há um domínio primário e importará adequadamente nas guias "Interno" e "Externo".
- O TechSEO360 também pode detectar várias outras fontes de dados cujo conteúdo será adicionado aos dados existentes:
- O servidor Apache registra para "marcar" URLs visitados pelo GoogleBot "[googlebot]" e detecta URLs não vinculados/usados internamente "[órfãos]".
- As Ferramentas do Google para webmasters exportam para URLs de "tag" indexados pelo Google "[googleindexed]" e dados de cliques e impressões.
- Exportações de CSV Majestic para dados de pontuação de backlinks.
O "[...]" acima pode ser usado pelo "texto de filtros rápidos" para gerar mais relatórios personalizados.
Exportando dados
A funcionalidade "Arquivo | Exportar..." pode exportar dados para CSV, Excel, HTML e muito mais, dependendo do que você está exportando. Usar:
- Selecione o controle com os dados que deseja exportar.
- Aplique opções para que o controle contenha apenas os dados que você deseja exportar. (Isso pode, por exemplo, incluir "colunas de dados", "opções de filtro rápido" e "texto de filtro rápido")
- Clique no botão "Exportar" e agora você tem os dados desejados no formato desejado.
Preços TechSEO360
Existem essencialmente três estados diferentes:
- Ao fazer o download do software pela primeira vez, você obtém uma avaliação gratuita de 30 dias totalmente funcional.
- Quando a avaliação expira, ainda continua a funcionar no modo gratuito, o que permite rastrear 500 páginas em sites.
- Ao comprar, o preço da assinatura anual é de US $ 99 para uma licença de usuário único que pode ser usada no Windows e no Mac.
Você pode baixar a avaliação para Windows e Mac em https://TechSEO360.com .