Руководство по сканеру TechSEO360 — карты сайта и технические SEO-аудиты

Вот уже 10 лет краулер, который я использую для технического SEO-аудита веб-сайтов, который я провожу в Search Engine People, сейчас называется TechSEO360. Скрытый драгоценный камень; рентабельный, эффективный (сканирует любой сайт любого размера), ориентированный на будущее (например, имел поддержку AJAX до того, как это сделали другие подобные инструменты для сканирования). Я уже писал об этом сканере веб-сайтов раньше, но хотел сделать более подробный пост «все в одном».

Объяснение TechSEO360

TechSEO360 — это технический SEO-краулер, основные моменты которого:

• Родное программное обеспечение для Windows и Mac.
• Может сканировать очень большие веб-сайты из коробки.
• Гибкая настройка сканера для тех, кому это нужно.
• Используйте встроенные или настраиваемые отчеты для анализа собранных данных веб-сайта (хотя я обычно полагаюсь на экспорт всех данных в Excel и использование его мощных фильтров, поворота, автоматического форматирования и т. д.).
• Создавайте XML-карты сайта для изображений, видео и hreflang в дополнение к визуальным картам сайта.

Как устроено это руководство

В этом руководстве будут рассмотрены все наиболее важные функции SEO, имеющиеся в этом программном обеспечении.

• Мы будем использовать демо-сайт https://Crawler.TechSEO360.com. во всех наших примерах.
• Все скриншоты будут из версии для Windows, но версия для Mac содержит те же функции и инструменты.
• Мы будем использовать TechSEO360 в его бесплатном режиме, который является состоянием, которое переключается, когда заканчивается первоначальная полнофункциональная бесплатная пробная версия 30.
• Мы будем использовать настройки по умолчанию для сканирования и анализа веб-сайта, если не указано иное.
• Мы начнем с демонстрации того, как настроить сканирование сайта, а затем перейдем к техническому SEO, отчетам и картам сайта.

Настройка и запуск сканирования

Большинство сайтов будут нормально сканироваться при использовании настроек по умолчанию. Это означает, что единственной необходимой конфигурацией, как правило, будет ввод пути к веб-сайту, который вы хотите проанализировать, независимо от того, находится ли он в Интернете, на локальном сервере или на локальном диске.

В качестве простой альтернативы ручной настройке также можно применять различные «быстрые предустановки», которые настраивают основные параметры. Примеры могут быть:

• Вы знаете, что хотите создать карту сайта для видео и хотите убедиться, что вы можете создать наилучшее из возможных.
• Вы используете определенную CMS веб-сайта, которая генерирует множество URL-адресов тонкого контента, которые следует исключить.

Для тех, кто хочет погрузиться в настройки, вы можете установить почти полный контроль над процессом сканирования, включая:

Гусеничный двигатель

Здесь вы можете разобраться с более глубокими внутренними механизмами выполнения HTTP-запросов. В частности, вы можете увеличить скорость сканирования: просто увеличьте количество одновременных потоков и одновременных подключений — просто убедитесь, что ваш компьютер и веб-сайт могут справиться с дополнительной нагрузкой.

Фильтры для веб-мастеров

Контролируйте, в какой степени сканер должен подчиняться noindex, nofollow, robots.txt и подобным.

Фильтры анализа

Настройте правила, для которых URL-адреса должны анализироваться. Доступно несколько вариантов фильтрации «исключить» и «ограничить», включая шаблоны URL, расширения файлов и типы MIME.

Выходные фильтры

Аналогичен «Сканировать веб-сайт | Фильтры анализа», но вместо этого используется для управления тем, какие URL-адреса «помечаются» для удаления после завершения сканирования веб-сайта.

URL-адреса, исключенные параметрами, расположенными в пунктах «Сканировать веб-сайт | Фильтры для веб-мастеров» и «Сканировать веб-сайт | Фильтры вывода», могут сохраняться и отображаться после остановки сканирования веб-сайта, если выбран параметр «Сканировать веб-сайт | Параметры сканера | Применить фильтры для веб-мастеров и вывода после сканирования веб-сайта». остановки" не отмечен. С помощью этой комбинации вы:

• Сохраняйте всю информацию, собранную сканером, чтобы вы могли все проверить.
• По-прежнему избегайте включения URL-адресов при создании карт сайта в формате HTML и XML.
• По-прежнему получайте правильные «теги» для отчетов и экспорта.

Прогресс сканирования

Во время обхода веб-сайта вы можете увидеть различную статистику, которая показывает, сколько URL-адресов было проанализировано, сколько ссылок и ссылок было разрешено и сколько URL-адресов все еще ожидает в очереди.

Обзор веб-сайта после сканирования

После завершения обхода сайта программа открывает представление со столбцами данных слева:

Если вы выберете URL-адрес, вы сможете просмотреть дополнительные сведения справа:

Вот миниатюра того, как это может выглядеть на полноразмерном экране:

Левая сторона

Здесь вы найдете URL-адреса и связанные с ними данные, найденные во время сканирования веб-сайта. По умолчанию отображаются только несколько наиболее важных столбцов данных. Над ним находится панель, состоящая из пяти кнопок и текстового поля. Их цели:

#1
Выпадающий список с предопределенными «быстрыми отчетами». Их можно использовать для быстрой настройки:

• Какие столбцы данных видны.
• Какие «параметры быстрого фильтра» включены.
• Активный «текст быстрого фильтра» для дальнейшего ограничения того, что отображается.

#2
Раскрывающийся список для переключения между отображением всех URL-адресов на веб-сайте в виде плоского «списка» и в виде «дерева».

#3
Раскрывающийся список для настройки видимых столбцов данных.

#4
По сравнению с приведенным выше, включение видимости столбца данных «Перенаправляет на путь» выглядит так:

#5
Раскрывающийся список для настройки выбранных «параметров быстрого фильтра».

#6
Кнопка включения/выключения для включения/выключения всех функций «быстрых фильтров».

#7
Поле, содержащее «текст быстрого фильтра», который используется для дальнейшей настройки того, что отображается.

Как использовать функциональные возможности «быстрых отчетов» и «быстрых фильтров» будет объяснено позже с примерами.

Правая сторона

Здесь вы можете увидеть дополнительные сведения о выбранном URL-адресе слева. Это включает в себя список «Связано» с дополнительными сведениями, список «Ссылки [внутренние]», список «Используется», «Сводка каталога» и многое другое.

Чтобы понять, как использовать это при изучении деталей, сравните следующие два сценария.

#1
Слева мы выбрали URL http://crawler.techseo360.com/noindex-follow.html — мы также можем видеть, что краулер пометил его тегом "[noindex][follow]" в столбце данных «URL flags»:

Справа внутри вкладки «Ссылки [внутренние]» мы можем подтвердить, что все ссылки были пройдены, в том числе и просмотреть дополнительные сведения .

#2
Слева мы выбрали URL-адрес http://crawler.techseo360.com/nofollow.html — мы также можем видеть, что краулер пометил его тегом "[index][nofollow]" в столбце данных «Флаги URL».:

Справа внутри вкладки «Ссылки [внутренние]» мы можем подтвердить, что по ссылкам не переходили.

Использование быстрых отчетов

Как я уже сказал, я не часто использую их, предпочитая показывать все столбцы данных, а затем экспортировать в Excel. Но для тех, кто любит такие встроенные отчеты в других инструментах, вот некоторые из наиболее часто используемых быстрых отчетов:

Все виды редиректов

Встроенный «быстрый отчет» для отображения всех видов перенаправлений, включая информацию, необходимую для отслеживания цепочек перенаправлений:

По существу это имеет:

1. Изменена видимость столбцов данных на наиболее подходящие.
2. Установите текст фильтра:
   [httpredirect|canonicalredirect|metarefreshredirect] -[noindex] 200 301 302 307
3. Активированные фильтры:
   • Only show URLs with all [filter-text] found in "URL state flags" column
   • Only show URLs with any filter-text-number found in "response code" column

При этом URL-адрес должен соответствовать следующим трем условиям для отображения:

1. Должен указывать на другой URL-адрес с помощью перенаправления HTTP, канонической инструкции или метаобновления «0 секунд».
2. Не может содержать инструкцию «noindex».
3. Должен иметь код ответа 200, 301, 302 или 307.

404 Не Найдено

Если вам нужно быстро определить неработающие ссылки и URL-ссылки, этот отчет — хороший выбор. При этом столбцы данных «Linked.List» (например, тег «a»), «Used.List» (например, атрибут «src») и «Redirected.List» становятся видимыми.

без индекса

Быстро просмотреть все страницы с инструкцией «noindex».

Дублирующиеся заголовки №1

Быстро просмотреть все страницы с повторяющимися заголовками, в том числе с повторяющимися пустыми заголовками.

Дублирующиеся заголовки #2

Если это не переопределено другими фильтрами, текст фильтра сопоставляется с содержимым во всех видимых столбцах данных. Здесь мы сузили наш отчет о повторяющихся заголовках до тех, которые содержат слово «пример».

Количество символов в заголовке

Ограничьте отображаемые URL-адреса количеством символов заголовка. Вы можете контролировать порог и если выше или ниже. Аналогично имеется для описаний.

Количество пикселей заголовка

Ограничьте отображаемые URL-адреса количеством пикселей заголовка. Вы можете контролировать порог и если выше или ниже. Аналогично имеется для описаний.

Изображения и отсутствующий текст Alt / Anchor

Показывать только те URL-адреса изображений, которые либо использовались без альтернативного текста, либо были связаны без какого-либо анкорного текста.

Другие инструменты

Анализ на странице

По умолчанию выполняется комплексный анализ текста на всех страницах при сканировании сайта. Опция, найденная для этого, находится в «Сканировать веб-сайт | Сбор данных», что дает такие результаты:

Однако вы также всегда можете анализировать отдельные страницы, не сканируя весь сайт:

Обратите внимание, что вы можете увидеть, какие ключевые слова и фразы используются для всего веб-сайта, если вы используете кнопку «суммировать баллы для выбранных страниц».

Списки ключевых слов

Гибкий конструктор списков ключевых слов, который позволяет комбинировать списки ключевых слов и выполнять комплексную очистку.

Сторонние онлайн-инструменты

Если вам нужно больше инструментов, вы можете добавить их самостоятельно и даже решить, какие из них должны быть доступны на вкладках, а не только в раскрывающемся списке.

Программное обеспечение автоматически перейдет по выбранному URL-адресу или аналогичному выбранному онлайн-инструменту. Каждый онлайн-инструмент настраивается с помощью текстового файла, который определяет, какие данные передаются и как это делается.

карты сайта

Типы файлов карты сайта

13 различных форматов файлов карты сайта, скорее всего, удовлетворят ваши потребности. Сюда входят карты сайта в формате XML, карты сайта для видео и карты сайта для изображений.

XML-файлы Sitemap и Hreflang

Даже если на вашем веб-сайте нет разметки hreflang, TechSEO360 часто может генерировать XML-карты сайта с соответствующей альтернативной информацией hreflang, если ваши URL-адреса содержат части, включающие ссылку на языковую культуру или страну.

XML-файлы Sitemap для изображений и видео

Обычно вы можете ускорить настройку, используя один из «быстрых пресетов»:

• Карта сайта Google для видео
• Карта сайта Google для видео (на веб-сайте есть видео, размещенные на внешнем хостинге)
• Карта сайта изображений Google
• Карта сайта изображений Google (на веб-сайте есть изображения, размещенные на внешнем хостинге)

Если вы собираетесь создавать карты сайта для изображений и видео, используйте один из вариантов видео, поскольку они также включают в себя все настройки, оптимальные для файлов Sitemap для изображений.

TechSEO360 использует различные методы для расчета того, какие страницы, видео и изображения должны быть связаны друг с другом в сгенерированных XML-картах сайта, что может быть непросто, если изображение или видео используются в нескольких местах.

HTML-файлы Sitemap

Выберите один из встроенных шаблонов HTML или создайте свой собственный, включая фактический код HTML/CSS/JS и различные параметры, используемые при создании карты сайта.

Другая функциональность

Поддержка Javascript и AJAX

Вы можете настроить TechSEO360 для поиска в коде Javascript ссылок на файлы и URL-адреса, установив флажок «Сканировать веб-сайт | Параметры сканера | Попробуйте выполнить поиск внутри Javascript».

Если вы имеете дело с веб-сайтом AJAX, вы можете переключиться на решение с поддержкой AJAX в разделе «Сканировать веб-сайт | Механизм сканирования | Тип пути и обработчик по умолчанию».

Пользовательский поиск текста и кода

Часто бывает полезно искать текст и код по всему веб-сайту, например, чтобы найти страницы, использующие старый код Google Analytics или аналогичный.

Вы можете настроить множественный поиск в разделе «Сканирование веб-сайта | Сбор данных» | Поиск пользовательских строк, кода и текстовых шаблонов».

Результаты отображаются в столбце данных «Пользовательские поиски страницы» с указанием количества для каждого поиска — возможно, с содержанием, извлеченным из сопоставления с образцом.

Расчетная оценка важности

TechSEO360 вычисляет важность всех страниц на основе внутренних ссылок и внутренних перенаправлений.

Вы можете увидеть это, включив видимость столбца данных «Масштабируемая оценка важности».

Обнаружение похожего контента

Иногда страницы похожи, но не являются точными копиями. Чтобы найти их, вы можете включить опцию «Сканировать веб-сайт | Сбор данных | Отслеживание и хранение расширенных данных | Выполнить анализ ключевых слов для всех страниц» перед сканированием.

При просмотре результатов включите видимость столбца данных «Дубликаты содержимого страницы (визуальное представление)», и вы получите графическое представление содержимого.

Интерфейс командной строки (CLI)

Если вы используете пробную или платную версию, вы можете использовать командную строку — вот пример:
"techseo.exe" -exit -scan -build ":my-project.ini" @override_rootpath=http://example.com@
Приведенный выше код передает файл проекта со всеми определенными параметрами, переопределяет домен веб-сайта и дает указание TechSEO360 выполнить полное сканирование, создать карты сайта и выйти.

Импорт данных

Функция «Файл | Импорт…» работает разумно и может использоваться для:

• Импортировать списки URL-адресов. Если импортированные URL-адреса относятся к смешанным доменам, TechSEO360 определит, существует ли основной домен, и соответствующим образом импортирует их на вкладки «Внутренние» и «Внешние».
• TechSEO360 также может обнаруживать различные другие источники данных, контент которых вместо этого будет добавлен к существующим данным:
  • Сервер Apache регистрирует «пометку» URL-адресов, посещенных роботом GoogleBot, «[googlebot]» и определяет URL-адреса, которые не связаны внутренними ссылками или не используются «[orphan]».
  • Инструменты Google для веб-мастеров экспортируют в «теги» URL-адреса, проиндексированные Google «[googleindexed]», а также данные о кликах и показах.
  • Majestic CSV экспортирует данные о количестве обратных ссылок.

  Приведенный выше «[...]» может использоваться «текстом быстрых фильтров» для создания дополнительных настраиваемых отчетов.

Экспорт данных

Функция "Файл | Экспорт..." позволяет экспортировать данные в CSV, Excel, HTML и другие форматы в зависимости от того, что вы экспортируете. Использовать:

• Выберите элемент управления с данными, которые вы хотите экспортировать.
• Примените параметры, чтобы элемент управления содержал только те данные, которые вы хотите экспортировать. (Это может, например, включать «столбцы данных», «параметры быстрого фильтра» и «текст быстрого фильтра»).
• Нажмите кнопку «Экспорт», и теперь у вас есть нужные данные в нужном формате.

TechSEO360 Цены

По сути, есть три разных состояния:

1. При первой загрузке программного обеспечения вы получаете полнофункциональную 30-дневную бесплатную пробную версию .
2. По истечении пробного периода он по-прежнему продолжает работать в бесплатном режиме, что позволяет сканировать 500 страниц веб-сайтов.
3. При покупке годовой подписки цена составляет 99 долларов США за однопользовательскую лицензию, которую можно использовать как на Windows, так и на Mac.

Вы можете загрузить пробную версию для Windows и Mac по адресу https://TechSEO360.com. .