Сравнение 4 ведущих поставщиков API обратных ссылок (исследование 1 миллиона доменов)

Опубликовано: 2021-12-13

В течение нескольких лет SEO PowerSuite работает над улучшением своего индекса обратных ссылок, используемого API обратных ссылок SEO PowerSuite и инструментом обратных ссылок SEO SpyGlass. В июне 2021 года вышло масштабное обновление инфраструктуры, в результате которого скорость сканирования увеличилась в три раза.

Чтобы лучше понять наш прогресс и увидеть, где мы находимся, мы решили провести внутренний анализ ведущих поставщиков баз данных обратных ссылок — Ahrefs, SEO PowerSuite, Semrush и Majestic.

Мы описали все основные результаты сравнения здесь, но более подробную информацию можно найти на этой странице.

Отказ от ответственности . Для этого исследования мы приобрели ключи API у каждого из сравниваемых поставщиков (всего на сумму 6200 долларов США). В этом отчете SEO PowerSuite приложил файлы необработанных данных для справки. Чтобы убедиться, что данные не были каким-либо образом изменены, вы можете обратиться к упомянутым компаниям и приобрести у них аналогичную статистику, чтобы провести собственное сравнение.

Методология

Для проведения этого анализа мы решили использовать набор данных Majestic Million.

Почему этот набор данных? Majestic Million — это список миллионов лучших сайтов в Интернете, основанный на количестве ссылок (также называемых ссылками) с других веб-сайтов. Вот почему каждый из этих доменов должен иметь достаточное количество обратных ссылок, чтобы сравнение было статистически значимым.

Итак, мы взяли этот набор данных и проанализировали результаты следующих поставщиков индексов обратных ссылок:

SEO PowerSuite

Индекс обратных ссылок SEO PowerSuite насчитывает 3,6 триллиона внешних обратных ссылок и 264 миллиона проиндексированных доменов.

Стоимость проверки статистики обратных ссылок для 1 млн доменов: 899 долларов США.

Арефс

Согласно официальному сайту, Ahrefs имеет 3,2 триллиона внешних обратных ссылок и 193 миллиона проиндексированных доменов.

Стоимость проверки статистики обратных ссылок для 1 млн доменов: 2000 долларов США.

Семруш

Semrush утверждает, что в его индексе более 43 триллионов обратных ссылок и 1,6 миллиарда доменов.

Стоимость проверки статистики обратных ссылок для 1 млн доменов: 2500 долларов США.

величественный

Мы не нашли никакой информации о количестве обратных ссылок и ссылающихся доменов в индексе обратных ссылок Majestic. Единственная статистика, доступная на официальном веб-сайте, заключается в том, что в индексе обратных ссылок Fresh было просканировано 434 миллиарда URL-адресов и найдено более 1 триллиона URL-адресов.

Стоимость проверки статистики обратных ссылок для 1 млн доменов: 800 долларов США.

После настройки учетных записей и проверки данных для одного миллиона доменов мы рассчитали

  • общие выигрыши по ссылкам доменов;
  • общий выигрыш по обратным ссылкам;
  • как часто каждый из вендоров занимал 1 -ю , 2- ю , 3- ю и 4 -ю позицию в сравнении (по ссылкам и ссылающимся доменам);
  • и еще несколько показателей, описанных на этой странице.

Исследование проводилось осенью 2021 года.

Результаты

Кто выигрывает по количеству ссылающихся доменов?

Во-первых, мы рассмотрели количество ссылающихся доменов, возвращенных каждым провайдером, показатель, который позволяет нам оценить покрытие индекса обратных ссылок.

Когда дело дошло до наибольшего количества зарегистрированных доменов с обратными ссылками, SEO PowerSuite лидировал с 44,4% побед:

Индекс обратных ссылок от Semrush занял второе место с более чем 36,3% побед. Ahrefs получил 14% побед, а Majestic — 5,3%.

Пожалуйста, имейте в виду, что на приведенном выше графике показано количество побед. Вот как выглядело количество зарегистрированных ссылающихся доменов в абсолютных цифрах:

В чем разница между победами и абсолютными числами? Вот простой пример — давайте представим, что мы проверили, сколько ссылающихся доменов каждая из проанализированных баз данных сообщила для одного и того же URL:

  • SEO PowerSuite: 100 ссылающихся доменов
  • Ahrefs: 101 ссылающийся домен
  • Semrush: 99 ссылающихся доменов
  • Majestic: 100 ссылающихся доменов

В этом случае Ahrefs получит «очко» за свою «победу». Затем мы повторяем процесс для оставшихся 999 999 доменов.

???? Победитель в категории ссылающихся доменов: SEO PowerSuite

Кто выигрывает по количеству обратных ссылок?

По общему количеству обратных ссылок Semrush вышел на первое место с 47,65% побед. За ним следуют SEO PowerSuite (21,38% побед) и Ahrefs (16,25% побед). Majestic показал наименьшее количество обратных ссылок в этом прогоне и получил 14,73% побед.

Всего обратных ссылок в абсолютных числах:

???? Победитель в категории ссылающихся обратных ссылок: Semrush

Как распределились позиции в сравнении

Дополнительно мы подсчитали, как часто каждый из вендоров занимал 1 -ю , 2- ю , 3- ю и 4 -ю позицию в сравнении.

Вот как распределились позиции по ссылающимся доменам:

И вот как поставщики оценили обратные ссылки:

Важные факторы, о которых следует помнить

Все тесты имеют ограничения, и этот не исключение. Достаточно сложно провести исследование баз данных обратных ссылок и сделать абсолютно непредвзятый вывод.

Ниже мы обрисовали в общих чертах несколько важных аспектов, которые вы должны иметь в виду, когда читаете любое исследование индекса обратных ссылок.

Различные типы индексов обратных ссылок

Каждый индекс обратных ссылок уникален, поскольку каждая компания использует свой подход к сканированию, хранению и подсчету данных обратных ссылок. Таким образом, при любом сравнении индекса обратных ссылок у вас есть большой недостаток анализа баз данных, которые по своей сути не равны.

В нашем исследовании мы получили доступ к данным через API, которые предположительно возвращают результаты из следующих индексов:

  • Индекс Ahrefs Live (все ссылки, которые в настоящее время активны, ссылка считается активной до тех пор, пока не будет повторно просканирована и не будет найдена в противном случае)
  • Индекс Semrush Fresh (все ссылки просканированы за последние шесть месяцев)
  • Индекс Majestic Fresh (все ссылки просканированы за последние четыре месяца)
  • Индекс обратных ссылок SEO PowerSuite включает все активные ссылки (аналогично Ahrefs, ссылка в нашем индексе считается активной, пока мы не просканируем ее повторно и не увидим обратное).

В отличие от Ahrefs и SEO PowerSuite, Semrush и Majestic возвращают как живые, так и мертвые обратные ссылки, и в большинстве случаев это может иметь огромное значение в количестве обратных ссылок.

Например, если вы проверите профиль обратных ссылок Amazon.com в Semrush, вы увидите, что этот домен имеет в общей сложности более 18 миллиардов обратных ссылок (это то, что вы также получаете через API). Но если вы переключитесь в режим Активные ссылки, вы увидите всего семь миллионов ссылок:

Хотя индекс Ahrefs включает ссылки, которые в настоящее время активны, вы все же можете обнаружить некоторые несоответствия. API Ahrefs возвращает 114 миллионов обратных ссылок для Ahrefs.com, это близко к числу, которое мы видим на сводной панели, но если мы переключимся на отчет по обратным ссылкам, мы увидим только 35 миллионов ссылок.

Вероятно, этому несоответствию есть хорошее объяснение (некачественные или потерянные обратные ссылки отфильтрованы?), но оно приводит нас к двум важным выводам:

  1. Мы не можем быть на 100 % уверены в том , какой тип индекса обратных ссылок используется API.
  2. Мы не можем исключить этот тип несоответствия из нашего исследования.

Различные способы подсчета ссылок

Еще одна проблема, с которой вы столкнетесь при сравнении индексов обратных ссылок, заключается в том, что ссылки учитываются по-разному. Например, вы можете рассчитать повторяющиеся ссылки на странице как одну ссылку или как несколько ссылок. То же самое верно для редиректов, канонических ссылок и т. д. Все эти вещи повлияют на общий расчет, и поэтому мы должны относиться к каждому сравнению индекса обратных ссылок с долей скептицизма.

Различные способы записи IP

Точно так же возникает вопрос о том, как поставщики API обратных ссылок записывают данные IP. Большинство провайдеров учитывают только самый последний IP-адрес, который они нашли для обратной ссылки, что означает, что у них есть один зарегистрированный IP-адрес для каждого домена. Но Semrush, похоже, записывает каждый IP-адрес, обнаруженный за последние шесть месяцев; таким образом, у них может быть несколько десятков IP-адресов, записанных для одного и того же домена.

Статистика IP/подсети включена в файл необработанных данных, и изначально мы планировали использовать эти цифры в отчете. Однако, когда мы заметили эту важную разницу в расчете IP, мы посчитали, что эту статистику нельзя использовать для значимых выводов.

Различное понимание ссылающихся доменов

Домен есть домен, верно? Наш анализ показывает, что все немного сложнее, когда мы говорим об индексах обратных ссылок.

По данным Verisign, «второй квартал 2021 года завершился с 367,3 миллионами доменов во всех доменах верхнего уровня».

И хотя многие поставщики данных имеют соответствующее количество проиндексированных доменов (Ahrefs — 193,4 миллиона ссылающихся доменов, SEO PowerSuite — 264 миллиона доменов), Semrush утверждает, что у него очень сомнительные 1,6 миллиарда ссылающихся доменов.

Следовательно, то, что Semrush считает уникальным доменом, кажется отличным от общепринятого представления.

Подводя итог, можно сказать, что в этом типе сравнения нет победителя или проигравшего из-за всех упомянутых факторов и различных подходов.

Но мы считаем, что чем больше экспериментов мы проведем, тем более прозрачными станут поставщики индексов обратных ссылок в отношении своих данных в долгосрочной перспективе. А это значит, что корпоративные пользователи и пользователи API будут лучше понимать, за что они платят.

Если вы заинтересованы в тестировании нашего API обратных ссылок для своих SEO-сервисов и приложений (или в проведении собственного независимого анализа), отправьте нам сообщение по адресу [email protected] , и мы предоставим вам бесплатную пробную версию.