TechSEO360クローラーガイド–サイトマップと技術的なSEO監査

公開: 2019-05-21

10年間、私がSearch EnginePeopleで行う技術的なSEOWebサイトの監査に使用するクローラーは、現在TechSEO360と呼ばれています。 隠された宝石; 費用効果が高く、効率的（あらゆるサイズのあらゆるサイトをクロールする）、将来を見据えた（例：他のそのようなクローラーツールよりも前にAJAXをサポートしていた）。 私は以前にこのWebサイトのクローラーについて書いたことがありますが、より包括的なオールインワンの投稿をしたいと思っていました。

TechSEO360の説明

TechSEO360は、次のようなハイライトを備えたテクニカルSEOクローラーです。

  • WindowsおよびMac用のネイティブソフトウェア。
  • 非常に大きなWebサイトをすぐにクロールできます。
  • それを必要とする人のための柔軟なクローラー構成。
  • 収集されたWebサイトデータの分析には、組み込みまたはカスタムのレポートを使用します（ただし、通常、すべてのデータをExcelにエクスポートし、その強力なフィルター、ピボット、自動フォーマットなどを使用します）。
  • ビジュアルサイトマップに加えて、画像、ビデオ、およびhreflangXMLサイトマップを作成します。

このガイドの構成

このガイドでは、このソフトウェアにある最も重要なSEO機能をすべてカバーします。

  • デモWebサイトhttps://Crawler.TechSEO360.comを使用しますすべての例で。
  • すべてのスクリーンショットはWindowsバージョンのものですが、Macバージョンには同じ機能とツールが含まれています。
  • TechSEO360をフリーモードで使用します。これは、最初の完全に機能する無料の30トライアルが終了したときに切り替えられる状態です。
  • 特に明記されていない限り、Webサイトのクロールと分析にはデフォルト設定を使用します。
  • まず、サイトクロールを構成する方法を示してから、技術的なSEO、レポート、サイトマップに進みます。

クロールの構成と開始

デフォルト設定を使用すると、ほとんどのサイトは正常にクロールします。 つまり、必要な構成は通常、分析するWebサイトのパス（インターネット、ローカルサーバー、またはローカルディスクのいずれにあるか）を入力することだけです。
クローラーを開始します
手動構成の簡単な代替手段として、基本設定を構成するさまざまな「クイックプリセット」を適用することもできます。 例は次のとおりです。

  • あなたはビデオサイトマップを作成したいと思っており、可能な限り最高のものを生成できることを確認したいと思っています。
  • 除外する必要のある多くのシンコンテンツURLを生成する特定のWebサイトCMSを使用します。

クローラー構成プリセット
設定に飛び込みたい場合は、次のようなクロールプロセスのほぼ完全な制御を表明できます。

クローラーエンジン

これは、HTTPリクエストが実行される方法のより深い内部をいじることができる場所です。 特に、クロール速度を上げる方法は次のとおりです。同時スレッドと同時接続の数を増やすだけです。コンピューターとWebサイトが追加の負荷を処理できることを確認してください。
クローラーエンジンの構成

ウェブマスターフィルター

クローラーがnoindex、nofollow、robots.txtなどにどの程度従うかを制御します。
Webサイトの指示に従う

分析フィルター

URLのコンテンツを分析するルールを構成します。 URLパターン、ファイル拡張子、MIMEタイプなど、複数の「除外」および「制限」フィルタリングオプションを利用できます。
クローラー分析フィルター

出力フィルター

「ウェブサイトのスキャン|分析フィルター」に似ていますが、代わりに、ウェブサイトのクロールが終了したときに削除するために「タグ付け」されるURLを制御するために使用されます。
クローラー出力フィルター
[ウェブサイトのスキャン|ウェブマスターフィルター]および[ウェブサイトのスキャン|出力フィルター]で除外されたURLは、[ウェブサイトのスキャン|クローラーオプション|ウェブサイトのスキャン後にウェブマスターと出力フィルターを適用する]オプションを選択すると、ウェブサイトのクロールが停止した後も保持および表示できます。 「停止」はオフになっています。 この組み合わせであなたは：

  • クローラーによって収集されたすべての情報を保持して、すべてを検査できるようにします。
  • HTMLおよびXMLサイトマップを作成するときにURLが含まれることは避けてください。
  • レポートやエクスポートを行う場合でも、適切な「タグ付け」を取得します。

クロールの進行状況

Webサイトのクロール中に、コンテンツが分析されたURLの数、リンクと参照が解決されたURLの数、およびキューで待機しているURLの数を示すさまざまな統計を確認できます。
ウェブサイトスキャンの進捗状況

クロール後のWebサイトの概要

サイトのクロールが終了すると、プログラムは左側にデータ列を含むビューを開きます。
見つかったURLの概要
URLを選択すると、右側に詳細が表示されます。
特定のURLに関する詳細
フルサイズの画面でどのように表示されるかを示すサムネイルは次のとおりです。
ウェブサイトのスキャン結果の完全な概要

左側

ここでは、Webサイトのスキャン中に見つかったURLと関連データを見つけることができます。 デフォルトでは、最も重要なデータ列のいくつかのみが表示されます。 この上に、5つのボタンとテキストボックスで構成されるパネルがあります。 それらの目的は次のとおりです。

＃1
事前定義された「クイックレポート」を含むドロップダウン。 これらを使用して、以下をすばやく構成できます。

  • 表示されるデータ列。
  • どの「クイックフィルターオプション」が有効になっているのか。
  • 表示される内容をさらに制限するアクティブな「クイックフィルターテキスト」。

事前定義されたクイックレポートから選択

＃2
ドロップダウンを使用して、Webサイト内のすべてのURLをフラットな「リスト」として表示するか「ツリー」として表示するかを切り替えます。
リスト形式とツリー形式のURLの表示を切り替える

＃3
表示するデータ列を構成するためのドロップダウン。
表示するデータ列を制御します

＃4
上記と比較すると、「パスにリダイレクト」データ列の表示を有効にすると、次のようになります。
オンにしたデータ列の可視性の例

＃5
ドロップダウンを使用して、選択する「クイックフィルターオプション」を構成します。
クイックフィルターオプション

＃6
すべての「クイックフィルター」機能をアクティブ/非アクティブにするオン/オフボタン。

＃7
表示される内容をさらにカスタマイズするために使用される「クイックフィルターテキスト」を含むボックス。

「クイックレポート」および「クイックフィルター」機能の使用方法については、後で例を挙げて説明します。

右側

ここで、左側に選択したURLの詳細を確認できます。 これには、追加の詳細を含む「リンク先」リスト、「リンク[内部]」リスト、「使用者」リスト、「ディレクトリの概要」などが含まれます。

詳細を調査するときにこれを使用する方法を理解するには、次の2つのシナリオを比較してください。

＃1
左側でURLhttp: //crawler.techseo360.com/noindex-follow.htmlを選択しました。データ列「URLflags」でクローラーが"[noindex][follow]"とタグ付けしていることもわかります。
noindexおよびフォローURLの概要
[リンク[内部]]タブの右側で、すべてのリンクがたどられていることを確認し、追加の詳細を表示できます。
noindexおよびフォローURLの詳細

＃2
左側でURLhttp://crawler.techseo360.com/nofollow.htmlを選択しました。データ列「URLflags」でクローラーが"[index][nofollow]"とタグ付けしていることもわかります。
インデックスとnofollowのURLの概要
[リンク[内部]]タブの右側で、リンクがたどられていないことを確認できます。
インデックスとnofollowURLの詳細

クイックレポートの使用

私が言ったように、私はこれらをあまり使用せず、すべてのデータ列を表示してからExcelにエクスポートすることを好みます。 しかし、他のツールでこの種の組み込みレポートが好きな人のために、利用可能な最も使用されているクイックレポートのいくつかを次に示します。

すべてのタイプのリダイレクト

リダイレクトチェーンをたどるのに必要な情報を含む、あらゆる種類のリダイレクトを表示する組み込みの「クイックレポート」：
URLリダイレクトレポート
基本的にこれには次のものがあります。

  1. データ列の可視性を最も適切なものに変更しました。
  2. フィルタテキストを次のように設定します。
    [httpredirect|canonicalredirect|metarefreshredirect] -[noindex] 200 301 302 307
  3. 有効化されたフィルター：
    • Only show URLs with all [filter-text] found in "URL state flags" column
    • Only show URLs with any filter-text-number found in "response code" column

これにより、URLは次の3つの条件を満たす必要があります。

  1. HTTPリダイレクト、正規命令、または「0秒」のメタリフレッシュのいずれかによって別のURLを指す必要があります。
  2. 「noindex」命令を含めることはできません。
  3. 応答コード200、301、302、または307のいずれかが必要です。

404お探しのページが見つかりませんでした

壊れたリンクやURL参照をすばやく特定する必要がある場合は、このレポートが適しています。 これにより、データ列「Linked.List」（「a」タグなど）、「Used.List」（「src」属性など）、「Redirected.List」が表示されます。
URLが見つかりませんレポート

Noindex

「noindex」命令ですべてのページをすばやく表示します。
URLnoindexレポート

重複するタイトル＃1

空のタイトルが重複しているページを含め、タイトルが重複しているすべてのページをすばやく表示します。
デフォルトのURL重複タイトルレポート

重複するタイトル＃2

他のフィルターによってオーバーライドされない場合、フィルターテキストは表示されているすべてのデータ列内のコンテンツと一致します。 ここでは、重複するタイトルのレポートを「例」という単語を含むものに絞り込みました。
フィルタリングされたURLの重複タイトルレポート

タイトル文字数

タイトル文字数で表示されるURLを制限します。 しきい値を制御でき、それより上か下かを制御できます。 説明についても同様です。
タイトル文字数

タイトルピクセル数

タイトルのピクセル数で表示されるURLを制限します。 しきい値を制御でき、それより上か下かを制御できます。 説明についても同様です。
タイトルピクセル数

画像と欠落しているAlt/アンカーテキスト

代替テキストなしで使用された、またはアンカーテキストなしでリンクされた画像URLのみを表示します。
代替テキストまたはアンカーテキストが欠落している参照を含む画像

その他のツール

ページ上の分析

デフォルトでは、Webサイトのクロール中にすべてのページで包括的なテキスト分析が実行されます。 このために見つかったオプションは、「ウェブサイトのスキャン|データ収集」にあり、次のような結果が得られます。
URLキーワードとコンテンツ分析の概要
ただし、Webサイト全体をクロールせずに、常に単一のページを分析することもできます。
URLキーワードとコンテンツ分析の詳細
[選択したページのスコアの合計]ボタンを使用すると、Webサイト全体でターゲットになっているキーワードとフレーズを確認できることに注意してください。

キーワードリスト

キーワードリストを組み合わせて包括的なクリーンアップを実行できる柔軟なキーワードリストビルダー。
キーワードリスト

サードパーティのオンラインツール

さらにツールが必要な場合は、自分でツールを追加したり、ドロップダウンだけでなくタブからアクセスできるツールを決定したりすることもできます。
サードパーティのオンラインツール
ソフトウェアは、選択されたURLまたは選択されたオンラインツールに類似したものを自動的に渡します。 各オンラインツールは、渡されるデータとその実行方法を定義するテキストファイルで構成されます。

サイトマップ

サイトマップファイルタイプ

13の異なるサイトマップファイル形式で、あなたのニーズがカバーされる可能性があります。 これには、XMLサイトマップ、ビデオサイトマップ、および画像サイトマップが含まれます。
サポートされているサイトマップファイル形式

XMLサイトマップとHreflang

Webサイトにhreflangマークアップが含まれていない場合でも、URLに言語文化や国への参照を含む部分が含まれている場合、TechSEO360は適切な代替hreflang情報を含むXMLサイトマップを生成できることがよくあります。
XMLサイトマップのhreflang

XML画像およびビデオサイトマップ

通常、「クイックプリセット」のいずれかを使用して、構成を高速化できます。

  • Googleビデオサイトマップ
  • Googleビデオサイトマップ（Webサイトには外部でホストされているビデオがあります）
  • Google画像サイトマップ
  • Google画像サイトマップ（ウェブサイトには外部でホストされている画像があります）

画像サイトマップと動画サイトマップの両方を作成する場合は、画像サイトマップに最適なすべての構成が含まれているため、動画の選択肢の1つを使用してください。

TechSEO360は、さまざまな方法を使用して、生成されたXMLサイトマップでどのページ、ビデオ、および画像が一緒に属しているかを計算します。これは、画像またはビデオが複数の場所で使用されている場合は注意が必要です。

HTMLサイトマップ

組み込みのHTMLテンプレートから選択するか、実際のHTML / CSS/JSコードやサイトマップの作成時に使用されるさまざまなオプションを含む独自のテンプレートを設計します。
カスタムHTMLサイトマップ

その他の機能

JavascriptとAJAXのサポート

「Webサイトのスキャン|クローラーオプション|Javascript内で検索してみてください」オプションをチェックすることにより、ファイルおよびURL参照のJavascriptコードを検索するようにTechSEO360を構成できます。

AJAX Webサイトを扱っている場合は、「Webサイトのスキャン|クローラーエンジン|デフォルトのパスタイプとハンドラー」でAJAX対応のソリューションに切り替えることができます。

カスタムテキストおよびコード検索

多くの場合、ウェブサイト全体でテキストとコードを検索すると便利です。たとえば、古いGoogleAnalyticsコードなどを使用してページを検索する場合などです。

「ウェブサイトのスキャン|データ収集」|で複数の検索を設定できますカスタム文字列、コード、テキストパターンを検索する」。

結果はデー​​タ列「ページカスタム検索」に表示され、各検索のカウントが表示されます。オプションで、パターンマッチングから抽出されたコンテンツが表示されます。

計算された重要度スコア

TechSEO360は、内部リンクと内部リダイレクトに基づいてすべてのページの重要度を計算します。

これは、データ列「重要度スコアのスケーリング」の表示を有効にすることで確認できます。

同様のコンテンツの検出

ページが類似しているが、完全に重複していない場合があります。 これらを見つけるには、スキャンする前に、オプション「ウェブサイトのスキャン|データ収集|拡張データの追跡と保存|すべてのページのキーワード分析の実行」を有効にすることができます。

結果を表示すると、データ列「ページコンテンツの重複（視覚的ビュー）」の表示が有効になり、コンテンツのグラフィック表現が得られます。

コマンドラインインターフェイス（CLI）

試用版または有料版を使用している場合は、コマンドラインを使用できます。例を次に示します。
"techseo.exe" -exit -scan -build ":my-project.ini" @override_rootpath=http://example.com@
上記は、すべてのオプションが定義されたプロジェクトファイルを渡し、Webサイトのドメインを上書きし、TechSEO360に完全なクロール、サイトマップのビルドを実行して終了するように指示します。

データのインポート

「ファイル|インポート...」機能はインテリジェントに機能し、次の目的で使用できます。

  • URLリストをインポートします。 インポートされたURLが混合ドメインからのものである場合、TechSEO360はプライマリドメインがあるかどうかを判断し、[内部]タブと[外部]タブに適切にインポートします。
  • TechSEO360は、既存のデータに代わりにコンテンツが追加される他のさまざまなデータソースを検出することもできます。
    • Apacheサーバーは、GoogleBot「[googlebot]」がアクセスしたURLを「タグ付け」し、内部でリンク/使用されていない「[orphan]」のURLを検出します。
    • Googleウェブマスターツールは、Googleの「[googleindexed]」によってインデックス付けされたURLと、クリック数と表示回数のデータを「タグ付け」にエクスポートします。
    • バックリンクスコアデータの壮大なCSVエクスポート。

    上記の「[...]」は、「クイックフィルターテキスト」で使用して、さらにカスタマイズされたレポートを生成できます。

データのエクスポート

「ファイル|エクスポート...」機能は、エクスポートする内容に応じて、データをCSV、Excel、HTMLなどにエクスポートできます。 使用するには：

  • エクスポートするデータを含むコントロールを選択します。
  • オプションを適用して、エクスポートするデータのみがコントロールに含まれるようにします。 （これには、たとえば、「データ列」、「クイックフィルターオプション」、「クイックフィルターテキスト」を含めることができます）
  • [エクスポート]ボタンをクリックすると、必要な形式のデータが得られます。

TechSEO360の価格

基本的に3つの異なる状態があります。

  1. ソフトウェアを最初にダウンロードすると、完全に機能する30日間の無料トライアルが提供されます。
  2. 試用期間が終了しても、無料モードで引き続き機能し、Webサイトで500ページをクロールできます。
  3. WindowsとMacの両方で使用できるシングルユーザーライセンスの年間サブスクリプション価格は99ドルです。

WindowsとMacの試用版はhttps://TechSEO360.comからダウンロードできます。 。