考えてみてください。なぜウェブサイトを作るのですか？潜在的な顧客や観客があなたを簡単に見つけるため、そして競争の中で際立つためですよね？あなたのコンテンツは実際にどのようにして見られるのでしょうか？サイト上のすべてのコンテンツが常に見られているわけではありませんよね？
ウェブサイト上のすべてのページを見つける必要がある理由
価値のある情報を含むページが実際に見られるべきにもかかわらず、全く見られない可能性があります。もしそれがあなたのウェブサイトに当てはまるなら、あなたはおそらく大量のトラフィックや潜在的な顧客を失っているでしょう。
また、めったに見られないページもあり、見られたとしても、ユーザー/訪問者/潜在顧客は行き止まりにぶつかり、他のページにアクセスできません。彼らはただ去ることしかできません。これは、決して見られないページと同じくらい悪いです。Googleは高い直帰率に注目し始め、あなたのサイトの信頼性を疑問視します。これにより、あなたのウェブページのランキングはどんどん下がっていきます。
あなたのコンテンツが実際に見られるようになる方法
ユーザーや訪問者、潜在的な顧客にあなたのコンテンツを見てもらうためには、クローリングとインデキシングが行われ、かつ頻繁に行われる必要があります。クローリングとインデキシングとは何ですか？
クローリングとインデックスとは何ですか？
Googleがユーザー/訪問者/潜在顧客にあなたのコンテンツを表示するためには、まずそのコンテンツが存在することを知る必要があります。これはクローリングを通じて行われます。これは、検索エンジンが新しいコンテンツを探し、既存のコンテンツのデータベースに追加するプロセスです。
クローリングを可能にするものは何ですか？
- "リンク"
- "サイトマップ"
- "コンテンツ管理システム (CMS - Wix, Blogger)"
リンク：
既存のページから別の新しいページへリンクを追加するとき、例えばアンカーテキストを介して、検索エンジンのボットやスパイダーは新しいページをたどり、将来の参照のためにGoogleの「データベース」に追加することができます。
サイトマップ：
これらはXMLサイトマップとしても知られています。ここでは、サイトの所有者が自分のページのリストを検索エンジンに提出します。ウェブマスターは、最終的な変更日などの詳細を含めることもできます。その後、ページはクロールされて「データベース」に追加されます。しかし、これはリアルタイムではありません。新しいページやコンテンツは、サイトマップを提出してすぐにクロールされるわけではありません。クロールは数日後や数週間後に行われることがあります。
ほとんどのサイトはコンテンツ管理システム（CMS）を使用してこれらを自動生成するので、それはちょっとしたショートカットです。サイトがサイトマップを生成しない唯一の時は、あなたがウェブサイトを一から作成した場合です。
CMS:
もし貴方のウェブサイトがBloggerやWixのようなCMSによって動かされているなら、ホスティングプロバイダー（この場合CMS）は「検索エンジンに対して、ウェブサイト上の新しいページやコンテンツをクロールするように伝えることができます。」
プロセスを助けるための情報はこちらです：
インデックスとは何ですか？
インデックスとは簡単に言うと、クロールされたページやコンテンツをGoogleの「データベース」に追加することで、実際にはGoogleのインデックスと呼ばれています。
コンテンツとページがインデックスに追加される前に、検索エンジンのボットはページとその中のコンテンツを理解しようと努力します。彼らはさらに、画像やビデオのようなファイルをカタログ化することまで進めます。
これが、ウェブマスターとして、オンページSEOが便利な理由です（ページタイトル、見出し、altテキストの使用など）。ページにこれらの要素があると、Googleがあなたのコンテンツを「理解」し、適切にカタログ化し、正しくインデックスするのが容易になります。
robots.txtの使用
時には、いくつかのページをインデックスに含めたくない場合や、ウェブサイトの一部を含めたくない場合があります。検索エンジンボットに指示を出す必要があります。このような指示を使用することで、クロールされるページが少なくなるため、クローリングとインデックス作成が容易になります。robots.txtについてもっと学ぶ。
「noindex」の使用
検索結果に表示させたくないページがある場合は、この他のディレクティブも使用できます。noindexについてもっと学びましょう。
noindexを追加し始める前に、サイトをクリーンアップし、クローラーがサイトを適切にクロールしてインデックスを作成しやすくするために、すべてのページを特定することが望ましいです。
孤立ページとは何ですか？
孤立ページとは、あなたのサイトの他のページからリンクがないページのことを指します。これにより、これらのページが検索エンジンのボットによって見つけられることはほぼ不可能になり、さらにユーザーによって見つけられることもありません。ボットがページを見つけることができない場合、それらは検索結果に表示されないため、ユーザーが見つける可能性はさらに低くなります。
孤立ページはどのようにして発生するのか？
孤立ページは、コンテンツをプライベートに保とうとする試み、構文エラー、タイポ、重複したコンテンツ、またはリンクされていない期限切れのコンテンツから生じる可能性があります。こちらがその他の原因です：
- A/Bテストに使用され、非アクティブ化されなかったテストページ
- 例えば、クリスマス、感謝祭、またはイースターに基づいたランディングページ
- サイト移行の結果として「忘れられた」ページ
行き止まりのページはどうですか？
孤立ページとは異なり、行き止まりページはウェブサイトの他のページからのリンクはあるものの、他の外部サイトへのリンクはありません。行き止まりページの例には、サンキューページ、アクションを促すものがないサービスページ、ユーザーが検索オプションを使って何かを検索したときの「何も見つかりません」ページなどがあります。
行き止まりのページがあると、訪問者はサイトを離れるか、前のページに戻るかの2つの選択肢しかありません。つまり、これらのページがウェブサイトの「メインページ」である場合、かなりのトラフィックを失っていることになります。さらに悪いことに、ユーザーはイライラしたり、混乱したり、次に「何をすればいいのか」と疑問に思ったりします。
ユーザーがあなたのサイトを離れるときに、イライラしたり、混乱したり、何かネガティブな感情を持っている場合、彼らは二度と戻ってくることはないでしょう。ちょうど不満を持った顧客が再びそのブランドから購入することはないのと同じです。
行き止まりページはどこから来るのか？
行き止まりページは、アクションを促す呼びかけがないページの結果です。ここでの例は、会社が提供するサービスについて言及しているが、それらのサービスへのリンクがない「会社概要」ページです。読者があなたの会社を動かすもの、保持している価値観、会社がどのように設立されたか、そして提供しているサービスを理解し、既に興味を持っている場合、次に何をすべきかを伝える必要があります。
シンプルなコールトゥアクションボタン「私たちのサービスを見る」が役立ちます。ボタンをクリックしたときに実際にサービスページが開くようにしてください。ユーザーが404エラーに遭遇してイライラすることがないようにしたいものです。
隠されたページとは何ですか？
隠されたページとは、メニューやナビゲーションを介してアクセスできないページのことです。訪問者がそれらを特にアンカーテキストやインバウンドリンクを通じて閲覧できるかもしれませんが、見つけるのが難しいことがあります。
カテゴリーセクションに分類されるページは、管理パネルに位置しているため、隠しページである可能性も高いです。検索エンジンはデータベースに保存された情報にアクセスしないため、これらにアクセスすることは決してないかもしれません。
隠されたページは、サイトのサイトマップに追加されなかったがサーバー上に存在するページからも生じることがあります。
すべての隠しページをなくすべきか？
そうではありません。絶対に必要でありながら、ナビゲーションからは決してアクセスできないようにするべき隠しページがあります。例を見てみましょう：
ニュースレター登録
ニュースレターにサインアップする利点、ユーザーがどのくらいの頻度でそれを受け取ることを期待すべきか、またはニュースレター（または以前のニュースレター）を示すグラフィックを掲載するページを用意することができます。サインアップリンクも忘れずに含めてください。
ユーザー情報を含むページ
ユーザーが情報を共有する必要があるページは間違いなく非表示にすべきです。ユーザーはそれらにアクセスする前にアカウントを作成する必要があります。ニュースレターのサインアップもここに分類することができます。
隠されたページの探し方
私たちが言及したように、孤立ページや行き止まりページを見つけるために使用されるすべての方法を使って、隠されたページを見つけることができます。もう少し探ってみましょう。
robots.txtの使用
隠しページは、robots.txtを介して検索エンジンから隠される可能性が非常に高いです。サイトのrobots.txtにアクセスするには、ブラウザに[ドメイン名]/robots.txtと入力してエンターを押します。'ドメイン名'をあなたのサイトのドメイン名に置き換えてください。'disallow'や'nofollow'で始まるエントリーに注意してください。
手動で見つける
例えば、あなたのウェブサイトを通じて商品を販売していて、商品カテゴリの一つが隠されている可能性があると疑っている場合、手動で探すことができます。これを行うには、別の商品のURLをコピーして貼り付け、それに応じて編集します。見つからなければ、あなたの推測は正しかったということです！。
隠されたページが何か全く分からない場合はどうすればいいでしょうか？ウェブサイトをディレクトリで整理している場合、ドメイン名/フォルダ名をサイトのブラウザに追加して、ページやサブディレクトリをナビゲートすることができます。
隠されたページを見つけたら（上記の議論の通り、隠されたままである必要はありません）、それをサイトマップに追加し、クロールリクエストを送信する必要があります。
サイト上のすべてのページを見つける方法
あなたは、どのウェブページが行き止まりまたは孤立しているかを知るために、すべてのウェブページを見つける必要があります。これを達成するための異なる方法を探りましょう：
サイトマップファイルの使用
私たちはすでにサイトマップを見てきました。あなたのサイトマップは、すべてのウェブページを分析する際に役立ちます。サイトマップがない場合は、サイトマップジェネレーターを使用して自分で生成することができます。必要なのはドメイン名を入力するだけで、サイトマップがあなたのために生成されます。
CMSの使用方法
もし貴方のサイトがWordPressのようなコンテンツ管理システム(CMS)によって動かされていて、サイトマップに全てのリンクが含まれていない場合、CMSから全てのウェブページのリストを生成することが可能です。これを行うには、Export All URLsのようなプラグインを使用してください。
ログの使用
訪問者に提供されたすべてのページのログも便利です。ログをアクセスするには、cPanelにログインし、その後「raw log files」を探してください。または、ホスティングプロバイダーに共有を依頼してください。この方法で、最も頻繁に訪問されたページ、訪問されていないページ、最も高い離脱率を持つページを確認できます。高いバウンス率を持つページや訪問者がいないページは、行き止まりまたは孤立したページである可能性があります。
Google Analyticsの使用
以下の手順に従ってください：
ステップ 1: Analyticsページにログインしてください。
ステップ 2: 「行動」に移動し、「サイトコンテンツ」を選択
ステップ 3: 「すべてのページ」へ移動する
ステップ 4: 下にスクロールして、右側で「show rows」を選択してください
ステップ 5: サイトにどのくらいのページがあると見積もるかに応じて、500または1000を選択してください
ステップ 6: 上にスクロールして、右上で「エクスポート」を選択します
ステップ 7: ‘.xlsxとしてエクスポートする’ (エクセル) を選択してください
ステップ 8: エクセルがエクスポートされたら、「dataset 1」を選択してください
ステップ 9: 「ユニークページビュー」で並び替える。
ステップ 10: URLが含まれている行と列を除いて、他のすべての行と列を削除します
ステップ 11: この公式を二番目の列に使用してください：
=CONCATENATE("http://domain.com,A1)
ステップ 12: ドメインをあなたのサイトのドメインに置き換えてください。その式をドラッグして、他のセルにも適用されるようにしてください。
これであなたのすべてのURLが手に入りました。
何かを調べるときに簡単にクリックしてアクセスできるように、それらをハイパーリンクに変換したい場合は、ステップ13に進んでください。
ステップ 13: この公式を第3行に使用してください：
=HYPERLINK(B1)
その式をドラッグして、他のセルにも適用させてください。
Googleの検索クエリに手動で入力する
また、このサイトのアドレス：www.abc.com をGoogleの検索クエリに入力することもできます。'abc'をあなたのドメイン名に置き換えてください。GoogleがクロールしてインデックスしたすべてのURL、画像、他のサイトへの言及のリンク、さらにはあなたのブランドに関連付けられるハッシュタグまで、検索結果が表示されます。
その後、手動でそれぞれをコピーして、Excelスプレッドシートに貼り付けることができます。
URLリストをどうするのですか？
この時点で、URLリストをどう扱うべきか疑問に思っているかもしれません。利用可能なオプションを見てみましょう：
ログデータとの手動比較
1つの選択肢は、手動でURLリストをCMSログと比較し、全くトラフィックがないように見えるページや、最も高い直帰率を持つように見えるページを特定することです。その後、孤立していると思われるページや行き止まりのページごとに、受け入れリンクと送り出しリンクをチェックするために、私たちのようなツールを使用することができます。
別のアプローチとしては、すべてのURLを.xlsxファイル（エクセル）としてダウンロードし、ログも同様にダウンロードします。それらを並べて比較します（例えば2列にして）そして、エクセルの「重複削除オプション」を使用します。ステップバイステップの指示に従ってください。プロセスの終わりには、孤立ページと行き止まりページのみが残ります。
第三の比較アプローチは、あなたのログとURLリストをGoogleシートにコピーすることです。これにより、この式を使用できます：=VLOOKUP(A1, A:B,2,) あなたのURLリストに存在するが、ログにはないURLを検索するために。欠落しているページ（N/Aとして表示される）は、オーファンページとして解釈されるべきです。ログデータは最初または左の列にあることを確認してください。
サイトクローリングツールの使用
もう一つの選択肢は、URLリストをサイトクロールを実行できるツールに読み込ませ、サイトのクロールを待ってから、URLをスプレッドシートにコピー＆ペーストして、一つ一つ分析し、どれが孤立しているか、または行き止まりかを見極めることです。
これらの2つのオプションは、サイトに多くのページがある場合、特に時間がかかることがありますよね？
さて、すべてのURLを見つけるだけでなく、それらをフィルタリングし、その状態を表示する（どれが行き止まりまたは孤立しているかを知るために）ツールはいかがでしょうか。 言い換えれば、あなたのサイトのすべてのページを見つけるショートカットが欲しいなら、SEOptimerのSEOクロールツール。
SEOptimerのSEOクロールツール
このツールを使用すると、サイトのすべてのページにアクセスできます。まず「ウェブサイトクロール」に移動して、ウェブサイトのURLを入力してください。そして「クロール」を押してください。
クロールが完了したら、「レポートを見る」をクリックできます：
私たちのクロールツールは、ウェブサイトの全ページを検出し、クロールの「検出されたページ」セクションにリストします。
「404エラー」の問題は、「発見された問題」の直下にある「発見されたページ」セクションで特定できます：
私たちのクローラーは、タイトルやメタディスクリプションがないページを見つけるなど、他の問題を特定することができます。すべてのページを見つけたら、フィルタリングを開始し、手元の問題に取り組むことができます。
結論
この記事では、サイト上のすべてのページを見つける方法と、それがなぜ重要なのかを見てきました。また、孤立ページや行き止まりページ、隠されたページのような概念についても探求しました。それぞれを区別し、あなたのURLの中でそれぞれをどのように識別するかについても説明しました。隠されたページ、孤立ページ、行き止まりページのために損失を出しているかどうかを知るのに、これ以上の良いタイミングはありません。
