URL検査ツールにかけるとサイト上のページがインデックスにないとわかり、焦った経験はありませんか？
時間をかけて作成した記事でも、検索エンジンに表示されなければ存在しない状態と同義です。
一刻も早くクローラーの登録を受けるには原因の特定ならびに適切な対応が求められます。
今回はGoogleにインデックスされない要因と有効な対処法を網羅的に紹介します。
コンテンツマーケティングがうまくいかずに頭を抱える方はぜひご一読ください。
1.Googleにインデックスされない要因
インターネットに公開した記事は検索エンジン側の認証を受けて、キーワードで検索したユーザーのディスプレイに表示されます。
SEOによる集客を重視している場合、なかなかインデックスされない状態は致命的です。
考えられる要因は次のとおりです。
- ドメインを取得してから時間が経っていない
- 記事の専門性や質が低い
- 被リンクが少なすぎる
- Googleのコンテンツポリシーに違反している
- ページの表示速度が遅い
- クローラビリティが悪い
- サーバー側にエラーが発生している
- robot.txtでクローラーをブロックしている
- noindexを記述している
- canonicalタグの指定が間違っている
一つずつ詳細を解説します。
ドメインを取得してから時間が経っていない
新しいドメインを公開したばかりの時期はコンテンツ量が少なく、クローラーが正しくサイトの構造を認識しない可能性があります。
検索エンジンのロボットはページ内のリンクを辿ってレンダリングを進めるため、ページ数が少ないと不利に働きます。
ただしコンテンツを増やせばインデックスされるページが増えるとは限りません。
ドメインを取得して新たにサイトを公開した場合、URL自体の評価が低いため質の高い記事を投稿してもインデックスが進まないケースが大半です。
初めて企業サイトをもった場合やサーバーを移管してサイトをリニューアルした場合は、インデックスまで時間がかかる傾向にあると肝に銘じましょう。
記事の専門性や質が低い
記事の専門性や質が低く、ユーザーにとって価値がないと判断されたためにインデックスを拒否された状態です。
Googleはコンテンツを評価する基準としてE-E-A-T（経験‐専門性‐権威性‐信頼）を重視しています。
専門性が低く、運営元や執筆したライターに信頼がなく、実際に経験した情報が含まれていない記事は質が低いとみなされる可能性が高いです。
また検索ニーズに合致したユーザーが求めるコンテンツでないと、上位に表示される確率は低くなるでしょう。
被リンクが少なすぎる
外部からのリンク数が少ないとクローラーがサイトに辿りにくくなり、インデックスが進みません。
特に事業を開始したばかりの横のつながりがない企業が陥りやすい状態です。
たたでさえ新しいサイトはコンテンツ数が少なく、クローラーが巡回する頻度が低くなっています。
クローリングはリンクを経由してサイト間を遷移するように行われます。
リンク同士の評価の受け渡しも期待できるため、すでに検索上位を獲得している外部リンクの獲得がSEOには極めて重要です。
被リンクがまったくない状態のままコンテンツの更新を続けても、上位獲得は難しくなるでしょう。
Googleのスパムポリシーに違反している
Googleは検索順位の不正な操作を目的とした行為やユーザーを欺く行為をスパムとみなして厳しく規制しています。
具体的なNG行為は次のとおりです。
- クローキング：検索エンジンと人間に表示するページを出しわけること
- 誘導ページの設置：特定のキーワードにおける上位表示を目的に、単体では価値がない中間ページを設けること
- 期限切れドメインの不正利用：過去に上位表示していたドメインを購入して別のサイトを運営すること
- ハッキングを受けたコンテンツ：悪意のある第三者の手で閲覧したユーザーに不利益を与える仕掛けが施された有害なコンテンツ
- 隠しテキストや隠しリンクの使用
- キーワードの乱用
- リンクスパム
- 機械生成トラフィック：自動生成クエリを送信する行為
- マルウェアの提供
- 誤解を招くコンテンツ：実際にはないものをあるかのようにみせ、ユーザーを欺く行為
- 大量生成したコンテンツの不正利用
- スクレイピング：ツールを用いて他のサイトの情報を大量に取得し、自分で作成したコンテンツのように見せる行為
- 不正なリダイレクト
- サイト評判の不正利用：ホストサイトの許諾を受けずにSEO評価を利用する行為
- ユーザー生成スパム：フォーラムやコメントに寄せられたスパム投稿
Googleが上記のいずれかに該当すると判断した場合、ペナルティを受ける場合があります。
対象のサイトやページの順位は著しく下落し、最悪の場合、インデックスから外される可能性もゼロではありません。
ページの表示速度が遅い
ページの表示速度が遅いとユーザビリティーの悪化を招き、検索エンジンの評価が落ちる傾向にあります。
Google検索セントラルにはコンテンツが早く表示されるほどクローラーの巡回頻度が高くなる関係があると明記されています。
評価を受ける機会が増えればインデックス化される確率も高くなると考えて間違いないでしょう。
サイトやページのユーザビリティーは検索順位を決定するうえで重要度・優先度が高いとはいえません。
しかし全く同じ質のコンテンツが複数存在した場合、どちらを上位に表示するか決める際の根拠になります。
また表示速度が遅いとユーザーがしびれを切らして離脱するため、コンバージョン率の低下を引き起こす可能性が高いです。
クローラビリティが悪い
内部構造が複雑なサイトはクローラーがすべてを確認しきれず、インデックスされないページが発生します。
クローラビリティが悪い具体的な状況は次のとおりです。
- グローバルメニューがない
- パンくずリストを設置していない
- 内部リンクがない孤立したページがある
サイト運営を始めて間もないうちは外部リンクの獲得が難しいため、内部リンクを充実させる戦略が効果的です。
コンテンツをカテゴリ別に分類して、関連性がある同士をページ同士でリンクをつなぎ合わせましょう。
しかし関連性が低いページまで無理にリンクを設けるとスパム行為とみなされる恐れがあります。
不用意な行動が原因でペナルティを受けないためにも自然なリンクの形成を重視しましょう。
サーバーでエラーが発生している
サーバーでエラーが発生すると、クローラーが対象のURLにアクセスできずクローリングすらままなりません。
500番台のhttpエラーを表すステータスコードはサーバーエラーを示しています。
- 500（Internal Server Error）エラー：サーバー側の問題によりリクエストが適切に処理されなかった状態
- 502（ Bad Gateway）エラー：通信過程におけるエラーが発生している状態
- 503（ Service Unavailable）エラー：サーバーが要求を処理する準備ができていない状態
- 504（ Gateway Timeout）エラー：サーバーのレスポンスが遅くタイムアウトが発生した状態
500番台のエラーが起きる原因は、想定を超えるアクセスの集中や転送量の増加です。
サーバーに過度な負荷が生じている状態のため、契約中のプランは適切か、ホスティングサービスの利用状況を確認してみると良いでしょう。
robot.txtでクローラーをブロックしている
Googleにインデックスされないときは、ドメイン直下のディレクトリにrobots.txtを設置している可能性もあります。
robots.txtはクローラーに収集してほしい・してほしくないページを指定するファイルです。
クローリング自体を拒絶するため、クローラーはテキストや画像を取得できません。
robots.txtの指定ミスや削除し忘れがあると、いくらコンテンツの質や被リンクの獲得を試みてもインデックスは不可能です。
インデックスされないページが見つかったら、はじめにrobots.txtに意図せぬ指定がないか疑ってみましょう。
noindexを記述している
対象のページにnoindexの記述があるため、検索エンジンが登録できない状況もありえます。
noindexはその名が示すとおりインデックスを防ぐ役割をもったタグです。
サイトのSEO評価が落ちる状況を防ぐために、質が低いページや重要性が低いページに設置するケースが一般的です。
noindexの記述があるとクローラーは巡回するものの、内容に何の問題がなくてもインデックスされません。
テスト公開して検索結果の見え方を確認する業務フローを導入している場合、ブログ記事にもnoindexが含まれる可能性もあります。
本番に移行する前にタグの削除し忘れがないか、確認が必要です。
canonicalタグの指定が間違っている
canonicalタグは重複するページが二つ以上あるときに検索エンジンの評価を一つにまとめるために使うタグです。
末尾に/index.htmlを付したURLが生成されている、SSL化前のhttp:ドメイン名のURLが残っているなどは重複ページのよくある例です。
評価の分散を防ぐために最も評価してほしいページを指定した際、タグの設置場所や記述を間違った可能性があります。
canonicalタグを使用したときは、インデックスされない記事を誤って除外していないか確認しましょう。
2.Googleにインデックスされない状況は2つある
ページがGoogleにインデックスされない状況は「クロール済‐インデックス未登録」と「検出‐インデックス未登録」に分かれます。
対象ページがいずれに属するかどうかはサーチコンソールのメッセージから判別できます。
両者の違いは端的にいえば、クローラーが内容の確認をしたか否かです。
「クロール済‐インデックス未登録」「検出‐インデックス未登録」について基礎知識を押さえましょう。
クロール済‐インデックス未登録
クロール済‐インデックス未登録はクローラーがURLを認識してページの内容まで確認したにも関わらず、インデックスされなかった状況です。
noindexタグやcanonicalタグで除外したコンテンツならサーチコンソールに本メッセージが表示されても全く問題はありません。
しかし通常どおりインデックスしてほしいページで「クロール済‐インデックス未登録」と表示された場合、対処が必要です。
一般的にはページの中身に問題があると判断して差し支えないでしょう。
例えば内容が表面的または不足する質の低いコンテンツや重複コンテンツが該当します。
クロール済‐インデックス未登録エラーが出るときは、リライトによる改善やページの統一による評価の集中といった対策が効果的です。
検出‐インデックス未登録
検出‐インデックス未登録はURLを認識したものの内容までは確認せず、クローラーが帰ったときに出るエラーです。
コンテンツの質以外にもサイト自体の評価が低い、重要なページだと認識されていないページなどに起きる可能性があります。
運営し始めたばかりの時期は価値があるサイトか判断しにくいため、クローラーが中身を確認せずに他のサイトに遷移する可能性が高くなります。
クローリングは無限に行われるわけではなく、インデックスされるページ数も有限です。
運営初期のサイトは評価が低いゆえにクローラーに後回しにされることも珍しくありません。
リンクがなく孤立している、アクセス数が少ないページは重要性が低いとみなされ、中身を入念に確認されないケースが多々あります。
3.Googleにインデックスされないときの対策
Googleにインデックスされないときは積極的に改善に乗り出さなくてはいけません。
クローラーは遅くても二週間に1回程度はクローリングすると考えられるため、ひと月以上未登録のままの状況は対応の余地ありとみなして良いでしょう。
解決が期待できる主な対応策は次のとおりです。
- サーチコンソールでインデックス申請する
- 被リンクの獲得に精を出す
- 定期的にコンテンツを更新する
- 内部構造の最適化を図る
- サイトマップを送信する
- 表示速度を改善する
- ブログ記事に監修者をつける
- SNSの運用を始める
一つずつ具体的な内容を解説します。
サーチコンソールでインデックス申請する
コンテンツを追加・更新した際、サーチコンソールを利用してインデックスの申請をしましょう。
Googleに通知がいくため、何もせずただ待っているだけよりは早くインデックス化の期待をもてます。
サーチコンソールを活用したインデックス申請の手順は次のとおりです。
- 対象のプロパティに移動
- 左メニューから「URL検査」を選択
- 画面上部の入力フォームにインデックスしてほしいURLを入力
- 「URLがGoogleに登録されていません」と表示されるページ上の「インデックス登録をリクエスト」をクリック
被リンクの獲得に精を出す
被リンクを多く獲得すればクローラーの巡回速度が速まるため、早期のインデックスにつながります。
しかし外部サイトとリンクをつなげば何でも良いわけではありません。
SEO上の高評価を狙うなら、検索エンジンからの評価が高いサイトとのつながれると望ましいでしょう。
具体的にはすでに多数の被リンクを獲得している、ドメインパワー（サイトの強さを表す指標）が高いドメインが該当します。
また良質な被リンクを得たと胸を張って主張するためには、プロセスにも注意を払わねばいけません。
対価と引き換えに自社サイトのURLを設置してもらう有料リンクはNGです。
理想をいえばユーザーの役に立つ良質なコンテンツを提供してお手本になるサイトだと思われ、競合等からシェアされる状況が好ましいといえます。
運営を開始したばかりの信頼性が乏しい状況で被リンクを獲得するには、記事の寄稿が効果的です。
記事を書いた見返りに自社のサイトを紹介してほしいと申し出れば、被リンクを認めてもらえるでしょう。
定期的にコンテンツを更新する
検索エンジンは情報の頻度を重視する傾向があります。
したがって更新頻度が頻繁なサイトは新しい情報が多いとみなされ、評価の向上によるインデックスの促進が期待できます。
しかしいくら熱心に更新を続けても低品質のコンテンツでは意味がありません。
むしろ質が低いページが増えるとペナルティに該当して、検索順位の大幅な下落を招く事態を引き起こしかねません。
大切なのは質が高い記事を定期的に投下し続けることです。必ずしも毎日更新すれば良いわけではありません。
記事の投下が目的と化してプレッシャーから不十分な内容のコンテンツを公開しては本末転倒です。
質を担保して記事を更新できるスケジュールを策定して、無理なく計画的に運営しましょう。
内部構造の最適化を図る
内部リンクの充実やぱんくずリストの設定、パーマリンクの設定などを通してクロールしやすい内部構造を構築しましょう。
上記に挙げた施策を試せば一度のクローリングで多くのページの確認を受けられます。
結果的にインデックスが促進され、ユーザーの検索結果に自社のブログ投稿が表示される頻度が増すでしょう。
パンくずリストはプラグインを導入すれば簡単に設置できます。
セキュリティリスクの向上や表示速度の低下が心配な場合、自らコードを書いて設定することも可能です。
パーマリンクには可能な限り意味のある単語を設定したほうが良いとされています。
ページIDが付された自動生成URLは検索エンジンが内容を理解できず、適切なクローリングを妨げる可能性があります。
XMLサイトマップを送信する
XMLサイトマップは、検索エンジンに対してサイトの構造を説明したxml形式のファイルのことです。
サイトマップにはページごとのURL・更新頻度・最終更新日・優先度などを記載します。
クローラーがサイトの構造を迅速に把握してクローリングを促進するため、まだ設置していなければ早急に対応しましょう。
サイトの構築にWordpressを活用していれば標準装備のプラグインを活用して簡単にサイトマップを送信できます。
新たにXMLサイトマップを送信するには、サーチコンソール上で「インデックス」→「サイトマップ」→「新しいサイトマップの追加」と操作します。
表示速度を改善する
ページの表示速度が遅いときは一刻も早く高速化に乗りだしましょう。
具体的にはGoogleが提供するPageSpeed Insightsを使い、90点未満のスコアしか出ないときは対策の余地ありです。
表示が遅いサイトはユーザーがストレスを感じて離脱を招くほか、検索エンジンのアルゴリズムでもユーザビリティが低いと判定を受け、SEOの低評価につながります。
表示速度を改善する具体的な施策は次のとおりです。
- 画像サイズの最適化を試みる
- 画像やコードの遅延読み込みを試みる
- トラッキングコード（Googleアナリティクスやタグマネージャーなど）の量を減らす
読み込む量が多いとブラウザに表示される速度が遅くなるため、データの軽量化が基本的な方針です。
ブログ記事に監修者をつける
E-E-A-Tの信頼性や権威性を高めるために、記事を投稿する際は監修者をつけましょう。
監修とは専門的なジャンルを扱うときに経験が豊富なプロに依頼して、内容に誤りがないかチェックを受けることです。
特に不動産や金融、医療、美容に該当するYMMLジャンルを扱う場合、記事監修の必要性は高まります。
記事の冒頭に監修者のプロフィール（顔写真や経歴）を掲載すれば、ユーザーは内容に間違いはないだろうと安心して記事を読めます。
監修者が執筆まで担当できれば理想ですが、工数や費用の関係で記事のチェックのみを依頼するパターンが多いです。
SNSの運用を始める
TwitterやInstagramの運用は企業サイトやサービスサイトの評価を間接的に高める施策です。
一見関係ないように思えますが、フォロワーに向けて記事をシェアすればアクセス数の向上が見込めます。
サイテーションと呼ばれる運営元やサイトに対する人々の言及も検索エンジンのアルゴリズムの一種だといわれています。
SNSを運用して企業や代表の良い評判を獲得できれば、E-E-A-Tの向上につながり、投稿した記事の上位表示の確率を高めるでしょう。
さらに多数のフォロワーの獲得は、良質な被リンクの形成にも好影響を及ぼすと考えられます。
インデックスされない原因を特定して適切な改善策を練ろう
サイト内の重要なページがインデックスされないときは原因を特定してボトルネックの解消を目指しましょう。
サーチコンソールのエラーメッセージをみれば状況をある程度把握できますが、適切な対処法の発見までは難しいかもしれません。
しかし誤った施策を実行に移すとインデックスの促進どころか、かえってサイトの評価を落とす場合もあります。
知識がない自覚がある場合は独断は避け、経験豊富なSEOコンサルタントに相談したほうが良いでしょう。
コメント