WordPressのrobots.txt確認方法｜Googleにクロールされないときの見方と注意点

WordPressの記事がGoogleに出てこないとき、robots.txtが原因かもしれないと考えることがあります。ただし、robots.txtとnoindexは役割が違います。まずは設定を変更する前に、Googleのクロールを止めているのか、インデックス登録の問題なのかを切り分けます。

robots.txtとは

robots.txtは、検索エンジンのクローラーに対して、サイト内のどの場所へアクセスしてよいかを伝えるためのファイルです。通常はサイト直下の/robots.txtで確認できます。

robots.txtとnoindexの違い

robots.txtでクロールを止めれば必ず検索結果から消える、という意味ではありません。検索結果へ出したくないページは、目的に合った方法を選ぶ必要があります。

WordPressのrobots.txtを確認する

ブラウザでhttps://あなたのドメイン/robots.txtを開きます。WordPressでは仮想的にrobots.txtを出力している構成もあります。内容を確認するときは、特にUser-agentとDisallowを見ます。

Disallowを確認する

たとえば特定ディレクトリがDisallowになっている場合、その範囲をクローラーが取得できない可能性があります。管理画面など、検索結果に出す必要がない場所が制限されているのは通常問題ありません。公開記事や重要ページまで対象になっていないかを確認します。

検索に出ないときの切り分け

1. URL検査：Search Consoleで対象URLを確認する
2. noindex：ページ側にnoindexが付いていないか確認する
3. robots.txt：対象URLのクロールを妨げていないか確認する
4. canonical：別URLが代表として扱われていないか確認する
5. サイトマップ：対象URLがサイトマップへ含まれているか確認する

noindexの確認はWordPressがnoindexになっていないか確認する方法、インデックス未登録全般はGoogleに記事が出てこないときの確認手順を参照してください。

robots.txtを変更する前の注意点

• 公開中の重要ページを誤ってDisallowしない
• 一部だけ直すつもりでサイト全体を制限しない
• 変更前の内容を保存しておく
• SEOプラグイン・テーマ・サーバー側で生成されていないか確認する
• 変更後はSearch Consoleと実際のrobots.txtを再確認する

よくある誤解

robots.txtでDisallowすれば検索結果から消えますか？

必ずしもそうではありません。robots.txtは主にクロール制御のための仕組みです。検索結果から除外したい場合は、noindexなど目的に合った方法を検討します。

robots.txtが空なら問題ですか？

必ずしも問題ではありません。重要なのは、自分の公開ページを不要にブロックしていないことです。

robots.txtの読み方を具体例で確認する

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xml

User-agent: *は対象クローラーの指定、Disallowはクロールを避けてほしい場所、Allowは例外的に許可する場所、Sitemapはサイトマップの場所を示します。実際の設定はサイト構成によって異なるため、例をそのままコピーせず現在の出力と目的を照合します。

変更が必要かを判断するチェック表

変更後に確認すること

• robots.txtが正常に開く
• 公開記事のクロールを妨げる設定がない
• Search ConsoleのURL検査で大きな問題がない
• サイトマップが正常に送信されている
• 変更前後のrobots.txtを保存して差分を確認できる

サイトマップの確認はSearch ConsoleでXMLサイトマップを送信する方法も参考にしてください。

参考情報

• Google Search Central: robots.txt の概要
• WordPress Developer Resources: robots.txt