robots.txtとは？書き方・設置方法・確認方法・注意点を解説
サイトのルートディレクトリに置かれた、地味だけれど重要なテキストファイルをご存じでしょうか。
robots.txtは、検索エンジンのクローラーに対してサイトの巡回ルールを伝えるファイルです。
この記事では、robots.txtの意味やできること・できないこと、書き方から注意点までを解説します。
設定を誤ると意図せずページが検索結果から除外されることもあるため、正しい理解が欠かせません。
robots.txtとは
robots.txtとは、検索エンジンのクローラーに対してサイト内のどのURLにアクセスしてよいかを伝えるテキストファイルのことです。
サイトのルートディレクトリに設置し、Googleクローラー（Googlebot）などがアクセス時に最初に確認するファイルです。
主な目的は、クロールの負荷を管理したり、重要でないページへのクロールを抑えたりすることにあります。
すべてのサイトに必須というわけではありませんが、内部対策の一環として大規模サイトほど重要度が高まる設定です。
次の章では、robots.txtでできることとできないことを紹介します。
robots.txtの必要性を判断したい方へ
自社サイトにrobots.txtが必要かどうか判断がつかないなら、合同会社dock.へご相談ください。まずはお気軽に無料相談へお申込みください。
無料相談してみる →robots.txtでできること・できないこと
robots.txtには、多くの人が誤解しやすいポイントがあります。
ここでは代表的な2つを紹介します。
- robots.txtでできること
- robots.txtでできないこと
正しい役割を理解しないまま使うと、意図しない結果を招くことがあります。
robots.txtでできること
robots.txtは、クローラーに対してクロールしてほしくないURLを指定できます。
サーバーへの負荷が大きいページや、重複した内容のページへのクロールを抑える用途です。
たとえばサイトマップURLを1行追加するだけで、クローラーに巡回してほしいページを伝えやすくなります。
大規模なサイトほど、クロール予算を効率よく使うための設定として役立ちます。
robots.txtでできないこと
robots.txtは、ページを検索結果に表示させないための仕組みではありません。
ブロックしたページが他サイトからリンクされていると、内容が読まれないまま検索結果に表示される場合があります。
たとえば1ページを確実に除外したい場合、noindexタグやパスワード保護など別の方法が必要です。
クローラーへの「お願い」に近い性質のため、強制力を持たない点にも注意しましょう。
robots.txtの正しい使い方を知りたい方へ
robots.txtとnoindexの使い分けが分からないなら、合同会社dock.へご相談ください。まずはお気軽に無料相談へお申込みください。
無料相談してみる →robots.txtの書き方
robots.txtは、決まった構文に沿って記述する必要があります。
ここでは代表的な2つのポイントを紹介します。
- 基本構文
- よく使う記述例
構文を誤ると、意図した通りにクローラーへ指示が伝わりません。
基本構文
robots.txtは、User-agent・Disallow・Allowという3つの要素を組み合わせて記述します。
User-agentは対象とするクローラーの種類、Disallowはアクセスを拒否するパスを指定する項目です。
たとえば「User-agent: *」の1行だけで、すべてのクローラーを対象にした指示になります。
Allowは、Disallowで指定した範囲の中で例外的にアクセスを許可したい場合に使います。
よく使う記述例
管理画面など特定のディレクトリだけをブロックしたい場合は、そのパスをDisallowに指定します。
サイト全体をクロールしてほしくない開発環境では、「Disallow: /」と記述するケースが一般的です。
たとえば「Sitemap:」の後に1行URLを記述しておくと、クローラーに伝わりやすくなります。
記述例をそのまま流用する前に、自社サイトの構成に合っているか必ず確認しましょう。
robots.txtの記述に自信がない方へ
自社サイトに合ったrobots.txtの書き方が分からないなら、合同会社dock.へご相談ください。まずはお気軽に無料相談へお申込みください。
無料相談してみる →robots.txtの設置・確認方法
robots.txtは、設置場所と確認方法にもルールがあります。
ここでは代表的な2つを紹介します。
- 設置場所とファイル名
- 設定内容の確認方法
正しく設置・確認できていなければ、記述内容がクローラーに読み込まれません。
設置場所とファイル名
robots.txtは、ドメイン直下（例：https://example.com/robots.txt）に設置する必要があります。
ファイル名は必ず半角小文字の「robots.txt」で統一しなければなりません。
たとえば「/blog/」のようなサブディレクトリに設置しても、クローラーはファイルを認識できません。
WordPressの場合、プラグインの設定画面から編集できるケースが多く見られます。
設定内容の確認方法
設置後は、ブラウザで直接URLにアクセスして内容が表示されるか確認しましょう。
Search Consoleの関連レポートを使えば、Googleが実際に読み込んでいる内容を確認できます。
たとえば編集直後にチェックしても反映されないことが多く、再クロールまで1〜2日かかることが多いです。
焦って何度も設定を変更すると、かえって意図が伝わりにくくなるため注意が必要です。
robots.txt設定時の注意点
robots.txtの設定には、見落とすとサイト全体に影響する注意点があります。
ここでは代表的な2つを紹介します。
- noindexとの使い分け
- 重要なリソースを誤ってブロックしない
設定を誤ると、検索流入に大きなマイナス影響を及ぼすことがあります。
noindexとの使い分け
Googleの公式ドキュメントでは、robots.txtはページを検索結果に表示させない目的で使わないよう明記されています。
ページを確実にインデックスから外したい場合は、noindexタグを使うのが正しい方法です。
たとえばDisallowでブロックした1ページは、noindexタグが読み込まれず意図と逆の結果になることもあります。
「隠したいから両方設定する」という考え方は、かえって逆効果になる場合があるため注意しましょう。
重要なリソースを誤ってブロックしない
CSSやJavaScriptのファイルをまとめてブロックしてしまうケースが少なくありません。
これらのファイルがクロールできないと、Googleがページの表示状態を正しく評価できなくなります。
たとえばCSSファイル1つをDisallowでブロックしただけでも、Googleがページの表示状態を正しく評価できなくなる典型例です。
変更後は必ずSearch Consoleでクロール状況に問題がないか確認しましょう。
robots.txtの設定ミスが心配な方へ
robots.txtの設定によって検索流入に悪影響が出ていないか確認したいなら、合同会社dock.へご相談ください。まずはお気軽に無料相談へお申込みください。
無料相談してみる →FAQ
A. ファイルがなければ、クローラーは制限なくサイト内を巡回します。小規模なサイトであれば、必ずしも設置が必須というわけではありません。
A. できません。検索結果に表示させたくない場合は、noindexタグやパスワード保護など別の方法を使う必要があります。
A. すぐには反映されないことが多いです。Googleが再度robots.txtを読み込むまで、一定の時間がかかる仕組みになっています。
A. 従うとは限りません。Googlebotなど主要なクローラーは従いますが、robots.txtには強制力がない点に注意が必要です。
A. Yoast SEOなどのSEOプラグインの設定画面から編集できる場合が多いです。サーバーに直接ファイルを設置する方法もあります。
まとめ
robots.txtとは、検索エンジンのクローラーに対してサイト内のクロールルールを伝えるテキストファイルです。
ページを検索結果から隠す機能ではない点を理解し、noindexタグと正しく使い分けましょう。
基本構文を押さえたうえで、設置場所や記述内容を必ず確認してから運用することが大切です。
設定に不安がある場合は、自己判断で進めず専門家に相談することも選択肢の1つです。
合同会社dock. 代表。2017年の大学在学時に始めたブログの運営が原点となり、SEO業界でのキャリアがスタート。大学卒業後は上京し、Web系広告代理店でオウンドメディアの責任者として、SEOを通じたリード獲得や、SEOコンサルタントとして上場企業や大手企業の対応も多数経験。フリーランスとしてライターやSEOコンサルタントを経験し、2025年に合同会社dock.を設立。
