サイト運営・SEO用途
GitHubでrobots.txtを管理する時の注意点
robots.txtの役割、noindexとの違い、誤ってブロックしないための確認ポイントを整理します。
このページでわかること
- GitHubでrobots.txtを管理する時の注意点で最初に確認すること
- 初心者がつまずきやすいポイント
- CodexやChatGPTと組み合わせる時の注意
- 秘密情報をGitHubへ入れないための考え方
最初に結論
robots.txtはクロールの案内です。noindexとは役割が違うため、検索に出したいページを誤ってブロックしないようにします。
初心者向け説明
robots.txtは検索エンジンの巡回に関する指示を置くファイルです。ページ単位のindex制御はmeta robotsで行うことが多く、両者を混同すると公開ページが見つかりにくくなります。
向いている使い方
- サイト全体の巡回方針を確認する
- sitemapの場所を知らせる
- Search Console送信前に基本設定を見る
注意が必要な使い方
- 公開したいページをDisallowしない
- noindex目的でrobots.txtだけに頼らない
- 変更後は本番のrobots.txtを確認する
CodexやChatGPTと組み合わせる場合
Codexにrobots.txtを触らせる必要がない作業では、変更禁止にしておくと事故を避けやすくなります。
秘密情報・APIキー・パスワード・個人情報の注意
robots.txtに秘密URLを書いて隠す考え方は危険です。秘密情報は公開ディレクトリに置かないことが前提です。
robots.txtを置く位置と適用されるURL
2026年11月18日時点の公式ヘルプでは、robots.txtは対象ホストのルートに置くUTF-8のテキストファイルです。ファイル名はrobots.txtで、サイト内の任意の下位フォルダへ置く方式ではありません。ルールが適用される範囲は、そのファイルと同じプロトコル、ホスト、ポートのURLです。たとえばhttpsのホストに置いた設定は、別のサブドメインやhttpのURLへ自動的に広がりません。ファイルはUser-agentから始まるグループで構成され、許可や禁止の対象パスを一行ずつ指定する構造です。GitHub上の管理パスと、公開URLでの配置は同じ概念ではありません。リポジトリにrobots.txtが存在するという情報だけでなく、どのホストのルートとして配信されるかが適用範囲の根拠になります。
出典:Google『Create and Submit a robots.txt File』(2026年11月18日確認)https://developers.google.com/crawling/docs/robots-txt/create-robots-txt
Googleがルールを選ぶ長さと大文字小文字
2026年11月18日時点の公式ヘルプでは、Googleは対象クローラーに最も具体的に一致するUser-agentグループを選びます。具体的なグループが適用される時、一般向けのアスタリスクのグループと単純に足し合わせる扱いではありません。パスの指定は大文字と小文字を区別し、複数のルールがURLに一致する場合は、最も具体的な、長いパスのルールが使われます。同じ具体性で許可と禁止が競合する時は、制限の弱いルールが優先されます。記述の上から順に最初の一行だけが採用される仕組みとは異なります。アスタリスクは任意の文字列、ドル記号はURLの終端を表す指定として扱われます。GitHubの差分で一文字だけが変わっている場合でも、大文字小文字や末尾の記号は、適用されるパスの集合を変える情報です。
出典:Google『How Google Interprets the robots.txt Specification』(2026年11月18日確認)https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec
noindexを読むにはページを取得できる必要がある
2026年11月18日時点の公式ヘルプでは、noindexはHTMLのmetaタグまたはHTTPのX-Robots-Tagレスポンスヘッダーで指定できます。Googleがその指定を読むには、対象ページをクロールできる必要があります。robots.txtでページの取得を禁止すると、ページ内のnoindexを読み取れず、他のページから見つかったURLが表示対象に残る場合があります。noindexをrobots.txtの記述として置く方法は、Googleの対応する指定方法に含まれていません。HTMLではhead内のmetaタグ、PDFなどのHTML以外のリソースではHTTPヘッダーによる指定が案内されています。ファイルの本文を変える作業と、配信サーバーが返すヘッダーを変える作業は、管理対象が異なります。クロールの禁止と登録の制御を同じ変更として扱わないための区別です。
出典:Google『Block Search indexing with noindex』(2026年11月18日確認)https://developers.google.com/search/docs/crawling-indexing/block-indexing
取得エラーとキャッシュで読み方が変わる
2026年11月18日時点の公式ヘルプでは、Googleがrobots.txtを取得した時のHTTPステータスによって扱いが異なります。2xxでは返されたルールを処理し、429を除く4xxでは有効なrobots.txtが存在しない場合と同様に扱います。401や403を返す方法はクロール頻度の制御には使わないと説明されています。5xxでは最初の12時間はサイトのクロールを止めて再取得を試み、その後は保存済みの正常な設定を利用する期間があります。また、通常はrobots.txtを最大24時間キャッシュし、再取得できない状況ではそれより長く保持する場合があります。GitHubへ変更を保存した時点と、Googleが新しい設定を取得した時点は一致するとは限りません。配信される本文に加えて、応答コードとキャッシュの扱いが公式資料に示されています。
出典:Google『How Google Interprets the robots.txt Specification』(2026年11月18日確認)https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec
更新した設定をGoogleへ知らせる手段
2026年11月18日時点の公式ヘルプでは、robots.txtの更新は、ファイルを取得し、テキストエディタで編集して、元と同じルート位置へアップロードする流れです。Googleのクローラーはrobots.txtを自動的に更新する仕組みですが、更新した設定の読み込みを急ぐ場合はSearch Consoleから再クロールを依頼する方法が案内されています。再クロールの依頼は、新しいルールをGoogleへ取得してもらうための操作であり、個々のページの内容を更新する操作とは別です。ファイル名や配置場所を変える編集と、既存ファイルのルールを書き換える編集を区別し、配信先のURLで更新後のテキストを参照する手順が説明されています。
出典:Google『Update your robots.txt file』(2026年11月18日確認)https://developers.google.com/crawling/docs/robots-txt/submit-updated-robots-txt
関連ページ
FAQ
GitHubでrobots.txtを管理する時の注意点は初心者でも確認できますか?
はい。専門用語を覚える前に、何を確認すればよいかを優先して整理しています。
CodexやChatGPTを使う場合も同じ考え方ですか?
基本は同じです。自動化できる部分が増えても、差分確認、秘密情報確認、公開前確認は人間側で見ます。
秘密情報が混ざったかもしれない時はどうしますか?
commitやpushを急がず、対象ファイル、公開範囲、履歴への混入有無を確認します。必要に応じてキーやパスワードを無効化します。
GitHubの機能や画面は変わりますか?
変わる可能性があります。重要な判断や最新仕様はGitHub側の情報も確認してください。
このカテゴリの親ハブ
関連ページをまとめて確認する場合は、サイト運営ハブ から読み進められます。