Robots.txt テスター
robots.txt を取得・編集し、User-Agent とパスごとにクロール可否を RFC 9309 / Google の仕様に沿って判定します。
robots.txt を取得
robots.txt の内容
0 行
サンプルを読み込む
テスト条件
クエリ文字列も含めて照合します。URL を入力した場合はパス以降を使います。
判定結果
robots.txt とテスト条件を入力すると結果が表示されます
判定ルール（RFC 9309 / Google）
- 連続する
User-agent行は 1 つのグループを作ります。User-Agent 名は大文字小文字を区別せず、製品トークン（英字・-・_）で照合します。 - 一致するグループが無い場合は
User-agent: *のグループが使われます。同じ User-Agent のグループが複数あるとルールは統合されます。Googlebot-Image / News / Video は専用グループが無ければ Googlebot のグループに従います。 Allow/Disallowは最も長く一致したルールが優先され、同じ長さならAllowが優先されます。どれにも一致しなければ許可です。*は任意の文字列、末尾の$はパスの終端を表します。空のDisallow:は何も禁止しません。パスは大文字小文字を区別し、パーセントエンコーディングを正規化して比較します。/robots.txt自体は常に許可されます。Sitemapはグループに属さない独立した行です。Crawl-delayは Google では無視されます。- robots.txt が 4xx（404 など）の場合は「制限なし（すべて許可）」、5xx の場合 Google は「全面禁止」として扱います。Google が処理するのは先頭 500 KiB までです。