Robots.txt テスター

robots.txt は、検索エンジンクローラーや他のボットに対して、サイトのどの部分にアクセスして良いかを指示するファイルです。

主要ディレクティブ:
• User-agent: 対象となるボットを指定
• Disallow: アクセスを禁止するパスを指定
• Allow: アクセスを許可するパスを指定（Disallowより優先度が高い）
• Sitemap: サイトマップのURLを指定
• Crawl-delay: クロール間隔を秒数で指定