TL
ツールラボ
💰寄付する
💰寄付する

robots.txt ジェネレーター

検索エンジンクローラーのアクセスを制御するrobots.txtファイルをビジュアルで作成します。

プリセット
ルール 1
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

このツールについて

robots.txtファイルは、準拠したWebクローラーにサイトのどの部分をクロール・インデックスしてよいかを伝えます。ドメインのルートに設置する必要があります。

よく使う設定にはプリセットを使い、クローラーごとにカスタムルールを設定できます。サイトマップURLを追加すると、クローラーが自動的に発見できます。

使い方

  1. プリセットを選ぶか、User-agent・Allow・Disallowフィールドを手動で入力します。
  2. 「ルールを追加」ボタンで異なるボット用のルールを追加します。
  3. サイトマップURLと任意でCrawl-delayを設定します。
  4. 出力をコピーするかダウンロードして、サイトのルートにアップロードします。

活用事例

SEO担当者、Webデベロッパー、サイト管理者がクロール予算の最適化、機密領域の保護、スクレイパーのブロックに活用します。

よくある質問

  • robots.txtでページを検索結果から除外できますか？ — クロールは防げますがインデックスは防げません。インデックスを防ぐにはnoindexメタタグやX-Robots-Tagヘッダーを使用してください。
  • すべてのクローラーがrobots.txtを守りますか？ — GooglebotやBingbotなどの信頼できるクローラーは守ります。悪意のあるスクレイパーは無視する場合があります。
  • robots.txtはどこに置くべきですか？ — 常にドメインのルートに置きます。例: https://example.com/robots.txt