robots.txt 產生器
以視覺化方式建立robots.txt檔案，控制搜尋引擎爬蟲對您網站的存取權限。
規則 1
User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
關於本工具
robots.txt檔案告知合規的網路爬蟲哪些頁面或區域可以爬取和索引。必須放置在網域根目錄下。
使用預設快速設定，或為每個爬蟲自訂規則。新增網站地圖URL讓爬蟲自動探索您的XML網站地圖。
使用方法
- 選擇預設或手動填寫User-agent、Allow、Disallow欄位。
- 使用「新增規則」按鈕為不同機器人新增規則。
- 輸入網站地圖URL，選擇性設定爬取延遲。
- 複製輸出或下載robots.txt並上傳到網站根目錄。
使用情境
SEO專家、網站開發者和管理員用於最佳化抓取預算、保護敏感區域、封鎖惡意爬蟲。
常見問題
- robots.txt能阻止頁面出現在搜尋結果中嗎？ — 它能阻止爬取但不能阻止索引。要阻止索引，請使用noindex中繼標籤或X-Robots-Tag回應標頭。
- 所有爬蟲都遵守robots.txt嗎？ — Googlebot、Bingbot等知名爬蟲會遵守。惡意爬蟲可能會忽略。
- robots.txt應該放在哪裡？ — 始終放在網域根目錄。範例: https://example.com/robots.txt