TL
Tool Lab
💰Donate
💰Donate

Generator robots.txt

Buat file robots.txt secara visual untuk mengontrol akses crawler mesin pencari ke situs Anda.

Preset
Aturan 1
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

Tentang alat ini

File robots.txt memberi tahu crawler web yang patuh halaman atau bagian situs mana yang boleh atau tidak boleh di-crawl dan diindeks. Harus ditempatkan di root domain Anda.

Gunakan preset untuk konfigurasi umum atau buat aturan khusus untuk setiap crawler. Menambahkan URL sitemap memungkinkan crawler menemukannya secara otomatis.

Cara penggunaan

  1. Pilih preset atau isi kolom User-agent, Allow, dan Disallow secara manual.
  2. Tambahkan beberapa aturan untuk bot berbeda dengan tombol + Tambah Aturan.
  3. Masukkan URL sitemap dan atur Crawl-delay secara opsional.
  4. Salin output atau unduh robots.txt dan unggah ke root situs Anda.

Kasus penggunaan

Profesional SEO, pengembang web, dan administrator situs menggunakannya untuk mengoptimalkan anggaran crawl, melindungi area sensitif, dan memblokir scraper agresif.

Pertanyaan umum

  • Apakah robots.txt mencegah halaman muncul di pencarian? — Ini mencegah crawling tetapi bukan pengindeksan. Gunakan tag noindex atau header X-Robots-Tag untuk mencegah pengindeksan.
  • Apakah semua crawler menghormati robots.txt? — Crawler terpercaya seperti Googlebot dan Bingbot menghormatinya. Scraper berbahaya mungkin mengabaikannya.
  • Di mana robots.txt harus ditempatkan? — Selalu di root domain. Contoh: https://example.com/robots.txt