TL
Tool Lab
💰Donate
💰Donate

robots.txt Oluşturucu

Arama motoru tarayıcılarının sitenize erişimini kontrol etmek için görsel olarak robots.txt dosyası oluşturun.

Hazır Ayarlar
Kural 1
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

Bu araç hakkında

robots.txt dosyası uyumlu web tarayıcılarına sitenizin hangi sayfa veya bölümlerini tarayıp dizine ekleyebileceklerini ya da edemeyeceklerini bildirir. Etki alanınızın köküne yerleştirilmelidir.

Yaygın yapılandırmalar için hazır ayarlar kullanın veya her tarayıcı için özel kurallar oluşturun. Site haritası URL'si eklemek tarayıcıların XML site haritasını otomatik keşfetmesini sağlar.

Nasıl kullanılır

  1. Bir hazır ayar seçin veya User-agent, Allow ve Disallow alanlarını manuel doldurun.
  2. Farklı botlar için + Kural Ekle butonuyla birden fazla kural ekleyin.
  3. Site haritası URL'nizi girin ve isteğe bağlı olarak Crawl-delay ayarlayın.
  4. Çıktıyı kopyalayın veya robots.txt'yi indirin ve sitenizin köküne yükleyin.

Kullanım senaryoları

SEO uzmanları, web geliştiriciler ve site yöneticileri crawl bütçesini optimize etmek, hassas alanları korumak ve agresif kazıyıcıları engellemek için kullanır.

Sık sorulan sorular

  • robots.txt sayfaların arama sonuçlarında görünmesini engeller mi? — Taramayı engeller ama dizine eklemeyi engellemez. Dizine eklemeyi önlemek için noindex meta etiketi veya X-Robots-Tag başlığı kullanın.
  • Tüm tarayıcılar robots.txt'ye uyar mı? — Googlebot ve Bingbot gibi güvenilir tarayıcılar uyar. Kötü niyetli kazıyıcılar bunu görmezden gelebilir.
  • robots.txt nereye yerleştirilmeli? — Her zaman etki alanının köküne. Örnek: https://example.com/robots.txt