TL
Tool Lab
💰Donare
💰Donare

Generatore robots.txt

Crea visivamente un file robots.txt per controllare l'accesso dei crawler dei motori di ricerca al tuo sito.

Preimpostazioni
Regola 1
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

Informazioni su questo strumento

Il file robots.txt indica ai crawler web conformi quali pagine o sezioni del tuo sito possono o non possono essere crawlate e indicizzate. Deve essere posizionato nella directory principale del tuo dominio.

Usa le preimpostazioni per configurazioni comuni o crea regole personalizzate per ogni crawler. Aggiungere l'URL della sitemap consente ai crawler di scoprirla automaticamente.

Come usare

  1. Scegli una preimpostazione o compila manualmente i campi User-agent, Allow e Disallow.
  2. Aggiungi più regole con il pulsante + Aggiungi regola per bot diversi.
  3. Inserisci l'URL della sitemap e imposta opzionalmente un Crawl-delay.
  4. Copia l'output o scarica robots.txt e caricalo nella directory principale del tuo sito.

Casi d'uso

Professionisti SEO, sviluppatori web e amministratori di siti lo usano per ottimizzare il budget di crawling, proteggere aree sensibili e bloccare scraper aggressivi.

Domande frequenti

  • Robots.txt impedisce alle pagine di apparire nelle ricerche? — Impedisce il crawling ma non l'indicizzazione. Usa un meta tag noindex o l'intestazione X-Robots-Tag per impedire l'indicizzazione.
  • Tutti i crawler rispettano robots.txt? — I crawler affidabili come Googlebot e Bingbot lo rispettano. Gli scraper dannosi potrebbero ignorarlo.
  • Dove deve essere posizionato robots.txt? — Sempre nella directory principale del dominio. Esempio: https://example.com/robots.txt