Generator robots.txt
Wizualnie twórz plik robots.txt kontrolujący dostęp robotów wyszukiwarek do Twojej witryny.
Reguła 1
User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
O tym narzędziu
Plik robots.txt informuje zgodne roboty sieciowe, które strony lub sekcje Twojej witryny mogą lub nie mogą być indeksowane. Musi być umieszczony w katalogu głównym domeny.
Użyj szablonów dla typowych konfiguracji lub twórz niestandardowe reguły dla każdego robota. Dodanie adresu URL mapy witryny umożliwia robotom automatyczne jej znalezienie.
Jak używać
- Wybierz szablon lub ręcznie wypełnij pola User-agent, Allow i Disallow.
- Dodaj wiele reguł dla różnych botów przyciskiem + Dodaj regułę.
- Wpisz adres URL mapy witryny i opcjonalnie ustaw Crawl-delay.
- Skopiuj wynik lub pobierz robots.txt i prześlij do katalogu głównego witryny.
Przypadki użycia
Specjaliści SEO, webdeveloperzy i administratorzy witryn używają go do optymalizacji budżetu crawlowania, ochrony wrażliwych obszarów i blokowania agresywnych scraperów.
Często zadawane pytania
- Czy robots.txt zapobiega pojawianiu się stron w wynikach wyszukiwania? — Zapobiega indeksowaniu, ale nie indeksacji. Użyj tagu noindex lub nagłówka X-Robots-Tag, aby zapobiec indeksacji.
- Czy wszystkie roboty respektują robots.txt? — Renomowane roboty jak Googlebot i Bingbot go respektują. Złośliwe scrapery mogą go ignorować.
- Gdzie umieścić robots.txt? — Zawsze w katalogu głównym domeny. Przykład: https://example.com/robots.txt