Tạo robots.txt
Tạo file robots.txt một cách trực quan để kiểm soát quyền truy cập của các trình thu thập dữ liệu tìm kiếm vào trang web của bạn.
Quy tắc 1
User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
Giới thiệu công cụ
File robots.txt cho các trình thu thập dữ liệu tuân thủ biết trang hoặc phần nào của trang web được phép hoặc không được phép thu thập và lập chỉ mục. Phải đặt tại thư mục gốc của tên miền.
Sử dụng cài sẵn cho cấu hình phổ biến hoặc tạo quy tắc tùy chỉnh cho từng trình thu thập. Thêm URL sitemap giúp các bot tự động tìm thấy sitemap XML của bạn.
Cách sử dụng
- Chọn cài sẵn hoặc điền thủ công các trường User-agent, Allow và Disallow.
- Thêm nhiều quy tắc cho các bot khác nhau bằng nút + Thêm quy tắc.
- Nhập URL sitemap và tùy chọn đặt Crawl-delay.
- Sao chép kết quả hoặc tải robots.txt và tải lên thư mục gốc trang web.
Trường hợp sử dụng
Chuyên gia SEO, nhà phát triển web và quản trị viên dùng để tối ưu ngân sách thu thập, bảo vệ khu vực nhạy cảm và chặn scraper.
Câu hỏi thường gặp
- robots.txt có ngăn trang xuất hiện trong kết quả tìm kiếm không? — Nó ngăn thu thập nhưng không ngăn lập chỉ mục. Dùng thẻ noindex hoặc header X-Robots-Tag để ngăn lập chỉ mục.
- Tất cả trình thu thập có tuân thủ robots.txt không? — Các bot uy tín như Googlebot và Bingbot tuân thủ. Bot độc hại có thể bỏ qua.
- robots.txt nên đặt ở đâu? — Luôn đặt ở thư mục gốc tên miền. Ví dụ: https://example.com/robots.txt