สร้าง robots.txt
สร้างไฟล์ robots.txt ด้วยภาพเพื่อควบคุมการเข้าถึงของ crawler ของเครื่องมือค้นหาบนเว็บไซต์ของคุณ
กฎ 1
User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
เกี่ยวกับเครื่องมือนี้
ไฟล์ robots.txt บอก web crawler ที่ปฏิบัติตามว่าหน้าหรือส่วนใดของเว็บไซต์ที่สามารถหรือไม่สามารถ crawl และ index ได้ ต้องวางไว้ที่ root ของโดเมน
ใช้ค่าเริ่มต้นสำหรับการกำหนดค่าทั่วไป หรือสร้างกฎแบบกำหนดเองสำหรับแต่ละ crawler การเพิ่ม URL sitemap ช่วยให้ crawler ค้นพบอัตโนมัติ
วิธีใช้งาน
- เลือกค่าเริ่มต้นหรือกรอกฟิลด์ User-agent, Allow และ Disallow ด้วยตนเอง
- เพิ่มหลายกฎสำหรับบอทต่างๆ ด้วยปุ่ม + เพิ่มกฎ
- ป้อน URL sitemap และตั้ง Crawl-delay ตามต้องการ
- คัดลอกผลลัพธ์หรือดาวน์โหลด robots.txt และอัปโหลดไปยัง root ของเว็บไซต์
กรณีการใช้งาน
ผู้เชี่ยวชาญ SEO นักพัฒนาเว็บ และผู้ดูแลระบบใช้เพื่อปรับปรุงงบ crawl ปกป้องพื้นที่ที่ละเอียดอ่อน และบล็อก scraper
คำถามที่พบบ่อย
- robots.txt ป้องกันหน้าปรากฏในผลการค้นหาได้ไหม? — ป้องกันการ crawl แต่ไม่ใช่การ index ใช้ noindex meta tag หรือ header X-Robots-Tag เพื่อป้องกันการ index
- Crawler ทุกตัวปฏิบัติตาม robots.txt ไหม? — Crawler ที่น่าเชื่อถืออย่าง Googlebot และ Bingbot ปฏิบัติตาม Scraper ที่เป็นอันตรายอาจเพิกเฉย
- ควรวาง robots.txt ที่ไหน? — ต้องอยู่ที่ root ของโดเมนเสมอ ตัวอย่าง: https://example.com/robots.txt