robots.txt जनरेटर
robots.txt फ़ाइल को विज़ुअली बनाएं जो सर्च इंजन क्रॉलर की आपकी वेबसाइट पर पहुंच को नियंत्रित करे।
नियम 1
User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
इस टूल के बारे में
robots.txt फ़ाइल अनुरूप वेब क्रॉलर को बताती है कि आपकी साइट के कौन से पेज या सेक्शन क्रॉल और इंडेक्स हो सकते हैं। इसे आपके डोमेन की रूट डायरेक्टरी में रखना होगा।
सामान्य कॉन्फ़िगरेशन के लिए प्रीसेट का उपयोग करें या प्रत्येक क्रॉलर के लिए कस्टम नियम बनाएं। साइटमैप URL जोड़ने से क्रॉलर इसे स्वचालित रूप से खोज सकते हैं।
कैसे उपयोग करें
- प्रीसेट चुनें या User-agent, Allow और Disallow फ़ील्ड मैन्युअल रूप से भरें।
- अलग-अलग बॉट्स के लिए + नियम जोड़ें बटन से कई नियम जोड़ें।
- अपना साइटमैप URL दर्ज करें और वैकल्पिक रूप से Crawl-delay सेट करें।
- आउटपुट कॉपी करें या robots.txt डाउनलोड करके अपनी साइट की रूट में अपलोड करें।
उपयोग के मामले
SEO पेशेवर, वेब डेवलपर और साइट एडमिन क्रॉल बजट ऑप्टिमाइज़ करने, संवेदनशील क्षेत्रों की सुरक्षा और आक्रामक स्क्रेपर्स को ब्लॉक करने के लिए उपयोग करते हैं।
अक्सर पूछे जाने वाले प्रश्न
- क्या robots.txt पेज को सर्च में आने से रोकता है? — यह क्रॉलिंग रोकता है लेकिन इंडेक्सिंग नहीं। इंडेक्सिंग रोकने के लिए noindex मेटा टैग या X-Robots-Tag हेडर का उपयोग करें।
- क्या सभी क्रॉलर robots.txt का सम्मान करते हैं? — Googlebot और Bingbot जैसे विश्वसनीय क्रॉलर करते हैं। दुर्भावनापूर्ण स्क्रेपर इसे अनदेखा कर सकते हैं।
- robots.txt कहाँ रखनी चाहिए? — हमेशा डोमेन की रूट में। उदाहरण: https://example.com/robots.txt