منشئ robots.txt

أنشئ ملف robots.txt بصريًا للتحكم في وصول زواحف محركات البحث إلى موقعك.

الإعدادات المسبقة

قاعدة 1

User-agent — واحد لكل سطرAllow — مسار واحد لكل سطرDisallow — مسار واحد لكل سطر

رابط خريطة الموقعCrawl-delay (ثانية)

ملف robots.txt المُنشأ

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

يُخبر ملف robots.txt زواحف الويب المتوافقة بالصفحات أو الأقسام التي يمكنها أو لا يمكنها الزحف إليها وفهرستها. يجب وضعه في الجذر الرئيسي لنطاقك.

استخدم الإعدادات المسبقة للتكوينات الشائعة أو أنشئ قواعد مخصصة لكل زاحف. إضافة رابط خريطة الموقع يتيح للزواحف اكتشافها تلقائيًا.

يستخدمه متخصصو SEO والمطورون ومديرو المواقع لتحسين ميزانية الزحف وحماية المناطق الحساسة وحظر أدوات الكشط العدوانية.

هل يمنع robots.txt ظهور الصفحات في نتائج البحث؟ — يمنع الزحف لكن لا يمنع الفهرسة. استخدم وسم noindex أو رأس X-Robots-Tag لمنع الفهرسة.
هل تحترم جميع الزواحف robots.txt؟ — تحترمه الزواحف الموثوقة مثل Googlebot وBingbot. قد تتجاهله أدوات الكشط الضارة.
أين يجب وضع robots.txt؟ — دائمًا في جذر النطاق. مثال: https://example.com/robots.txt