يمكن استخدام ملف Robots.txt في موقع الوردبريس بالطريقة التالية:
1. قم بإنشاء ملف Robots.txt في الجذر الرئيسي لموقع الوردبريس وضعه في الدليل الرئيسي للموقع (/public_html) باستخدام أي محرر نصوص.
2. استخدم الأمر User-agent لتحديد الروبوتات المختلفة المسموح لها بزيارة صفحات الموقع. مثلاً:
User-agent: *
Disallow:
3. يمكن تحديد التعليمات الخاصة بكل روبوت على حدة باستخدام User-agent بشكل مفرد، مثل:
User-agent: Googlebot
Disallow: /wp-admin/
User-agent: Yahoo! Slurp
Disallow: /private/
User-agent: *
Disallow:
4. يمكن استخدام Allow للسماح لروبوتات معينة بالدخول إلى صفحات معينة، مثل:
User-agent: Googlebot
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
5. يمكن استخدام Sitemap للإشارة إلى موقع خريطة الموقع للموقع، مثل:
User-agent: *
Disallow:
Sitemap: http://example.com/sitemap.xml
ينصح بتحديث ملف Robots.txt بشكل دوري وفي حالة التغيرات الكبيرة في الموقع. لمزيد من المعلومات، يمكن زيارة موقع ويب ماسترز جويلين أو استشارة متخصص SEO.