كيفية إنشاء ملف robots.txt مثالي لمحركات البحث
يخبر ملف Robots.txt محركات البحث بكيفية الزحف إلى موقع الويب الخاص بك مما يجعله أداة تحسين محركات البحث قوية بشكل لا يصدق.
في هذه المقالة ، سنوضح لك كيفية إنشاء ملف robots.txt مثالي لتحسين محركات البحث.
ما هو ملف robots.txt؟
Robots.txt هو ملف نصي يمكن لمالكي مواقع الويب إنشاؤه لإخبار روبوتات محركات البحث بكيفية الزحف إلى الصفحات وفهرستها على مواقعهم. عادةً ما يتم تخزينه في الدليل الجذر المعروف أيضًا باسم المجلد الرئيسي لموقع الويب الخاص بك.
يبدو التنسيق الأساسي لملف robots على النحو التالي:
User-agent: [user-agent name]Disallow: [URL string not to be crawled]User-agent: [user-agent name]Allow: [URL string to be crawled]Sitemap: [URL of your XML Sitemap]User-Agent: *Allow: /wp-content/uploads/Disallow: /wp-content/plugins/Disallow: /wp-admin/Sitemap: https://example.com/sitemap_index.xmlهل تحتاج إلى ملف Robots.txt لموقع ووردبريس الخاص بك؟
إذا لم يكن لديك ملف robots ، فستستمر محركات البحث في الزحف إلى موقعك الإلكتروني وفهرسته. ومع ذلك ، لن تتمكن من إخبار محركات البحث بالصفحات أو المجلدات التي لا ينبغي عليهم الزحف إليها. لن يكون لهذا تأثير كبير عندما تبدأ في إنشاء مدونة ولا تحتوي على الكثير من المحتوى. و مع نمو موقع الويب الخاص بك ولديك الكثير من المحتوى ، فمن المحتمل أن ترغب في التحكم بشكل أفضل في كيفية الزحف إلى موقع الويب الخاص بك وفهرسته. حيث تمتلك روبوتات البحث حصة زحف لكل موقع ويب. هذا يعني أنهم يزحفون إلى عدد معين من الصفحات أثناء جلسة الزحف. إذا لم ينتهوا من الزحف إلى جميع الصفحات على موقعك ، فسيعودون ويستأنفوا الزحف في الجلسة التالية.
هذا يمكن أن يبطئ معدل فهرسة موقع الويب الخاص بك. و يمكنك إصلاح ذلك عن طريق عدم السماح لروبوتات البحث بمحاولة الزحف إلى صفحات غير ضرورية مثل صفحات مدير ووردبريس وملفات الاضافات ومجلد السمات. من خلال عدم السماح للصفحات غير الضرورية ، فإنك تحفظ حصة الزحف الخاصة بك.
ما الذي يجب أن يكون عليه ملف Robots المثالي؟
تستخدم العديد من المدونات الشهيرة ملف robots بسيطًا جدًا. قد يختلف محتواها ، اعتمادًا على احتياجات الموقع المحدد:
User-agent: *Disallow: Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap.xmlUser-Agent: *Allow: /wp-content/uploads/Disallow: /wp-content/plugins/Disallow: /wp-admin/Disallow: /readme.htmlDisallow: /refer/Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap.xmlكيفية إنشاء ملف Robots.txt في ووردبريس؟
هناك طريقتان لإنشاء ملف robots.txt في WordPress. يمكنك اختيار الطريقة التي تناسبك.
الطريقة الأولى: تحرير ملف Robots.txt باستخدام Yoast SEO :
إذا كنت تستخدم إضافة Yoast SEO ، فإنه يأتي مع منشئ ملفات robots.txt. يمكنك استخدامه لإنشاء وتعديل ملف robots.txt مباشرة من منطقة إدارة ووردبريس الخاصة بك. ما عليك سوى الانتقال إلى SEO »الأدوات في مسؤول ووردبريس الخاص بك والنقر على رابط محرر الملف.
في الصفحة التالية ، ستعرض صفحة Yoast SEO ملف robots.txt الموجود لديك. إذا لم يكن لديك ملف robots ، فسيقوم Yoast SEO بإنشاء ملف robots.txt لك.
User-agent: *Disallow: /من المهم أن تحذف هذا النص لأنه يمنع جميع محركات البحث من الزحف إلى موقع الويب الخاص بك. بعد حذف النص الافتراضي ، يمكنك المضي قدمًا وإضافة قواعد ملف robots.txt الخاصة بك. نوصي باستخدام تنسيق robots.txt المثالي الذي شاركناه أعلاه.
بمجرد الانتهاء ، لا تنس النقر على الزر “حفظ ملف robots” لتخزين تغييراتك.
الطريقة الثانية: قم بتحرير ملف Robots.txt يدويًا باستخدام FTP
لهذه الطريقة ، سوف تحتاج إلى استخدام عميل FTP لتحرير ملف robots.txt. ما عليك سوى الاتصال بحساب استضافة ووردبريس الخاص بك باستخدام عميل FTP. بمجرد الدخول ، ستتمكن من رؤية ملف robots في المجلد الجذر لموقع الويب الخاص بك.
