مدونة بناء موقع الكتروني

مقالات متعددة عن طريقة بناء موقعك لديك سؤال تواصل معنا

كيفية إنشاء ملف robots.txt مثالي لمحركات البحث

بواسطة | أكتوبر 11, 2020 | SEO

يخبر ملف Robots.txt محركات البحث بكيفية الزحف إلى موقع الويب الخاص بك مما يجعله أداة تحسين محركات البحث قوية بشكل لا يصدق.

في هذه المقالة ، سنوضح لك كيفية إنشاء ملف robots.txt مثالي لتحسين محركات البحث.

ما هو ملف robots.txt؟

Robots.txt هو ملف نصي يمكن لمالكي مواقع الويب إنشاؤه لإخبار روبوتات محركات البحث بكيفية الزحف إلى الصفحات وفهرستها على مواقعهم. عادةً ما يتم تخزينه في الدليل الجذر المعروف أيضًا باسم المجلد الرئيسي لموقع الويب الخاص بك.

يبدو التنسيق الأساسي لملف robots على النحو التالي:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
يمكن أن يكون لديك عدة أسطر من التعليمات للسماح أو عدم السماح بعناوين URL محددة وإضافة خرائط مواقع متعددة. إذا كنت لا تسمح بعنوان URL ، فإن روبوتات محرك البحث تفترض أنه مسموح لها بالزحف إليه.
هذا هو الشكل الذي يمكن أن يبدو عليه ملف robots.txt كمثال :
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
في مثال ملف robots أعلاه ، سمحنا لمحركات البحث بالزحف إلى الملفات وفهرستها في مجلد رفع في ووردبريس . بعد ذلك ، منعنا روبوتات البحث من الزحف إلى الاضافات وفهرستها ومجلدات إدارة ووردبريس . أخيرًا ، قدمنا ​​عنوان URL لخريطة موقع XML الخاصة بنا

هل تحتاج إلى ملف Robots.txt لموقع ووردبريس الخاص بك؟

إذا لم يكن لديك ملف robots ، فستستمر محركات البحث في الزحف إلى موقعك الإلكتروني وفهرسته. ومع ذلك ، لن تتمكن من إخبار محركات البحث بالصفحات أو المجلدات التي لا ينبغي عليهم الزحف إليها. لن يكون لهذا تأثير كبير عندما تبدأ في إنشاء مدونة ولا تحتوي على الكثير من المحتوى. و مع نمو موقع الويب الخاص بك ولديك الكثير من المحتوى ، فمن المحتمل أن ترغب في التحكم بشكل أفضل في كيفية الزحف إلى موقع الويب الخاص بك وفهرسته. حيث تمتلك روبوتات البحث حصة زحف لكل موقع ويب. هذا يعني أنهم يزحفون إلى عدد معين من الصفحات أثناء جلسة الزحف. إذا لم ينتهوا من الزحف إلى جميع الصفحات على موقعك ، فسيعودون ويستأنفوا الزحف في الجلسة التالية.

هذا يمكن أن يبطئ معدل فهرسة موقع الويب الخاص بك. و يمكنك إصلاح ذلك عن طريق عدم السماح لروبوتات البحث بمحاولة الزحف إلى صفحات غير ضرورية مثل صفحات مدير ووردبريس وملفات الاضافات ومجلد السمات. من خلال عدم السماح للصفحات غير الضرورية ، فإنك تحفظ حصة الزحف الخاصة بك.

ما الذي يجب أن يكون عليه ملف Robots المثالي؟

تستخدم العديد من المدونات الشهيرة ملف robots بسيطًا جدًا. قد يختلف محتواها ، اعتمادًا على احتياجات الموقع المحدد:

User-agent: *
Disallow:
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
يسمح ملف robots.txt لجميع الروبوتات بفهرسة كل المحتوى ويوفر لهم رابطًا إلى خرائط مواقع XML الخاصة بموقع الويب.
بالنسبة إلى مواقع ووردبريس، نوصي بالقواعد التالية في ملف robots.txt:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
هذا يخبر روبوتات البحث بفهرسة جميع صور وملفات ووردبريس . يمنع روبوتات البحث من فهرسة ملفات إضافات ووردبريس ، ومنطقة إدارة ووردبريس ، وملف ووردبريس التمهيدي ، والروابط التابعة و بإضافة خرائط المواقع إلى ملف robots ، فإنك تسهل على روبوتات Google العثور على جميع الصفحات الموجودة على موقعك.

كيفية إنشاء ملف Robots.txt في ووردبريس؟

هناك طريقتان لإنشاء ملف robots.txt في WordPress. يمكنك اختيار الطريقة التي تناسبك.

الطريقة الأولى: تحرير ملف Robots.txt باستخدام Yoast SEO :

إذا كنت تستخدم إضافة Yoast SEO ، فإنه يأتي مع منشئ ملفات robots.txt. يمكنك استخدامه لإنشاء وتعديل ملف robots.txt مباشرة من منطقة إدارة ووردبريس الخاصة بك. ما عليك سوى الانتقال إلى SEO »الأدوات في مسؤول ووردبريس الخاص بك والنقر على رابط محرر الملف.

اضافة يوست

في الصفحة التالية ، ستعرض صفحة Yoast SEO ملف robots.txt الموجود لديك. إذا لم يكن لديك ملف robots ، فسيقوم Yoast SEO بإنشاء ملف robots.txt لك.

ملف robots.txt

ستري هذا النص بشكل إفتراضي
User-agent: *
Disallow: /

من المهم أن تحذف هذا النص لأنه يمنع جميع محركات البحث من الزحف إلى موقع الويب الخاص بك. بعد حذف النص الافتراضي ، يمكنك المضي قدمًا وإضافة قواعد ملف robots.txt الخاصة بك. نوصي باستخدام تنسيق robots.txt المثالي الذي شاركناه أعلاه.

بمجرد الانتهاء ، لا تنس النقر على الزر “حفظ ملف robots” لتخزين تغييراتك.

الطريقة الثانية: قم بتحرير ملف Robots.txt يدويًا باستخدام FTP

لهذه الطريقة ، سوف تحتاج إلى استخدام عميل FTP لتحرير ملف robots.txt. ما عليك سوى الاتصال بحساب استضافة ووردبريس الخاص بك باستخدام عميل FTP. بمجرد الدخول ، ستتمكن من رؤية ملف robots في المجلد الجذر لموقع الويب الخاص بك.

رفع ملف روبيرت

إذا كنت لا تراه ، فمن المحتمل ألا يكون لديك ملف robots. في هذه الحالة ، يمكنك المضي قدمًا وإنشاء واحد.

Robots.txt هو ملف نصي عادي ، مما يعني أنه يمكنك تنزيله على جهاز الكمبيوتر الخاص بك وتحريره باستخدام أي محرر نص عادي مثل Notepad أو TextEdit. بعد حفظ التغييرات ، يمكنك رفعه مرة أخرى إلى المجلد الجذر لموقعك على الويب.

كيف تختبر ملف Robots.txt الخاص بك؟

بمجرد إنشاء ملف robots.txt الخاص بك ، فمن الأفضل دائمًا اختباره باستخدام أداة اختبار ملف robots. هناك العديد من أدوات اختبار ملف robots ، لكننا نوصي باستخدام الأداة الموجودة داخل Google Search Console. ما عليك سوى تسجيل الدخول إلى حساب Google Search Console الخاص بك ، ثم التبديل إلى موقع Google Search Console القديم على الويب.

طريقة اختبار ملف روبيرت

سينقلك هذا إلى واجهة Google Search Console القديمة. من هنا تحتاج إلى تشغيل أداة اختبار ملف robots.txt الموجودة ضمن قائمة “الزحف”.

نتيجة الاختبار

ستقوم الأداة تلقائيًا بجلب ملف robots لموقع الويب الخاص بك وتمييز الأخطاء والتحذيرات إذا وجدت أيًا منها.

اشترك في القائمة البريدية واحصل على كتاب

ادوات تحتاجها لبناء موقعك الاكتروني

اشترك في القائمة البريدية واحصل على كتاب

ادوات تحتاجها لبناء موقعك الاكتروني

لقد تم اشتراكك في القائمة قم بتفعيل اشتراكك للحصول على الكتاب

Share This
%d مدونون معجبون بهذه: