مقال

طريقة اضافة ملف الروبوت الي مدونة بلوجر، ملف روبوتس robots.txt بلوجر

Mohamed Gad

طريقة اضافة ملف الروبوت Robots.txt الي مدونة بلوجر، ملف روبوتس robots.txt بلوجر

سأعرض لكم في هذه التدوينة كيفية إضافة ملف الروبوت Robots.txt الي مدونة بلوجر؟ وسأوضح طريقة إنشاء ملف robots.txt بلوجر بالتفصيل للمبتدئين، وسأجيب عن السؤال الشائع: ما هو ملف الروبوت robots.txt؟

ما هو ملف Robots.txt بلوجر؟ شرح ملف Robots.txt.

ملف الروبوت هو عبارة عن ملف مخصص يحتوي علي مجموعة من الاوامر التي تعطي محركات البحث وجوجل، اوامر عن ما يمكن ارشفته من صفحات في موقعك وعن تلك الصفحات التي يجب ان تبقي بدون ارشفة.
طريقة اضافة ملف الروبوت Robots.txt وملف السيت ماب Site map وملف الـ Ads.txt، مدونة بلوجر

ملف Robots.txt مخصص لمدونة بلوجر Blogger

يُعَد ملف الروبوت من الملفات الهامة في عملية أرشفة مقالاتك وموضوعاتك وبالتالي ظهورها في عمليات البحث في جوجل أو محركات البحث الآخري .
يعمل ملف الروبوت robots.txt علي منع أو السماح لروبوتات جوجل بأرشفة بعض المقالات أو منع أرشفة بعضها، وبالتالي يمكنك التحكم في المقالات التي يمكنها الظهور في محركات البحث.
لذلك إضافة ملف Robots.txt أمر هام جداً بالنسبة للمدونة؛ كما أن إضافة ملف السايت ماب Sitemap أمر ضروري أيضاً حتي يجعل بوتات جوجل قادرة علي قراءة وتصفح مدونتك والمواضيع التي تنشرها عليها. 


طريقة إضافة ملف الروبوت الي مدونة بلوجر Robots.txt:

  1. قم بالتوجه الي بلوجر Blogger ثم الي الاعدادات Settings ثم الي تفضيلات البحث أو Search Preference.

  2. قم بالضغط علي تعديل أو Edit لنقوم بإضافة كود ملف robots.txt.

  3. بجانب كلمة Custom Robots.txt قم بالضغط علي كلمة تعديل أو Edit، بعدها سيظهر مربع صغير لإدخال وتحميل ملف الروبوت.
  4. قم بنسخ كود ملف الروبوت robots.txt وضعه في مربع الإدخال.

  5. كود ملف الروبوت Robots.txt:

    User-agent: Mediapartners-Google
    Disallow:
    User-agent: *
    Allow: /
    Disallow:/search
    Disallow: /*?updated-max=*
    Allow: /search/label
    
    Sitemap: https://www.yoursite.com/sitemap.xml 

  6. قبل لصق كود ملف الروبوت في مربع الادخال، اتبع التعليمات كما بالأسفل.

  7. قم بإضافة هذا الكود وعمل حفظ أو Save ، ولكن قم بتغيير عنوان مدونتك، أي قم بتبديل yoursite باسم موقعك ففي حالتي مثلا أقوم بتبديل yoursite بــ mobtakr.
    كما أن عبارة Allow: /search/label مهمة جدا حتي تسمح بأرشفة صفحات التسميات الخاصة بمدونتك، وهذا شئ ضروري للقبول في برنامج أدسنس حيث أنه يحل مشكلة :
    Yoursite is down or unavailable موقعك غير متاح قم باصلاح هذه المشاكل

    شرح كود ملف Robots.txt بلوجر :

    1. كود User-agent: Mediapartners-Google يقوم بتحديد جميع عناكب الانترنت الخاصة بالاعلانات مع برنامج ادسنس.
    2. يقوم هذا الكود بتحديد عناكب أو بوتات الاعلانات، وكلمة Disallow اسفله تقوم بمنع تلك العناكب من الوصول أو ارشفة مدونتك.
    3. كود User-agent: * يقوم بتحديد جميع عناكب الانترنت الخاصة بمحركات البحث والمسؤولة عن أرشفة الصفحات.
    4. هذا الكود يقوم بتحديد جميع عناكب الانترنت، ومن ثم تأتي بعده مجموعة من أوامر Allow & Disallow لتحديد أي الصفحات التي من الممكن ارشفتها وتلك الممنوع علي محركات البحث من الولوج أو الزحف اليها وفهرستها.
    5. كود ِ Allow: / يقوم بالسماح لمحركات البحث بأرشفة جميع صفحات موقعك.
    6. يقوم كود Allow: / بالسماح لمحركات البحث مثل جوجل بأرشفة جميع صفحات موقعك كاملةً، وإذا أردت إستبعاد بعض الصفحات نقوم بستخدام كود Disallow لإستثناء مجموعة ضمنية من صفحات موقعك.
    7. كود Disallow:/search يقوم بمنع أرشفة صفحات البحث.
    8. يقوم كود Disallow:/search بمنع أرشفة صفحات البحث، وبالتالي يمنع ارشفة صفحات التسميات ولذلك قمنا باضافة الكود الثالث.
    9. كود Allow:/search/label يقوم بالسماح لأرشفة صفحات البحث الخاصة بالتسميات.
    10. يقوم كود Allow:/search/label بالسماح لمحركات البحث لأرشفة صفحات التسميات، وبالتالي تظهر صفحات التسميات في محركات البحث.
    11. كود Disallow: /*?updated-max=* يقوم بمنع ارشفة صفحات التنقل الخاصة بمدونة بلوجر، بحيث يمنعها من الظهور في محركات البحث.
    12. صفحات التنقل هي تلك الصفحات الخاصة بالـ Navigation أو بمعني أدق هي الصفحات التي تحتوي علي التدوينات القديمة.
    13. كود Sitemap: your sitemap url يقوم بإشهار ملف السايت ماب الخاص بمدونتك لدي محركات البحث.
يمكنك من هنا الاطلاع علي صفحة المساعدة الخاصة بجوجل عن: ملف الروبوت Robots.txt.

إطلع أيضاً: طريقة اضافة ملف الـ Ads.txt الي مدونة بلوجر

شرح اعدادات علامات رؤوس مخصصة لبرامج الروبوت Custom robots header tag

وبالنسبة لـ Custom robots header tags أو بالعربي علامات الرؤوس المخصصة لبرامج الروبوت: أنا أنصح الجميع بتفعيل كل الرؤوس كما أفعل في مدونتي :
في مدونتي أقوم بتفعيل all أو الكل في خانة الصفحة الرئيسية الـ Homepage. إذا أردت عدم أرشفة الصفحة الرئيسية وبالتالي عدم ظهورها في محركات البحث يمكنك التعليم علي noindex و noarchive وفي خانة صفحات البحث والتسميات أو الـ Archive and Search pages أقوم بتفعيل all وذلك حتي تظهر صفحات التسميات في نتائج البحث. وايضاً إذا أردت عدم أرشفة صفحات البحث والتسميات وبالتالي عدم ظهورها في محركات البحث يمكنك التعليم علي noindex و noarchive وهكذا كما يتضح من الصورة في الاسفل.

شرح علامات رؤوس مخصصة لبرامج الروبوت:

في الاسفل جدول لشرح العلامات المخصصة لبرامج Robots.txt.
Custom robots header tags Blogger
Custom robots header tag الوظيفة والشرح

noindex

هذا التاج noindex يقوم بمنع ارشفة الصفحة، أي أنه يقوم بمنع الفهرسة والظهور في محركات البحث.

nofollow

تاج nofollow يقوم بمنع محركات البحث من تتبع الروابط في الصفحة أثناء عملية الزحف والارشفة.

noarchive

تاج noarchive يقوم بمنع محركات البحث من تخزين نسخة ثابته من موقعك، أي أنه يقوم بمنع عمل Cashing للصفحة.

nosnippet

تاج nosnippet يقوم بمنع محركات البحث من عرض وصف للصفحة أسفل العنوان في نتائج البحث.

noimageindex

تاج noimageindex يمنع محركات البحث من ارشفة الصور الموجودة في الصفحة.

all

تاج all يكافئ استخدام تاج index وتاج follow معاً؛ أي أنه يسمح لمحركات البحث من ارشفة الصفحة وتتبع الروابط الموجودة بها.

none

تاج none يكافئ استخدام تاج noindex وتاج nofollow معاً، أي أنه يمنع ارشفة الصفحة ويمنع تتبع الروابط.

notranslate

تاج notranslate يمنع محركات البحث من ترجمة الصفحة الي لغات آخري غير المكتوبة بها.

noodp

تاج noodp (تم إلغائه) يمنع محركات البحث من عرض وصف عشوائي من الصفحة اسفل العنوان في نتائج البحث، وذلك بدلاً من الوصف الخاص بالـ Meta Description.
يمكنك من هنا التعرف علي المزيد عن: Custom Header Tags من مدونة جوجل ويب ماسترز. كن حذراً أثناء تعاملك مع ملف Robots.txt حيث أنه يتعلق بمحركات البحث وبأرشفة مواضيعك وظهورها في نتائج البحث. وتُستَخدم هذه العلامات في منع بعض الصفحات من الارشفة والظهور في نتائج البحث كما مع تاج noindex، فإذا أردت مثلاً منع أرشفة صفحة سياسة الخصوصية يمكنك ذلك باستخدام علامات الرؤوس المخصصة لبرامج الروبوت.

يمكنك الاطلاع علي المصادر من هذا الرابط ملف ال robots.txt


إذا لديك أي سؤال أو بعض الجزئيات الغير واضحة، قم بترك تعليق في الاسفل وشكراً.

هناك 4 تعليقات:

  1. أزال المؤلف هذا التعليق.

    ردحذف
    الردود
    1. لا طالما قمت بتحديث ملف الروبوت هيتم ارشفة المقالات تاني و محركات البحث هتقرأ الملف الجديد والملف القديم ده بيتمسح.

      حذف
  2. مقال اكثر من رائع لأن بالتأكيد ملف الروبوت تكست يلعب دور هام في ارشفة المقالات وظهورها في محرك البحث بالإضافة الي ذلك فيمكنك من خلال هذا الملف تحديد الصفحات التي تريد ارشفتها وظهورها في محرك البحث والعكس صحيح .

    واتمني من حضراتكم زيارة موقع المحترف بلس فهو موقع تقني www.almohtarif-plus.com

    ردحذف