ملف Robots.txt ايه لازمته و بيعمل ايه و طريقة تركيبه بموقعك.....أهلا وسهلا بك عزيزي الزائر في مدونتنا المتواضعة في موضوع جديد من الموضوعات الخاصة بقسم الربح من بلوجر و هو عن ملف Robots.txt نتمني لك قضاء وقت ممتع اثناء قراءة المقال و تحقيق الإستفادة المنشودة .
أعزائى زوار و متابعين مدونة عالم كهرمان معنا ستستمتع و تستفيد بشروحات و تحميلات عن كل ما هو جديد و مميز و مفيد فى مجالات الربح من الانترنت و شروحات التطبيقات المفيدة لهواتفكم و عجائب و غرائب حولنا و غيرها من الموضوعات المفيدة .
شرحنا الهدف منه الإفادة بشكل مبسط فأغلبية الشروحات تعتمد على صور توضيحية لما يتم شرحه.
 |
| ملف Robots.txt ايه لازمته و بيعمل ايه و طريقة تركيبه بموقعك |
ما هو ملف Robots.txt بلوجر؟ شرح ملف Robots.txt
ملف الروبوت هو عبارة عن ملف مخصص يحتوي علي مجموعة من الاوامر التي تنظم و ترشد الروبوتات الخاصة بمحركات البحث مثل جوجل و بينج و غيرها ، اوامر عن ما يمكن ارشفته من صفحات في مدونتك و عن تلك الصفحات التي تريد ان تكون بدون فهرسة .
طريقة تركيب ملف Robots.txt لمدونة بلوجر
تستطيع تركيب ملف Robots.txt جاهز بكل سهولة من خلال تنزيله من هذا الرابط مباشرة من هنـــــــــــــا بعد الانتهاء من التحميل قم بفتح الملف و تعديل الرابط من yoursite إلي رابط مدونتك ثم انسخ الكلام الموجود ثم قم بالذهاب إلى لوحة تحكم بلوجر الخاصة بمدونتك ثم من خلال الإعدادات قم بتفعيل محتوي ملف Robots.txt مخصص و افتح الخانة الخاصة به و الصق المحتوي الذي قمت بنسخه ثم قم بحفظ الملف .
لا تنسي بعد الانتهاء ان تقوم بالدخول علي هذا الرابط اضغط هنـــــــــــــا لإرسال و فحص ملف Robots.txt و بعد إرسال الملف سوف تقوم جوجل باعتماد هذا الملف لذلك قم بالرجوع إلى اعدادات المدونة و قم بإلغاء خيار تفعيل محتوي ملف Robots.txt مخصص
شرح معاني الادوات الموجودة بملف Robots.txt
User-agent: Mediapartners-Google
هذه الأداة خاصة بجوجل ادسنس و هي ثابتة فى كل المدونات أو المواقع التي تضم اعلانات جوجل ادسنس .
User-agent: *
هذه الأداة خاصة بروبوتات البحث جوجل ،بينج ، ……الخ طالما ينتهى بعلامة ” * ” النجمه ، اما لو مسحت النجمة فأنت مضطر بأن تذكر كل روبوت لوحده ، مثل روبوت جوجل User-agent: googlebot أو روبوت تويتر مثلا User-agent: Twitterbot وكل روبوت حينها يحتاج أن تضع تحته مجموعة الأوامر بالموافقة والرفض لمحتويات موقعك للإطلاع عليه و ارشفته .
Disallow: /*?updated-max=*
يقوم بحظر فهرسة صفحات التنقل الخاصة بمدونة بلوجر ، بحيث يحظرها من الظهور في محركات البحث .
صفحات التنقل
هي الصفحات الخاصة بالـ Navigation اي التي تشمل التدوينات القديمة .
Disallow:/search
يحظر فهرسة صفحات البحث ، و بالتالي يحظر فهرسة صفحات التسميات .
Allow:/search/label
مهمة للغاية حتي تسمح بفهرسة صفحات التسميات الموجودة بمدونتك و بالتالي تظهر في محركات البحث ، و هذا شئ يساهم في القبول في برنامج أدسنس حيث أنه يساهم في حل مشكلة :
Yoursite is down or unavailable
موقعك غير متاح قم باصلاح هذه المشاكل
Sitemap: https://www.yoursite.com/sitemap.xml
هي الخريطة التي تضم روابط المواضيع لموقعك حيث https://www.yoursite.com/ هو رابط موقعك .
Disallow
هذا الأمر تستطيع من خلاله وضع الروابط التي لا تريد لروبوتات محركات البحث الدخول اليها و ارشفتها حسب ما تريد .
Allow
على عكس ما سبق ، فهو يسمح لروبوتات محركات البحث بالدخول إلى أقسام الموقع أيضا حسب ما تريد .
لماذا تحتاج الي ملف robots.txt في موقعك
إذا كان ملف robots.txt غير موجود بموقعك ، فستستمر روبوتات محركات البحث بالزحف الي موقعك و الأرشفة دون ضوابط ، و لن تستطيع إخبار محركات البحث بالصفحات أو المجلدات التي لا تريد الوصول إليها .
لن يكون للملف فائدة كبيرة اذا كان موقعك ما زال حديثا و به القليل من المواضيع .
لكن مع نمو الموقع وزيادة حجم المحتوى فمن المرجح أن تريد التحكم بشكل مناسب في طريقة زحف عناكب البحث الي موقعك و ارشفته .
روبوتات البحث تقوم بالزحف إلى عدد معين من الصفحات خلال جلسة الزحف . إذا لم ينتهي الزحف إلى كل صفحات موقعك ، فسوف يرجعون و يستأنفون عملية الزحف مرة اخري الأمر الذي يمكن أن يبطئ من معدل ارشفة موقعك .
تستطيع إصلاح ذلك من خلال عدم السماح لروبوتات البحث من القدرة علي الزحف إلي الصفحات غير المهمة مثل صفحات من نحن و سياسة الخصوصية و اتصل بنا .
بإلغاء الصلاحية بالدخول الي الصفحات غير المهمة ، تستطيع تحديد الصفحات الضرورية و المهمة في موقعك . هذا يساعد روبوتات محركات البحث في الزحف إلى العديد من صفحات موقعك و ارشفتها في أسرع وقت ممكن .
سبب آخر لاستعمال ملف robots.txt هو استعماله عندما تحتاج إلى منع روبوتات محركات البحث من ارشفة مقال أو صفحة داخل موقعك .
و لا تنسي ايضا بتفعيل علامات رؤوس مخصصة لبرامج الروبوت و ننصحك بإختيار all بالنسبة لعلامات الصفحة الرئيسية و علامات صفحات الأرشيف و البحث و علامات المشاركات و الصفحات و لك كامل الحرية في الاختيار .
شرح اعدادات علامات رؤوس مخصصة لبرامج الروبوت Custom robots header tag
noindex
هذا الخيار يمنع فهرسة الصفحات و منعها من الظهور بمحركات البحث .
nofollow
يقوم هذا الخيار بمنع روبوتات محركات البحث من تتبع الروابط في الصفحة أثناء عملية الزحف و الفهرسة .
noarchive
يقوم هذا الخيار بمنع روبوتات محركات البحث من تخزين نسخة ثابتة من مدونتك ، أي أنه يقوم بمنع عمل Cashing للصفحة .
nosnippet
يقوم هذا الخيار بمنع روبوتات محركات البحث من إظهار وصف للصفحة أسفل العنوان في نتائج البحث .
noimageindex
هذا الخيار يمنع روبوتات محركات البحث من فهرسة الصور الموجودة في الصفحة .
all
يوازي استعمال تاج index و تاج follow معاً ؛ أي أنه يسمح لروبوتات محركات البحث من فهرسة الصفحة و تتبع الروابط الموجودة بها .
none
يوازي استعمال تاج noindex و تاج nofollow معاً ، أي أنه يمنع فهرسة الصفحة و يحظر تتبع الروابط .
notranslate
يحظر روبوتات محركات البحث من ترجمة الصفحة الي لغات آخري غير الموجودة بها .
و هكذا نصل بكم إلى ختام هذا المقال الذي تناولنا فيه الحديث عن ملف Robots.txt و طريقة تركيبه بالمدونة و شرح معاني الادوات الموجودة به و لماذا نحتاج إلى ذلك الملف .
اتمني من المولي عز و جل أن أكون قد اوصلت لحضراتكم المعلومة بطريقة مبسطة و مفهومة فإن كنت وفقت فهذا فضل من المولي عز و جل و إن كنت قد أخفقت فهذا مني و من الشيطان و السلام عليكم و رحمة الله و بركاته.
تنويه
يعتبر إستخدامك لما تحتويه المدونة من مواضيع أو شروحات أو برامج يتم على مسئوليتك الشخصية و ليس للمدونة دخل به .ولا نلتزم بأي مسئولية تنتج عن أى أخطاء من إستخدامك للمدونة أو خدماتها أو محتوياتها .
