كيف أنشئ ملف robots.txt مخصصًا وأضفه في Blogger - الزحف والفهرس..؟

هل سبق لك أن سمعت اسم robots.txt أو أضفت ملف robots.txt مخصصًا في مدونتك على Blogger. سنناقش هنا حولملف robots.txt وكيفية إنشاء ملف robots.txt مخصص في Blogger وإضافته . كل ذلك يتعامل مع الزحف إلى مدونتك وفهرستها والتي تغطي مدونتكلمحركات البحث ، لذا احرص على تدوين هذه المقالة.

يوجد في Blogger قسم يُطلق عليه تفضيلات البحث التي تغطي مدونات Meta tag والأخطاء / إعادة التوجيه والزحف والفهرسة. هناك يمكنك إدارة عرض مدوناتك باستخدام محركات البحث أيضًا للحفاظ على مدونة صحية تحتاج إلى تخصيص تفضيلات بحث مدوناتك بشكل فعال. تم إرسال بعض المقالات مرةً أخرى حول كيفية استخدام عمليات إعادة التوجيه المخصصة في Blogger .في حالة وجود روابط معطلة في مدونتك أو في حالة تغيير عنوان URL لمشاركة المدونة ، يمكنك الاستفادة من عمليات إعادة التوجيه المخصصة في Blogger. لنرى هنا حول ملف robots.txt واستخدام إضافة ملف robots.txt مخصص في Blogger.

ما هو ملف robots.txt؟

يقوم محرك البحث مثل Google بإرسال العناكب أو برامج الزحف إلى أي نوع قد يكون برنامجًا ينتقل عبر الويب.عندما تصل برامج تتبع الارتباطات أو برامج تتبع الويب هذه إلى موقعك ، فإنها تخرج أولاً من ملف robots.txt للتحقق من أي بروتوكول لاستبعاد برامج الروبوت قبل الزحف إلى صفحاتك وفهرستها.

Robots.txt هو ملف نصي عادي يتوفر على جميع مواقع الويب التي يستخدمها مشرف الموقع لتقديم المشورة إلى برامج الزحف هذه حول الوصول إلى عدة صفحات على موقع الويب. لن يتم الزحف إلى الصفحات المقيدة في ملف robots.txt وفهرستها في نتائج البحث. ومع ذلك ، فإن جميع هذه الصفحات قابلة للعرض علنًا على البشر العاديين.

سيكون لكل مدون في Blogger ملف robots.txt يأتي افتراضيًا ويبدو شبيهًا بالآتي أدناه. يمكنك التحقق من ملف robots.txt الخاص بمدوناتك بإضافة /robots.txt بجوار اسم نطاقك. (http://yoursite.blogspot.com/robots.txt )

1	User-agent: Mediapartners-Google

2

Disallow:

3

4	User-agent: *

5	Disallow: /search

6

Allow: /

7

8

Sitemap: <a class="vglnk" href="http://yoursite.blogspot.com/feeds/posts/default?orderby=UPDATED" rel="nofollow"><span>http</span><span>://</span><span>yoursite</span><span>.</span><span>blogspot</span><span>.</span><span>com</span><span>/</span><span>feeds</span><span>/</span><span>posts</span><span>/</span><span>default</span><span>?</span><span>orderby</span><span>=</span><span>UPDATED</span></a>

إذن ما هذه؟
كما ترون أعلاه ، يحتوي ملف robots.txt الافتراضي على أشياء قليلة مثل وكيل المستخدم وشركاء الوسائط - Google و user-agent: * و disallow وخريطة الموقع. إذا لم تكن على علم بهذه الأمور ، فإليك التفسير.

تحتاج أولاً إلى معرفة وكيل المستخدم وهو وكيل برامج أو برنامج عميل يتصرف نيابة عنك.

Mediapartners-Google - Media partner Google هو وكيل المستخدم ل Google AdSense الذي يتم استخدامه لخادم أفضل الإعلانات ذات الصلة على موقعك على أساس المحتوى الخاص بك. لذلك إذا لم تسمح بذلك ، فلن تتمكن من رؤية أي إعلانات على صفحاتك المحظورة.

User-agent: * - حتى تعرف جميعًا وكيل المستخدم ، فما هو وكيل المستخدم: *. ينطبق وكيل المستخدم الذي تم وضع علامة عليه بعلامة النجمة (*) على جميع برامج الزحف والروبوتات التي يمكن أن تكون برامج الروبوت Bing أو برامج الزحف التابعة أو أي برنامج عميل يمكن أن يكون.

عدم السماح: عند إضافة عدم السماح ، فأنت تطلب من برامج الروبوت عدم الزحف إلى الصفحات وفهرستها. لذلك ، أسفل وكيل المستخدم: * يمكنك أن ترى Disallow: / search وهو ما يعني عدم السماح بنشر نتائج بحث المدونات بشكل افتراضي. أنت لا تسمح للزواحف بالدخول إلى الدليل / البحث الذي يأتي بعد اسم نطاقك. هذه صفحة بحث مثل http://yoursite.blogspot.com/search/label/yourlabel لن يتم الزحف إليها ولن يتم فهرستها مطلقًا.

السماح - السماح: / يشير ببساطة إلى أو أنك تسمح لمحركات البحث بالتحديد بالزحف إلى هذه الصفحات.

ملف Sitemap: يساعد ملف Sitemap في الزحف إلى جميع صفحاتك القابلة للوصول وفهرستها ، وبذلك يمكنك في robots.txt افتراضيًا رؤية مدونتك التي تسمح بشكل خاص لبرامج الزحف بالدخول إلى ملفات sitemap. يمكنك معرفة المزيد حول خريطة موقع Blogger هنا. هناك مشكلة في ملف Sitemap الافتراضي في Blogger ، لذلك تعرف على كيفية إنشاء ملف sitemap في Blogger وإبلاغ محركات البحث.

ما الصفحات التي يجب عدم السماح بها في Blogger؟
هذا السؤال قليل الصعوبة ولا يمكننا التنبؤ بما تسمح به الصفحات وما لا تسمح به في مدونتك. يمكنك عدم السماح لصفحات مثل سياسة الخصوصية ، والبنود والشروط ، والروابط التابعة المحجوبة ، والتصنيفات بالإضافة إلى نتائج البحث وتعتمد على كل شيء عليك. نظرًا لأنك تحصل على بعض الزيارات المعقولة من نتائج البحث ، لا يوصى بعدم السماح لصفحة التصنيفات وصفحة سياسة الخصوصية وصفحة TOS.

كيفية عدم السماح للصفحات في Blogger باستخدام robots.txt
لا يمكنك منع محركات البحث من الزحف إلى صفحات أو مشاركات معينة في Blogger وفهرستها باستخدام ملف robots.txt الخاص بك.

لا نملك سبب حظر محركات البحث في أي مشاركات معينة ، وإذا كنت ترغب في ذلك ، فما عليك سوى إضافة Disallow: /year/month/your-post-url.html في ملف robots.txt. هذا هو نسخ عنوان URL للمشاركة بجوار اسم نطاقك وإضافته في ملف robots.txt الخاص بك.

نفس ما ستحتاج إلى القيام به لإلغاء أي صفحات معينة. انسخ عنوان URL للصفحة بجوار اسم نطاقك وأضفه مثل Disallow: /p/your-page.html في ملف robots.txt الخاص بك.

أفضل ملف robots.txt وموصى به لـ Blogger
لا تستخدم سوى ملف robots.txt مخصص إذا كنت متأكدًا بنسبة 100٪ مما تفعله. قد يؤدي الاستخدام غير السليم لملف robots.txt المخصص إلى الإضرار بترتيب موقعك. لذا للحصول على أفضل النتائج ، يوصى باستخدام ملف robots.txt الافتراضي في Blogger والذي يعمل جيدًا. ولكن غيّر ملف sitemap الافتراضي في ملف robots.txt الخاص بك وأضف خريطة الموقع المخصصة لـ Blogger.

كيفية إنشاء وإضافة ملف robots.txt مخصص في Blogger
في wordpress ، يجب إنشاء ملف robots.txt في المفكرة وتحميله إلى الدليل الجذر على الويب. ولكن هنا في Blogger ، يمكنك إضافة ملف robots.txt بسهولة من لوحة تحكم مدونتك. لإضافة ملف robots.txt مخصص ، قم فقط بتسجيل الدخول إلى ملفك الشخصي في Blogger وتحديد مدونتك. انتقل الآن إلى لوحة التحكم >> الإعدادات >> تفضيلات البحث ويمكنك رؤية ملف robots.txt مخصص في قسم الزحف والفهرسة. انقر فوق تحرير وقم بتمكين محتوى robots.txt مخصص وقم بإضافة ملف robots.txt الخاص بك

إنشاء ملف إنشاء ملف robots.txt مخصص في Blogger

بمجرد الانتهاء ، انقر فوق حفظ التغييرات. الآن للتحقق من ملف robots.txt الخاص بك ، أضف /robots.txt في نهاية عنوان URL الخاص بمدونتك ويمكنك رؤية ملف robots.txt المخصص الخاص بك. بعد إضافة ملف robots.txt المخصص ، يمكنك إرسال مدونتك إلى محركات البحث. تعرف على كيفية إرسال مدونتك إلى Google وBing -Submit your Site to Bing و Yahoo.

نأمل أن توضح لك هذه المشاركة بوضوح عن robots.txt وكيفية إنشاء وإضافة ملف robots.txt مخصص في Blogger. يرجى مشاركتها وإذا كانت لديك أي شكوك أخرى في ملف robots.txt في Blogger ، فلا تتردد في التعليق أدناه.