Robots.txt फाइल एक ऐसी फाइल है के इसे कभी अनदेखा नहीं करना चाहिए | हमें गूगल सर्च कन्सोल से कभी चेतावनी मिलती है |

“Sitemap contains URLs which are blocked by robots.txt” इसका अर्थ ये है के आप की वेबसाइट गूगल क्रौलर को आने की मनाई की गयी है | 

 इस पोस्ट में आप robots.txt फाइल का संक्षिप्त परिचय और ये कैसे काम करेगी और साथ ही साथ आनेवाले एरर को कैसे हल किया जाये इसके बारे में विस्तारपूर्वक जानने की कोशिश करते है |

Robots.txt क्या है?

Robots.txt फाइल टेक्स्ट आधारित फाइल हैं जो खोज इंजन को बताती हैं कि उन्हें क्या करना चाहिए और क्रॉल नहीं करना चाहिए। जब आप एक नया पोस्ट या पेज अपनी वेबसाइट पर प्रकाशित करते हैं, तो खोज इंजन बॉट्स खोज परिणामों में इसे अनुक्रमित करने के लिए इस सामग्री (content)  को क्रॉल करते हैं।

यदि आपके पास अपनी वेबसाइट के कुछ हिस्से हैं जिन्हें आप अनुक्रमित नहीं करना चाहते हैं तो आप उन्हें छोड़ने के लिए खोज बॉट को बता सकते हैं ताकि वे परिणाम पृष्ठ (page) पर दिखाई न दें।

उदाहरण के लिए, हम अपने wp-admin/ फोल्डर को  Disallow करते है तो बॉट disallow किये हुए फाइल और फोल्डर को छोड़ देगा और बाकी सभी फाइल को क्रौल कर लेगा | 

बॉट अपनी वेबसाइट पे आने के बाद पहले Robots.txt फ़ाइल पे जाके देखता है के उसके लिए क्या दिशानिर्देश दिए गए है |

Robots.txtफाइल को कैसे बनाए ?

Robots.txt फ़ाइल की निर्माण प्रक्रिया काफी सरल है और इसे या तो मैन्युअल रूप से बना सकते है | या वर्डप्रेस वेबसाइट पे प्लगइन के माध्यम से काम किया जाता है |

विभिन्न नियम हैं जिन्हें आप अपनी robots.txt फ़ाइल में परिभाषित कर सकते हैं और आप जो भी परिभाषित करना चाहते हैं वह आपकी अपनी आवश्यकताओं पर निर्भर करेगा। आपके वर्डप्रेस में SEO प्लगइन होगा तो ये फाइल को SEO प्लगइन द्वारा पहले से ही अपडेट किया होगा |  

आप Robot.txt फाइल चेक करने के लिए गूगल के इस लिंक पे जाके आपकी फाइल प्रॉपर्ली वर्क कर रही है या नहीं ये आप चेक कर सकते है | URLs which are blocked by robots.txt

Robots txt  फाइल में आनेवाले प्रोब्लेम

Sitemap contains URLs which are blocked by robots.txt

ब्लॉक किए गए साइटमैप URL आमतौर पर वेब डेवलपर्स द्वारा अपने robots.txt फ़ाइल को अनुचित रूप से कॉन्फ़िगर करने के कारण होते हैं।

जब आप अस्वीकार कर रहे हैं, तो आपको यह सुनिश्चित करने की आवश्यकता है कि आप जानते हैं कि आप क्या कर रहे हैं, यह चेतावनी दिखाई देगी और वेब क्रॉलर अब आपकी साइट को क्रॉल करने में सक्षम नहीं हो सकते हैं।

  • अपने robots.txt फ़ाइल के भीतर “Disallow Rules ” की जाँच करें।
  • cache प्लगइन में जाके Purge All caches ऑप्शन से क्लीन कर ले |
  • Google Console में से मैन्युअली आपके वेबसाइट को crawl कर ले (Search Console property > Crawl > Fetch) | गूगल फाइल चेकर से आपकी साइट प्रॉपरली काम कर रही है ये देख ले |