Robots.txt फाइल एक ऐसी फाइल है के इसे कभी अनदेखा नहीं करना चाहिए | हमें गूगल सर्च कन्सोल से कभी चेतावनी मिलती है |
“Sitemap contains URLs which are blocked by robots.txt” इसका अर्थ ये है के आप की वेबसाइट गूगल क्रौलर को आने की मनाई की गयी है |
इस पोस्ट में आप robots.txt फाइल का संक्षिप्त परिचय और ये कैसे काम करेगी और साथ ही साथ आनेवाले एरर को कैसे हल किया जाये इसके बारे में विस्तारपूर्वक जानने की कोशिश करते है |
Robots.txt क्या है?
Robots.txt फाइल टेक्स्ट आधारित फाइल हैं जो सर्च इंजन को बताती हैं कि उन्हें कोनसा डेटा देखना चाहिए और कोनसे डेटा को अनदेखा करना है। जब आप एक नया पोस्ट या पेज अपनी वेबसाइट पर प्रकाशित करते हैं, तो सर्च इंजन के बॉट्स सर्च रिजल्ट में इसे इंडेक्स करने के लिए कंटेन्ट को क्रॉल करते हैं।
यदि आपके पास अपनी वेबसाइट के कुछ पेज या पोस्ट हैं जिन्हें आप इंडेक्स नहीं करना चाहते हैं तो आप सर्च बॉट को बता हैं की किस फाइल/फोल्डर को इंडेक्स नहीं करना ताकि वे परिणाम सर्च इंजिन पर दिखाई न दें।
उदाहरण के लिए, हम अपने wp-admin/ फोल्डर को Disallow करते है तो बॉट disallow किये हुए फाइल और फोल्डर को छोड़ देगा और बाकी सभी फाइल को क्रौल कर लेगा | वैसे ही हम अपने वेबसाइट पे टैग लगाते है हमने टैग इंडेक्स ना करने के लिए निर्देश दिए होंगे तो टैग के पेज इंडेक्स नहीं होते।
बॉट अपनी वेबसाइट पे आने के बाद पहले Robots.txt फ़ाइल पे जाके देखता है के उसके लिए क्या दिशानिर्देश दिए गए है | उसी के हिसाब से बॉट जिस डेटा / फाइल को डिसअलाऊ किया है उसे छोड़ देता है और बाकी के पेज को इंडेक्स कर लेता है।
Robots.txt फाइल को कैसे बनाए ?
वर्डप्रेस वेबसाइट पे इस फाइल को प्लगइन के माध्यम से बनाया जाता है | SEO प्लगइन हमारा ये काम आसान कर देता है और खुद फाइल को बनाता है। हमें अपने प्लगइन को सेटअप करते वक्त बताना होता है के क्या इंडेक्स करना है,और किसे छोड़ देना है। मै खुद अपनी सभी साइट पे टैग और केटेगरी पेज को डिसअलोव करता हु।
हमारे कोनसे पेज इंडेक्स हुए है उसे देखने के लिए सर्च बॉक्स में “site:webguide.in” करेंगे तो हमें जो इंडेक्स हुए पेज वो दिखाई देंगे। हम टैग / केटेगरी जैसे सर्च इंजिन पे काम में नहीं आनेवाले पेज को इंडेक्स से बचाएंगे तो क्रौलर का समय बचता है। और वो अपने अच्छे काम के पेज को रैंक करने में लगा सकता है।
Robots.txt फ़ाइल की बनाने की प्रक्रिया काफी सरल है और इसे मैन्युअल रूप से मतलब खुद लिख कर बना सकते है |
अलग अलग नियम हैं जिन्हें आप अपनी robots.txt फ़ाइल में परिभाषित कर सकते हैं। आप जो भी परिभाषित करना चाहते हैं वह आपकी अपनी आवश्यकताओं पर निर्भर करेगा। आपने वर्डप्रेस में SEO प्लगइन इनस्टॉल किया होगा तो ये फाइल को SEO प्लगइन द्वारा पहले से ही अपडेट किया होगा |
आप Robot.txt फाइल चेक करने के लिए गूगल के इस लिंक पे जाके आपकी फाइल प्रॉपर्ली वर्क कर रही है या नहीं ये आप चेक कर सकते है | URLs which are blocked by robots.txt
Robots txt फाइल में आनेवाले प्रोब्लेम
Sitemap contains URLs which are blocked by robots.txt
ब्लॉक किए गए साइटमैप URL आमतौर पर वेब डेवलपर्स द्वारा अपने robots.txt फ़ाइल को गलत तरीके से कॉन्फ़िगर करने के कारण होते हैं।
जब आप अस्वीकार कर रहे हैं, तो आपको यह सुनिश्चित करने की आवश्यकता है कि आप जानते हैं कि आप क्या कर रहे हैं, यह चेतावनी दिखाई देगी और वेब क्रॉलर अब आपकी साइट को क्रॉल करने में सक्षम नहीं हो सकते हैं।
- अपने robots.txt फ़ाइल के भीतर “Disallow Rules ” की जाँच करें।
- cache प्लगइन में जाके Purge All caches ऑप्शन से क्लीन कर ले |
- Google Console में से मैन्युअली आपके वेबसाइट को crawl कर ले (Search Console property > Crawl > Fetch) | गूगल फाइल चेकर से आपकी साइट प्रॉपरली काम कर रही है ये देख ले |
आपको इस लेख के जरिए robots.txt फाइल के बारे जो जरुरी है वो जानकारी मिली होगी ऐसी मै आशा करता हु। यदि कोई संदेह या सवाल मन में हो तो कमेंट के जरिए पूछ सकते है।