By using this site, you agree to the Privacy Policy and Terms of Use.
Accept
वेब गाइडवेब गाइड
  • वेबसाइट निर्माण
  • टूल किट
  • सम्पर्क करे
Notification Show More
Latest News
कीवर्ड रिसर्च करने का तरीका (बिना किसी टूल के )
ब्लॉगिंग
bigrock affiliate
बिग रॉक एफिलिएट क्या है इससे पैसे कैसे कमाए ?
फ्रीलॉन्सिंग
domain name kya hai
एफिलिएट मार्केटिंग में लोग फेल क्यू होते है?
मनी मेकिंग आईडिया
domain name kya hai
बढ़िया डोमेन नेम कैसे चुने ?
वेबसाइट डेवलपमेंट
keyword research
कीवर्ड रिसर्च कैसे करे ?
एस ई ओ वेबसाइट डेवलपमेंट
वेब गाइडवेब गाइड
  • वेबसाइट निर्माण
  • टूल किट
  • सम्पर्क करे
Search
  • वेबसाइट निर्माण
  • टूल किट
  • सम्पर्क करे
Follow US
वेब गाइड > Blog > वेबसाइट डेवलपमेंट > robots.txt फाइल में एरर कैसे ठीक करे ?
वेबसाइट डेवलपमेंट

robots.txt फाइल में एरर कैसे ठीक करे ?

Rajendra
Last updated: 2023/01/16 at 11:23 अपराह्न
Rajendra Published 13 अगस्त 2022
Share
SHARE

Robots.txt फाइल एक ऐसी फाइल है के इसे कभी अनदेखा नहीं करना चाहिए | हमें गूगल सर्च कन्सोल से कभी चेतावनी मिलती है |

Contents
Robots.txt क्या है?Robots.txt फाइल को कैसे बनाए ?Robots txt  फाइल में आनेवाले प्रोब्लेम  

“Sitemap contains URLs which are blocked by robots.txt” इसका अर्थ ये है के आप की वेबसाइट गूगल क्रौलर को आने की मनाई की गयी है | 

 इस पोस्ट में आप robots.txt फाइल का संक्षिप्त परिचय और ये कैसे काम करेगी और साथ ही साथ आनेवाले एरर को कैसे हल किया जाये इसके बारे में विस्तारपूर्वक जानने की कोशिश करते है |

Robots.txt क्या है?

Robots.txt फाइल टेक्स्ट आधारित फाइल हैं जो सर्च इंजन को बताती हैं कि उन्हें कोनसा डेटा देखना चाहिए और कोनसे डेटा को  अनदेखा करना है। जब आप एक नया पोस्ट या पेज अपनी वेबसाइट पर प्रकाशित करते हैं, तो सर्च इंजन के बॉट्स सर्च रिजल्ट में इसे इंडेक्स करने के लिए कंटेन्ट को क्रॉल करते हैं।

यदि आपके पास अपनी वेबसाइट के कुछ पेज या पोस्ट हैं जिन्हें आप इंडेक्स नहीं करना चाहते हैं तो आप सर्च बॉट को बता हैं की किस फाइल/फोल्डर को इंडेक्स नहीं करना ताकि वे परिणाम सर्च इंजिन पर दिखाई न दें।

उदाहरण के लिए, हम अपने wp-admin/ फोल्डर को  Disallow करते है तो बॉट disallow किये हुए फाइल और फोल्डर को छोड़ देगा और बाकी सभी फाइल को क्रौल कर लेगा | वैसे ही हम अपने वेबसाइट पे टैग लगाते है हमने टैग इंडेक्स ना करने के लिए निर्देश दिए होंगे तो टैग के पेज  इंडेक्स नहीं होते। 

बॉट अपनी वेबसाइट पे आने के बाद पहले Robots.txt फ़ाइल पे जाके देखता है के उसके लिए क्या दिशानिर्देश दिए गए है | उसी के हिसाब से बॉट जिस डेटा / फाइल को डिसअलाऊ किया है उसे छोड़ देता है और बाकी के पेज को इंडेक्स कर लेता है। 

Robots.txt फाइल को कैसे बनाए ?

वर्डप्रेस वेबसाइट पे इस फाइल को प्लगइन के माध्यम से बनाया जाता है |  SEO प्लगइन हमारा ये काम आसान कर देता है और खुद फाइल को बनाता है। हमें अपने प्लगइन को सेटअप करते वक्त बताना होता है के क्या इंडेक्स करना है,और किसे छोड़ देना है। मै खुद अपनी सभी साइट पे टैग और केटेगरी पेज को डिसअलोव करता हु।

हमारे कोनसे पेज इंडेक्स हुए है उसे देखने के लिए सर्च बॉक्स में “site:webguide.in” करेंगे तो हमें जो इंडेक्स हुए पेज वो दिखाई देंगे। हम टैग / केटेगरी जैसे सर्च इंजिन पे काम में नहीं आनेवाले पेज को इंडेक्स से बचाएंगे तो क्रौलर का समय बचता है। और वो अपने अच्छे काम के पेज को रैंक करने में लगा सकता है। 

Robots.txt फ़ाइल की बनाने की प्रक्रिया काफी सरल है और इसे मैन्युअल रूप से मतलब खुद लिख कर बना सकते है |

अलग अलग नियम हैं जिन्हें आप अपनी robots.txt फ़ाइल में परिभाषित कर सकते हैं। आप जो भी परिभाषित करना चाहते हैं वह आपकी अपनी आवश्यकताओं पर निर्भर करेगा। आपने वर्डप्रेस में SEO प्लगइन  इनस्टॉल किया होगा तो ये फाइल को SEO प्लगइन द्वारा पहले से ही अपडेट किया होगा |  

आप Robot.txt फाइल चेक करने के लिए गूगल के इस लिंक पे जाके आपकी फाइल प्रॉपर्ली वर्क कर रही है या नहीं ये आप चेक कर सकते है | URLs which are blocked by robots.txt

Robots txt  फाइल में आनेवाले प्रोब्लेम

Sitemap contains URLs which are blocked by robots.txt

ब्लॉक किए गए साइटमैप URL आमतौर पर वेब डेवलपर्स द्वारा अपने robots.txt फ़ाइल को गलत तरीके से कॉन्फ़िगर करने के कारण होते हैं।

जब आप अस्वीकार कर रहे हैं, तो आपको यह सुनिश्चित करने की आवश्यकता है कि आप जानते हैं कि आप क्या कर रहे हैं, यह चेतावनी दिखाई देगी और वेब क्रॉलर अब आपकी साइट को क्रॉल करने में सक्षम नहीं हो सकते हैं।

  • अपने robots.txt फ़ाइल के भीतर “Disallow Rules ” की जाँच करें।
  • cache प्लगइन में जाके Purge All caches ऑप्शन से क्लीन कर ले |
  • Google Console में से मैन्युअली आपके वेबसाइट को crawl कर ले (Search Console property > Crawl > Fetch) | गूगल फाइल चेकर से आपकी साइट प्रॉपरली काम कर रही है ये देख ले |
  •  

आपको इस लेख के जरिए robots.txt फाइल के बारे जो जरुरी है वो जानकारी मिली होगी ऐसी मै आशा करता हु।  यदि कोई संदेह या सवाल मन में हो तो कमेंट के जरिए पूछ सकते है। 

 

Share this Article
Facebook Twitter Email Print
Leave a comment

प्रातिक्रिया दे जवाब रद्द करें

आपका ईमेल पता प्रकाशित नहीं किया जाएगा. आवश्यक फ़ील्ड चिह्नित हैं *

कीवर्ड रिसर्च करने का तरीका (बिना किसी टूल के )
bigrock affiliate
बिग रॉक एफिलिएट क्या है इससे पैसे कैसे कमाए ?
domain name kya hai
एफिलिएट मार्केटिंग में लोग फेल क्यू होते है?
domain name kya hai
बढ़िया डोमेन नेम कैसे चुने ?

You Might Also Like

domain name kya hai
वेबसाइट डेवलपमेंट

बढ़िया डोमेन नेम कैसे चुने ?

13 अक्टूबर 2022
keyword research
एस ई ओवेबसाइट डेवलपमेंट

कीवर्ड रिसर्च कैसे करे ?

11 अक्टूबर 2022
एसईओ कैसे करे
एस ई ओवेबसाइट डेवलपमेंट

वेबसाइट का एसईओ कैसे करे ?

8 अक्टूबर 2022
troubleshoot
वर्डप्रेसवेबसाइट डेवलपमेंट

वर्डप्रेस वेबसाइट पे आनेवाली समस्या के उपाय

6 अक्टूबर 2022

© Webguide. All Rights Reserved.

  • Instagram
  • Twitter
  • LinkedIn

Removed from reading list

Undo
Welcome Back!

Sign in to your account

Lost your password?