What is Robots.txt File | How to Create Robots.txt

एसईओ में रोबोट्स क्या है रोबोट्स फाइल कैसे बनाये

दोस्तों आज के इस पोस्ट में हम बात करेंगे रोबोट्स फाइल के बारे में और ये जानेगे की रोबोट्स की फाइल क्या होती है उर यह किस लिए इस्तेमाल की जाती है

सबसे पहेल हम ये जान लेते है की रोबोट्स क्या होता है,
जब भी आप अपनी कोई वेबसाइट बनाते है या फिर ब्लॉग बनाते है तो आपके ब्लॉग में या वेबसाइट में कोई ऐसा पेज भी हो सकता है जिसे आप गुप्त रखना चाहते है, जिसे आप सिर्फ वेबसाइट पर आने वाले लोगो को ही दिखाना चाहते है, उस हालात में आपको रोबोट्स फाइल का इस्तेमाल करना है, रोबोट्स फाइल में एक ऐसा कोड होता है जिसके जरिये हम वेबसाइट के किस खास हिस्से को सर्च इंजन से गुप्त रख सकते है,

उसके बाद सर्च इंजन उस हिस्से में नहीं जा सकता, सिर्फ आपकी वेबसाइट पर आने वाले यूजर ही उस हिस्से को देख सकते है

उदाहरण के लिए आप अगर सर्च रंगीन पर किसी भी वेबसाइट का पेमेंट पेज सर्च करेंगे तो आपलो सर्च इंजन में नहीं दिखेगा क्योकि सर्च इंजन को पता होता है की पेमेंट पेज एक गुप्त रखा जाने वाला पेज होता है,

और इसी तरह बाकी पेज को भी हम सर्च इंजन की नज़र से छुपा कर रख सकते है, ऐसा इसलिए किया जाता है ताकि आपकी वेबसाइट की सुरक्षा बनी रहे और कोई भी आपके वेबसाइट के जरुरी पेजो को बाहर से न देख सके

Robots File Kaise Banaaye

कैसे बनाये रोबोट टेक्स्ट फाइल?

रोबोट्स फाइल बनाने के लिए आपको सिर्फ नोटपैड खोलना है और उसमे सबसे पहली लाइन में लिखना है
User-agent: *

यूजर एजेंट : स्टार – यूजर एजेंट का मतलब सर्च इंजन है, और स्टार का मतलब है की सभी सर्च इंजन वेबसाइट पर आकर पग को देख सकते है

अब आपको दूसरी लाइन में लिखना है
Disallow: /
डिसअलाउ : / यहाँ Disallow ( गुप्त या अवैध ) बाद स्लैश का मतलब है की कोई भी पेज सर्च रिजल्ट में दिखाई न दे, वेबसाइट के सभी पेज अस्वीकार है सर्च इंजन के लिए

लेकिन अगर आप चाहते है की सर्च इंजन वेबसाइट पर आये और सभी पेज को स्वीकार करे लेकिन कोई एक एक पेज जो आप सर्च इंजन में नहीं दिखाना चाहते, उसके लिए आप कुछ इस तरह रोबोट की फाइल बना सकते है

User-agent: *
Disallow: /my-account/
Disallow: /tmp/

अब देखिये यहाँ हमने एक फाइल बनायी और उसमे लिखा की यूजर एजेंट तो सभी आ सकते है और वो वेबसाइट के हर पेज को पद सकते है लेकिन मेरी वेबसाइट के my account और tmp के पेज को न पड़े तो उसके लिए हमने डिससलोव में दो पेज रख दिए

अब दोस्तों सिर्फ इतनी सी फाइल से आप अपनी वेबसाइट की सुरक्षा को एक कदम और आगे बड़ा सकते है बस आपको ध्यान रखना है की फाइल ठीक तरह से बनी हो

Robots for Single Search Engine

और इसी तरह अगर आप चाहते है की आपकी वेबसाइट सिर्फ गूगल सर्च इंजन पर दिखाई दे बिंग या किसी और सर्च इंजन पर आपकी वेबसाइट के रिजल्ट न आये तो आप बस यूजर एजेंट के आगे स्टार को हटाकर Google लिख दीजिये

User-agent: Google
Disallow:

अब हमने इस फाइल में सिर्फ स्टार हटाकर गूगल कर दिया और डिसअलाऊ में स्लैश भी नहीं है, मतलब अब हमारी वेबसाइट सिर्फ गूगल सर्च इंजन पर दिखेगी और उसके सभी पेज अलाऊ है

तो दोस्तों आप इस पोस्ट के माध्यम से समझ चुकें होंगे की रोबोट्स फाइल किस तरह सर्च इंजन को अधिकार देती है अपनी वेबसाइट के पेज को दिखने के लिए, या छुपाने के लिए !

अगर आप चाहते है एक सिंपल सी रोबोट्स फाइल बनाना तो आप सिर्फ अपने नोटपैड को खोलकर इस कोड को इस्तेमाल कर सकते है

User-agent: *
Disallow: /cgi-bin/

यह एक सबसे ज्यादा चलने वाली रोबोट फाइल है, जब आप रोबोट्स की फाइल बना ले तो आपको इस फाइल को अपनी कंप्यूटर में सेव करना है और नाम देना है Robots.txt और आपको इस फाइल को अपनी वेबसाइट के होम फोल्डर में अपलोड करना है,

अपलोड करने के बार आप अपनी फाइल को अगर चेक करना चाहते है की आपने फाइल सही तरह स अपलोड की है या नहीं तो आपको बस अपनी वेबसाइट का एड्रेस सर्च बार में लिखकर आगे /Robots.txt लिखना है कुछ इस तरह

www.example.com/Robots.txt

और अगर आपने फाइल ठीक तरह से अपलोड की है तो कुछ इस तरह आपकी वेबसाइट ओपन होगी और आपने नोटपैड में जो लिखा है वो कोड दिखाई देगा

दोस्तों आपको यह पोस्ट कैसा लगा, चाहे तो अपने विचार व्यक्त कर सकते है

Leave a Reply