Robots.txt समझाया गया

Robots.txt को संक्षेप में समझायाः

Robots.txt एक उपयोगी उपकरण है जब आपकी साइट पर रोबोट की पहुंच को सीमित करने के लिए उपयोग किया जाता है, जैसे कि काम में सामग्री और संवेदनशील जानकारी। इस समय रोबोट बहिष्करण मानक कार्य समूह द्वारा अनुमति निर्देश के लिए कोई समर्थन नहीं है जो रोबोट को साइट के अनुक्रमणिका भागों पर धकेल देगा। इसे अभी भी आपकी वेबसाइट से आंतरिक और बाहरी रूप से जोड़कर शुरू किया जा सकता है।

आपने अपनी वेबसाइट के उपयोग के आंकड़ों की समीक्षा करते समय'robots.txt'नामक फ़ाइल के संदर्भ में देखा होगा। यह एक बुनियादी विन्यास फ़ाइल है जिसका उपयोग रोबोट (खोज इंजन मकड़ियां) यह नोट करने के लिए करते हैं कि उन्हें किन फ़ाइलों और निर्देशिकाओं को अनुक्रमित नहीं करना चाहिए।

यह महत्वपूर्ण है कि आपकी वेबसाइट के root में robots.txt नामक एक फ़ाइल हो (http://www.yourdomain.com/robots.txt). robots.txt का मूल उपयोग यह ध्यान रखना है कि रोबोट को किन फ़ाइलों और निर्देशिकाओं को अनुक्रमित नहीं करना चाहिए।

robots.txt फ़ाइल संरचना के वाक्यविन्यास में 2 घटक हैंः उपयोगकर्ता एजेंट पंक्ति और अनुमति न देने वाली पंक्ति।

वाक्यविन्यास इस प्रकार हैः

उपयोगकर्ता-अभिकर्ता
आपकी साइट पर आने वाले रोबोटों की सूची आपकी वेबसाइट के सांख्यिकी लॉग में देखी जा सकती है। उपयोगकर्ता-एजेंटों की सूची यहाँ देखी जा सकती है।http://www.robotstxt.org/wc/active.html

एक विशिष्ट रोबोट को उपयोगकर्ता-एजेंट वाक्यविन्यास में संदर्भित किया जा सकता है।

उपयोगकर्ता-अभिकर्ताः गूगलबोट

वाइल्डकार्ड का उपयोग सभी robots.txt फ़ाइलों से मेल खाने के लिए भी किया जा सकता है।

उपयोगकर्ता-अभिकर्ताः *

अनुमति न दें।
वाक्यविन्यास के इस खंड में कहा गया है कि किन फ़ाइलों और निर्देशिकाओं को अनुक्रमित नहीं किया जाना चाहिए।

यदि आपके पास'addresses.html'नाम का पृष्ठ है और आप नहीं चाहते कि रोबोट इसे अनुक्रमित करे, तो उपयोगकर्ता-एजेंट वाक्यविन्यास के बाद निम्नलिखित पंक्ति जोड़ें।

अनुमति न देंः addresses.html

आप रोबोट को निर्देशिका स्तर पर भी सीमित कर सकते हैं। यदि आपकी वेबसाइट पर निर्देशिका'/ बिलिंग'को अनुक्रमण से प्रतिबंधित किया जाना चाहिए, तो निम्नलिखित पाठ को उपयोगकर्ता-एजेंट वाक्यविन्यास के बाद रखें।

अनुमति न देंः/बिलिंग /

वाइल्डकार्ड का उपयोग किसी साइट पर सभी फ़ाइलों को नोट करने के लिए भी किया जा सकता है।

अनुमति न देंः /

मैं अपनी robots.txt फाइल में टिप्पणी कैसे करूं?
कोडिंग टिप्पणियों को किसी भी पाठ से पहले'#'रख कर robots.txt फ़ाइल में रखा जा सकता है। एक उदाहरण हैः

#गूगलबोट को उपयोगकर्ता-एजेंट के रूप में निर्दिष्ट करता है।
उपयोगकर्ता-अभिकर्ताः गूगलबोट

निर्देश की तुलना में अपनी टिप्पणियों को एक अलग पंक्ति पर रखना अच्छा अभ्यास है। इसके अलावा, निर्देश रेखाओं की शुरुआत में सफेद स्थान को सीमित करें।


उपयोग करने के लिए robots.txt डाल रहा हैः
अब जब हम robots.txt की कार्यक्षमता को जानते हैं, तो आइए इसे अभ्यास में लाएं।

यदि आप सभी रोबोटों को अपनी वेबसाइट के सभी पृष्ठों पर जाने की अनुमति देना चाहते हैं, तो आपको robots.txt फ़ाइल में अपने वाक्यविन्यास में "*" वाइल्डकार्ड का उपयोग करना चाहिए।

उपयोगकर्ता-अभिकर्ताः *
अनुमति न देंः

अपनी साइट के सभी अनुक्रमण की अनुमति नहीं देने के लिए, अपनी robots.txt फ़ाइल में निम्नलिखित पाठ दर्ज करें।

उपयोगकर्ता-अभिकर्ताः *
अनुमति न देंः /

'बिलिंग'नामक निर्देशिका के भीतर अनुक्रमण पृष्ठों से रोबोट को अनुमति न दें।

उपयोगकर्ता-अभिकर्ताः *
अनुमति न देंः/बिलिंग /

"बिलिंग" और "पता" नामक निर्देशिकाओं के भीतर अनुक्रमण पृष्ठों से रोबोट को अनुमति न दें।

उपयोगकर्ता-अभिकर्ताः *
अनुमति न देंः/बिलिंग /
अनुमति न देंः/पता /

अपनी साइट से गूगलबॉट को अस्वीकार करें।

उपयोगकर्ता-अभिकर्ताः गूगलबोट
अनुमति न देंः /

गूगलबोट को अपने संपर्क पृष्ठ (contact-us.html) तक पहुँचने से मना करें।

उपयोगकर्ता-अभिकर्ताः गूगलबोट
अनुमति न देंः/संपर्क-us.html

गूगलबोट को अपने संपर्क पृष्ठ (हमारे बारे में/संपर्क-us.html) तक पहुँचने से मना करें।

उपयोगकर्ता-अभिकर्ताः गूगलबोट
अनुमति न देंः/हमारे बारे में/संपर्क-us.html