Robots.txt की जानकारी

संक्षेप में Robots.txt:

Robots.txt एक उपयोगी टूल है, जिसका उपयोग आपकी वेबसाइट पर रोबोट की पहुँच सीमित करने के लिए किया जाता है, जैसे कार्यरत सामग्री और संवेदनशील जानकारी। फ़िलहाल Robots Exclusion Standard Working Group ने ऐसे allow निर्देश का समर्थन नहीं किया है जो रोबोट को वेबसाइट के कुछ हिस्सों को इंडेक्स करने के लिए प्रेरित करे। यह फिर भी आपकी वेबसाइट से भीतरी और बाहरी रूप से लिंक करके शुरू किया जा सकता है।

अपनी वेबसाइट के उपयोग के आँकड़े देखते समय आपने 'robots.txt' नाम की एक फ़ाइल का उल्लेख देखा होगा। यह एक बुनियादी कॉन्फ़िगरेशन फ़ाइल है, जिसका उपयोग रोबोट (सर्च इंजन स्पाइडर) यह जानने के लिए करते हैं कि उन्हें किन फ़ाइलों और डायरेक्टरी को इंडेक्स नहीं करना चाहिए।

आपकी वेबसाइट के root में robots.txt नाम की एक फ़ाइल होना ज़रूरी है (http://www.yourdomain.com/robots.txt))। robots.txt का मूल उपयोग यह बताना है कि रोबोट को किन फ़ाइलों और डायरेक्टरी को इंडेक्स नहीं करना चाहिए।

robots.txt फ़ाइल की संरचना के सिंटैक्स में 2 भाग होते हैं: user agent लाइन और disallow लाइन।

सिंटैक्स इस प्रकार है:

User-agent
आपकी वेबसाइट पर आने वाले रोबोट की सूची आपकी वेबसाइट के स्टैट्स लॉग में देखी जा सकती है। user-agents की सूची यहाँ देखी जा सकती है: http://www.robotstxt.org/wc/active.html

User-Agent सिंटैक्स में किसी विशेष रोबोट का उल्लेख किया जा सकता है।

User-agent: Googlebot

सभी रोबोट से मेल खाने के लिए वाइल्डकार्ड का भी उपयोग किया जा सकता है।

User-agent: *

Disallow
सिंटैक्स का यह भाग बताता है कि किन फ़ाइलों और डायरेक्टरी को इंडेक्स नहीं किया जाना चाहिए।

यदि आपके पास 'addresses.html' नाम का पेज है और आप नहीं चाहते कि रोबोट उसे इंडेक्स करे, तो User-agent सिंटैक्स के बाद यह लाइन जोड़ें:

Disallow: addresses.html

आप रोबोट को डायरेक्टरी स्तर पर भी सीमित कर सकते हैं। यदि आपकी वेबसाइट की '/billing' डायरेक्टरी को इंडेक्स होने से रोकना है, तो User-agent सिंटैक्स के बाद यह टेक्स्ट लिखें।

Disallow: /billing/

साइट की सभी फ़ाइलों को दर्शाने के लिए भी वाइल्डकार्ड का उपयोग किया जा सकता है।

Disallow: /

मैं अपनी robots.txt फ़ाइल में कमेंट कैसे लिखूँ?
robots.txt फ़ाइल में किसी भी टेक्स्ट से पहले '#' लगाकर कोडिंग कमेंट लिखे जा सकते हैं। एक उदाहरण:

# googlebot को User-agent के रूप में निर्दिष्ट करता है।
User-agent: Googlebot

अच्छा तरीका यह है कि आप अपने कमेंट डायरेक्टिव से अलग लाइन में लिखें। साथ ही, डायरेक्टिव लाइनों की शुरुआत में खाली जगह कम से कम रखें।


robots.txt का उपयोग करना:
अब जब हम robots.txt की कार्यप्रणाली जान चुके हैं, तो आइए इसे व्यवहार में लाएँ।

यदि आप चाहते हैं कि सभी रोबोट आपकी वेबसाइट के सभी पेजों पर जा सकें, तो आपको robots.txt फ़ाइल में अपने सिंटैक्स में "*" वाइल्डकार्ड का उपयोग करना चाहिए।

User-agent: *
Disallow:

अपनी साइट की सभी इंडेक्सिंग को रोकने के लिए, अपनी robots.txt फ़ाइल में निम्नलिखित टेक्स्ट दर्ज करें:

User-agent: *
Disallow: /

रोबोट को 'billing' नाम की डायरेक्टरी के भीतर मौजूद पेजों को इंडेक्स करने से रोकें।

User-agent: *
Disallow: /billing/

रोबोट को "billing" और "address" नाम की डायरेक्टरी के भीतर मौजूद पेजों को इंडेक्स करने से रोकें।

User-agent: *
Disallow: /billing/
Disallow: /address/

googlebot को अपनी वेबसाइट पर आने से रोकें।

User-agent: googlebot
Disallow: /

googlebot को अपने संपर्क पेज (contact-us.html) तक पहुँचने से रोकें।

User-agent: googlebot
Disallow: /contact-us.html

googlebot को अपने संपर्क पेज (about-us/contact-us.html) तक पहुँचने से रोकें।

User-agent: googlebot
Disallow: /about-us/contact-us.html