Robots.Txt File Kya Hai Robots.Txt File Kaise Banaye

Robots.Txt क्या आप कभी इसके बारें में सुने हो? यदि Search Engine से सर्च कर इस पोस्ट को पढ़ रहे हो तो अच्छी बात है इसके बारें में पहले से पता है. लेकिन, यदि किसी Backlink से इस Post को पढ़ रहे हो तो पहले इसके बारें में जानना होगा Robots.Txt Kya Hai. Blog, Blogging और Bloggers के  लिए यह फाइल बहुत ही उपयोगी है. कभी-कभी ऐसा होता है कि कुछ फाइल जिसे Webmaster (Site Owner) Public नहीं करना चाहते हैं लेकिन Public हो जाता है. यह Robots.Txt File की वजह से ही होता है.

Robots Kya Hai

Robots एक मशीन है जो दिए गए Command पर काम करता है. ठीक ऐसे ही Website के Directory File में Robots नाम से एक File रहता है जो Search Engine को Command देने का काम करता है. एक प्रश्न आपका हो सकता है Robots.Txt File Search Engine को कैसे और कौन सा Command देता है. Website Directory में कई Data रहता है सभी को पब्लिक नहीं किया जाता है. कुछ Data को hide भी रखा जाता है. Data को private और public करने के लिए Robots.txt File में ही Command लिखा जाता है. इस फाइल में Text Format में Command लिखा जाता है जिसका Screen Short नीचे दिया गया है.

All In SEO Plugin Install करते ही Robots.txt file create हो जाता है. इसे Edit करने के लिए All in One SEO Plugin में दिए गए Robots.Txt Option पर Click कर Change कर सकते हैं. इससे Search Engine को Content समझने में आसानी होती है.

Important SEO Tips in Hindi

• SEO Friendly Blog Post कैसे लिखें
• High Quality Content Kaise Likhen
• SEO Friendly WordPress Blog Kaise Banaye

यदि इस फाइल को सही से Customize नहीं किया जाये तो Traffic Loss हो सकता है. जब तक इसके बारें में सही जानकारी न हो तो इसे नहीं छेड़ना चाहिए. जब किसी भी सर्च इंजन का Crawler Site पर first time आता है तो सबसे पहले robots.txt file को ही crawl करता है. जैसा की ऊपर बताया जा चूका है इस File में लिखा होता है Crawler किस फाइल को क्रॉल करेगा किसे Crawl नहीं करेगा.

Benefits of Robots.Txt In Hindi

• Search Engine उसी पेज को Crawl करेगा जिसे आप चाहते हो. सभी पोस्ट या पेज को index नहीं करेगा.
• Website में Duplicate Page भी होता है जिसे Crawler Ignore करता है.
• इस Site में कई बार Internal Search Page को भी Crawler Index कर लेता था जिससे 404 error आने लगा था. लेकिन जब से इसे बंद कर दिया गया तो 404 का error बंद हो गया.
• वेबसाइट में कुछ ऐसे भी पेज होते जिसे कुछ दिन के लिए बनाया जाता है, ऐसे पेज को noindex रखना चाहिए, ऐसे पेज को इंडेक्स करने से 404 error आ सकता है.
• वेबसाइट में कुछ image, files, pdf भी कुछ दिन के लिए रखा जाता है ऐसे फाइल्स को भी noindex रखना चाहिए.

Robots.Txt File Kaise Banaye

इस फाइल में कुछ Syntax use किया जाता है. जिसके बारें में जानना बहुत जरूरी है. इसके लिए कुछ terms है. जैसे कि ऊपर के Screen Shorts में आप देख चुके हैं.

• User-Agent [ यह उस Robot का नाम है जिसके लिए Command लिखा जा रहा है ]
• Allow [ यहाँ उस Path के बारें में लिखा जाता है जिसे Crawl करना है ]
• Disallow [  यहाँ उस Path के बारें में लिखा जाता है जिसे Hide करना है ]

Example 1. Allow all search engine for crawling whole Site

User-agent: *

Allow:

Example 2. Disallow all search engine for crawling whole site

User-agent: *

Disallow: /

Example 3. Disallow all search engine for crawling to a specific folder

User-agent: *

Allow: /folder/

Example 4. Disallow all search engine for crawling to a specific file

User-agent: *

Disallow: /folder

Example 5. Disallow all search engine for crawling a folder but allow one file of folder

User-agent: *

Disallow: /folder/

Allow: /folder/file

Example 6. Allow / Disallow only specific robot 

User-agent: Googlebot

Allow: /

User-agent: Googlebot

Disallow:

Example 7. Exclude a single robot

User-agent: BadBotName

Disallow: /

Example 8. Allow all search engine for crawling of the sitemap file

User-agent: *

Sitemap: http://www.gurujitips.in/sitemap.xml

Example 9: WordPress Robots.txt File

User-agent: *

Disallow: /feed/

Disallow: /trackback/

Disallow: /wp-admin/

Disallow: /wp-content/

Disallow: /wp-includes/

Disallow: /readme.html

Disallow: /xmlrpc.php

Allow: /wp-content/uploads/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.gurujitips.in/sitemap.xml

यदि इसके अलावे आपके पास कोई और जानकारी हो तो बेझिझक Comment Box में Comment करें. हम आपके द्वारा दिए गए सलाह को भी इस पोस्ट में या अगली पोस्ट में शामिल करेंगें. ऊपर जहाँ Specific Bot को Site Crawl के लिए Disallow किया गया है वहाँ badbot name लिखा हुआ है. क्या आप जानते हैं यह Badbot क्या होता है.

• यह एक तरह का fishing है जो Data चुराने का काम करता है.
• जैसे यदि किसी Site पर user information लिया जाता है तो यह Bot उस data को track करने की कोशिश करता है और कभी -कभी सफल भी हो जाता है.
• यह Site Resources का maximum use कर Bandwidth ख़त्म कर देता है जिससे Site Down भी हो जाता है.

You May Also Read

YouTube Channel kaise Create kare Full Guide in Hindi

WordPress Blog के लिए Theme का Selection कैसे करें?

Online Business Kya Hai aur Kaise Kare

Keyword Less Domain Name का क्या फायदा है?

Future of Indian Bloggers and Problems with Indian Bloggers

Conclusion Robots.Txt

उम्मीद करता हूँ Robots.Txt File Kya Hai और कैसे काम करता है इसके बारें में आपको जानकारी मिल चुकी है. Blog / Website SEO के लिए इसे सही से use करना चाहिए. जब तक इसके बारें में समुचित जानकारी नहीं हो तब तक इसमें कोई Changes नहीं करना चाहिए. यह फाइल वेबसाइट के मुख्य डायरेक्टरी में होता है. जिसे All in One SEO की मदद से भी Change किया जा सकता है.