Robots.Txt File Kya Hai Robots.Txt File Kaise Banaye

Robots.Txt क्या आप कभी इसके बारें में सुने हो? यदि Search Engine से सर्च कर इस पोस्ट को पढ़ रहे हो तो अच्छी बात है इसके बारें में पहले से पता है. लेकिन, यदि किसी Backlink से इस Post को पढ़ रहे हो तो पहले इसके बारें में जानना होगा Robots.Txt Kya Hai. Blog, Blogging और Bloggers के  लिए यह फाइल बहुत ही उपयोगी है. कभी-कभी ऐसा होता है कि कुछ फाइल जिसे Webmaster (Site Owner) Public नहीं करना चाहते हैं लेकिन Public हो जाता है. यह Robots.Txt File की वजह से ही होता है.

Table of Contents

Robots Kya Hai

Robots एक मशीन है जो दिए गए Command पर काम करता है. ठीक ऐसे ही Website के Directory File में Robots नाम से एक File रहता है जो Search Engine को Command देने का काम करता है. एक प्रश्न आपका हो सकता है Robots.Txt File Search Engine को कैसे और कौन सा Command देता है. Website Directory में कई Data रहता है सभी को पब्लिक नहीं किया जाता है. कुछ Data को hide भी रखा जाता है. Data को private और public करने के लिए Robots.txt File में ही Command लिखा जाता है. इस फाइल में Text Format में Command लिखा जाता है जिसका Screen Short नीचे दिया गया है.

robots file sample

All In SEO Plugin Install करते ही Robots.txt file create हो जाता है. इसे Edit करने के लिए All in One SEO Plugin में दिए गए Robots.Txt Option पर Click कर Change कर सकते हैं. इससे Search Engine को Content समझने में आसानी होती है.

Important SEO Tips in Hindi

यदि इस फाइल को सही से Customize नहीं किया जाये तो Traffic Loss हो सकता है. जब तक इसके बारें में सही जानकारी न हो तो इसे नहीं छेड़ना चाहिए. जब किसी भी सर्च इंजन का Crawler Site पर first time आता है तो सबसे पहले robots.txt file को ही crawl करता है. जैसा की ऊपर बताया जा चूका है इस File में लिखा होता है Crawler किस फाइल को क्रॉल करेगा किसे Crawl नहीं करेगा.

Benefits of Robots.Txt In Hindi

  • Search Engine उसी पेज को Crawl करेगा जिसे आप चाहते हो. सभी पोस्ट या पेज को index नहीं करेगा.
  • Website में Duplicate Page भी होता है जिसे Crawler Ignore करता है.
  • इस Site में कई बार Internal Search Page को भी Crawler Index कर लेता था जिससे 404 error आने लगा था. लेकिन जब से इसे बंद कर दिया गया तो 404 का error बंद हो गया.
  • वेबसाइट में कुछ ऐसे भी पेज होते जिसे कुछ दिन के लिए बनाया जाता है, ऐसे पेज को noindex रखना चाहिए, ऐसे पेज को इंडेक्स करने से 404 error आ सकता है.
  • वेबसाइट में कुछ image, files, pdf भी कुछ दिन के लिए रखा जाता है ऐसे फाइल्स को भी noindex रखना चाहिए.

Robots.Txt File Kaise Banaye

इस फाइल में कुछ Syntax use किया जाता है. जिसके बारें में जानना बहुत जरूरी है. इसके लिए कुछ terms है. जैसे कि ऊपर के Screen Shorts में आप देख चुके हैं.

robots txt file

  • User-Agent [ यह उस Robot का नाम है जिसके लिए Command लिखा जा रहा है ]
  • Allow [ यहाँ उस Path के बारें में लिखा जाता है जिसे Crawl करना है ]
  • Disallow [  यहाँ उस Path के बारें में लिखा जाता है जिसे Hide करना है ]

Example 1. Allow all search engine for crawling whole Site

User-agent: *

Allow:

Example 2. Disallow all search engine for crawling whole site

User-agent: *

Disallow: /

Example 3. Disallow all search engine for crawling to a specific folder

User-agent: *

Allow: /folder/

Example 4. Disallow all search engine for crawling to a specific file

User-agent: *

Disallow: /folder

Example 5. Disallow all search engine for crawling a folder but allow one file of folder

User-agent: *

Disallow: /folder/

Allow: /folder/file

Example 6. Allow / Disallow only specific robot 

User-agent: Googlebot

Allow: /

User-agent: Googlebot

Disallow:

Example 7. Exclude a single robot

User-agent: BadBotName

Disallow: /

Example 8. Allow all search engine for crawling of the sitemap file

User-agent: *

Sitemap: http://www.gurujitips.in/sitemap.xml

Example 9: WordPress Robots.txt File

User-agent: *

Disallow: /feed/

Disallow: /trackback/

Disallow: /wp-admin/

Disallow: /wp-content/

Disallow: /wp-includes/

Disallow: /readme.html

Disallow: /xmlrpc.php

Allow: /wp-content/uploads/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.gurujitips.in/sitemap.xml

यदि इसके अलावे आपके पास कोई और जानकारी हो तो बेझिझक Comment Box में Comment करें. हम आपके द्वारा दिए गए सलाह को भी इस पोस्ट में या अगली पोस्ट में शामिल करेंगें. ऊपर जहाँ Specific Bot को Site Crawl के लिए Disallow किया गया है वहाँ badbot name लिखा हुआ है. क्या आप जानते हैं यह Badbot क्या होता है.

  • यह एक तरह का fishing है जो Data चुराने का काम करता है.
  • जैसे यदि किसी Site पर user information लिया जाता है तो यह Bot उस data को track करने की कोशिश करता है और कभी -कभी सफल भी हो जाता है.
  • यह Site Resources का maximum use कर Bandwidth ख़त्म कर देता है जिससे Site Down भी हो जाता है.

You May Also Read

YouTube Channel kaise Create kare Full Guide in Hindi

WordPress Blog के लिए Theme का Selection कैसे करें?

Online Business Kya Hai aur Kaise Kare

Keyword Less Domain Name का क्या फायदा है?

Future of Indian Bloggers and Problems with Indian Bloggers

Conclusion Robots.Txt

उम्मीद करता हूँ Robots.Txt File Kya Hai और कैसे काम करता है इसके बारें में आपको जानकारी मिल चुकी है. Blog / Website SEO के लिए इसे सही से use करना चाहिए. जब तक इसके बारें में समुचित जानकारी नहीं हो तब तक इसमें कोई Changes नहीं करना चाहिए. यह फाइल वेबसाइट के मुख्य डायरेक्टरी में होता है. जिसे All in One SEO की मदद से भी Change किया जा सकता है.

यदि यह जानकारी आपको अच्छी लगी तो Spread the love Please Share...
Ashu Garg

Guruji Tips is a website to provide tips related to Blogging, SEO, Social Media, Business Idea, Marketing Tips, Make Money Online, Education, Interesting Facts, Top 10, Life Hacks, Marketing, Review, Health, Insurance, Loan and Internet-related Tips. यदि आप भी अपना Content इस Blog के माध्यम से publish करना चाहते हो तो कर सकते हो. इसके लिए Join Guruji Tips Page Open करें. आप अपना Experience हमारे साथ Share कर सकते हो. धन्यवाद !

18 thoughts on “Robots.Txt File Kya Hai Robots.Txt File Kaise Banaye

  1. MAI TECH,HEALTH JAISE TOPIC PAR BLOG BANANA CHAHTA HU HINDI ME.KYA AAP BATA SAKTE HAI KI KONSA BEHTAR RAHEGA.

  2. Mere Hisaab Se Aap Bahut Accha Likhte
    Maine Kai Aur Hindi Blogs Padhe Hain Lekin Aap Detailed Information Dete Hai Aur Har Cheej Ke Bare Me Batate Hain Jo Aapne Khud Ke Blog Par Use Kiya Hua.

    Very Informative.

    Aapne Apna Blog WordPress par Banaya Hai Kya.

  3. Blog Website SEO ke liye Robots.txt file bhi bahut jaroori hai. jise aapne bahut achchhe se samjhaya hai.

  4. sir blog site webmaster tool main submit ho gaee hain magar koi click nahi aarahi hain.map bhi submit hoha gaya hain buy http ka kuch problem show ho raha hain

    1. Http me kya eroor aa raha hai? Blog / Website par ek din me traffic nahi milta hai patience ke sath kaam kijiye Traffic aur Money dono milega. All the Best Khalid ji.

  5. Sir Robots. Txt File में यदि कोई भी Change नहीं करें तो इससे कोई problem हो सकता है. जो Default है वही रहने दे क्या?

    1. इसके बारें में सभी जानकारी को इकठ्ठा करने के बाद ही इसमें Changes करें. जब तक सभी जानकारी नहीं है तो इसे Change नहीं करें.

      1. Sir site google por bing main submit hogae hain magar koi bhi click nahi mila hain abi tak ,http ki kuch problem show horahi hain sitemap main

Leave a Reply

Your email address will not be published. Required fields are marked *