Crawler क्या है और काम कैसे करता है — Bots And Spider

By | April 12, 2019

Crawler, अगर आपकी कोई वेबसाइट हैं तो अपने एक ना एक बार ज़रूर Web Crawler का नाम सुना होगा | तो अगर आपको जानना है की Crawler क्या है और काम कैसे करता है, तो इस पोस्ट को पूरा पढ़िए क्युकी इसमें मैंने details मे बताया है इसके बारे मे |

Crawler क्या है?

Web Crawler kya hai

Web Crawler

Crawler एक प्रोग्राम है जो की वेबसाइट के webpages को read करता है और webpages के details को Search Engine को भेजता है, ताकि search engine उस webpage को अपने database मे enter कर सके | इंटरनेट पर जितने भी search engine है, सब के पास एक स्पेशल प्रोग्राम हैं जिसको हम Spider या Bot भी कहते हैं | इन spiders को इसलिए तरीके से प्रोग्राम किया जाता हैं की ये webpages को read कर सके और उसको बार बार visit कर ताकि उसमे अगर कोई अपडेट हो, यों search engine को उस अपडेट का पता चले | ऐसा नहीं हैं की अगर आप कोई webpage बनाते हैं तो Crawler अपने आप आकर आपके webpage को crawl करना लेगा, नहीं… Crawler को बुलाने के लिए सबसे पहले आपको webpage को search engine मे submit करना पड़ेगा |

Also Read — Search Engine क्या है और ये कैसे काम करता है ?

Also Read — Website पे Traffic कैसे बढ़ाएं – Increase Traffic On Website

Crawler काम कैसे करता है?

इंटरनेट पूरी तरह से इनफार्मेशन से भरा हुआ है | अगर आपको इसमें से कोई इनफार्मेशन चाहिए तो आपको search engine का इस्तेमाल करना पड़ेगा | मान लीजिये आपको Black Hole के बारे मे कुछ इनफार्मेशन चाहिए | तो अब किसी भी search engine पर जायेंगे और “Black Hole” search करेंगे | इतना करने के बाद, search engine तुरंत अपने database मे देखेगा की “Black Hole” के नाम से कोई webpage है की नहीं | अगर search engine के पास ब्लैक होल के बारे इनफार्मेशन है तो वो web crawler की वजह से |

Also Read — DNS क्या होता है – DNS Kya Hota Hai

Also Read — QR कोड क्या हैं ? — QR Code Kya Hai

Crawler जब किसी भी webpage को read करता हैं तो उस page मे जितने भी words है, उनको read करता है | जिसको हम कीवर्ड कहते है | अगर आपके webpage मे “ब्लैक होल” नाम से कीवर्ड है तो आपका webpage Black Hole के नाम से save हो जायेगा, सर्च engine के database मे | Crawler सभी webpage को html मे read करता है |

Crawler और SEO का relation

Web Crawler kya hai

Web Crawle

जैसा की मैंने बताया की crawler आपके webpage को read करता हैं | तो इसका मतलब ये नहीं हैं की आप कुछ भी लिखेंगे तो crawler उसपर ध्यान देगा | Spider, words मतलब की कीवर्ड के पोजीशन को भी चेक करता हैं | जैसा मैंने बताया की अगर आप Black Hole के ऊपर पोस्ट लिख रहे है तो crawler सबसे पहले चेक करेगा की Black Hole कहा कहा है जैसे Heading मे हैं की नहीं या meta डिस्क्रिप्शन और H2 मे है या नहीं | तो crawler words के पोजीशन को भी देखता है, सब देखने के बाद किसी भी webpage को सही कीवर्ड के साथ index करवाता है | तो इसीलिए आपको अपने webpage का अच्छे से SEO करना चाहिए क्युकी Crawler और SEO साथ साथ चलते है |

Robots.txt का महत्व

अब crawler ऐसे काम नहीं करता की वो आपके webpage के सभी elements को read करें | इसीलिए आपको robot.txt का फ़ाइल बना लेना चाहिए | इससे crawler को पता चलता हैं की webpage को पूरा स्कैन करना हैं या नहीं, अगर नहीं करना है तो किस part को स्कैन नहीं करना है | अगर सब कुछ सही रहा तो crawler उसका index बना के सर्च engine के database मे डाल देगा | लेकिन ऐसा कम ही होता है की कोई webpage पूरा स्कैन हो | दरअसल crawler कभी भी webpage को पूरा स्कैन नहीं करता और अगर करता भी हैं तो उसका जिसका seo बहुत ही अच्छे से किया गया हो | तो इसीलिए आपको ऐसे पोस्ट लिखना चाहिए ताकि crawler कल एक ही बार मे समझ मे आ जाये की ये पोस्ट किसके बारे मे हैं और उस webpage को search engine मे सही पोजीशन मिल जाये |

Also Read — VPN क्या होता है – Virtual Private Network

Also Read — Paytm से पैसे कैसे कमाए – Earn With Paytm

अब अगर आपका webpage index हो गया तो शायद आप ये सोच रहे होंगे की आपका काम हो गया लेकिन ऐसा नहीं है | अगर आपके webpage को search engine के पहले पोजीशन पर लाना है तो आपके webpage को search engine के सभी parameter पर खरा साबित होना होगा | तभी आपका webpage पहला पोजीशन पर आएगा | तो पहले पोजीशन पर webpage को रहने के लिए ये सब check होता है…

  • Webpage कब पब्लिश हुआ
  • Page मे फोटो है की नहीं
  • Webpage मे इंटरनल और एक्सटर्नल link है या नहीं
  • Webpage की क्वालिटी
  • उसका loading टाइम कितना है
  • Page पर कितने कमैंट्स और page का कितने सोशल शेयर्स है

ये सब check करने के बाद ही crawler किसी भी webpage को प्रायोरिटी देता है और उस webpage को रैंकिंग भी अच्छी मिलती है |

Also Read — Hacking क्या है ? – और क्या ये Legal है ?

Also Read — PDF क्या होता है – What Is PDF In Hindi

तो यही है web crawler के बारे मे सबकुछ | आशा करता हु की आपको Crawler के बारे मे सब कुछ समझ गया होगा की Crawler क्या है और काम कैसे करता है | अगर आपको इससे रिलेटेड कोई भी डाउट है तो आप बिलकुल Comment कर सकते है | और भी ज्यादा जानकारी और फ़ास्ट servicesके लिए आप हमारा Official App भी डाउनलोड कर सकते हैं | ये PlayStore पर available है। आप इसे नीचे फ़ोटो पर क्लिक कर के downlod कर सकते हो।

CodeInHindi Official App

CodeInHindi Official App

Leave a Reply

Your email address will not be published. Required fields are marked *