विषयसूची:
परिभाषा - स्पाइडर का क्या अर्थ है?
इंटरनेट के संदर्भ में, एक मकड़ी एक विशेष सॉफ्टवेयर है जिसे आमतौर पर वेब पेजों को अनुक्रमित करने के लिए वर्ल्ड वाइड वेब को क्रॉल करने और ब्राउज़ करने के लिए डिज़ाइन किया गया है ताकि उपयोगकर्ता खोज प्रश्नों के लिए खोज परिणाम प्रदान कर सकें। इस तरह के मकड़ियों में सबसे प्रसिद्ध Googlebot, Google का मुख्य क्रॉलर है, जो यह सुनिश्चित करने में मदद करता है कि खोज प्रश्नों के लिए प्रासंगिक परिणाम लौटाए गए हैं।
मकड़ियों को वेब क्रॉलर, खोज बॉट या बस बॉट के रूप में भी जाना जाता है।
टेकोपेडिया स्पाइडर बताते हैं
एक मकड़ी अनिवार्य रूप से वर्ल्ड वाइड वेब से जानकारी काटने के लिए उपयोग किया जाने वाला एक कार्यक्रम है। यह आमतौर पर खोज इंजन परिणामों के लिए जानकारी निकालने और बाद में उपयोग के लिए इसे अनुक्रमित करने वाली वेबसाइटों के पृष्ठों के माध्यम से क्रॉल करता है। मकड़ी वेबसाइटों और उनके पन्नों को विभिन्न लिंक के माध्यम से और पन्नों से देखती है, इसलिए बिना किसी लिंक के एक पृष्ठ को अनुक्रमित करना मुश्किल होगा और खोज परिणाम पृष्ठ पर वास्तव में कम रैंक किया जा सकता है। और अगर किसी पृष्ठ की ओर इशारा करते हुए बहुत सारे लिंक हैं, तो इसका मतलब यह होगा कि यह पृष्ठ लोकप्रिय है और यह खोज परिणामों पर अधिक दिखाई देगा।
वेब क्रॉलिंग में शामिल कदम:
- मकड़ी एक साइट ढूंढती है और अपने पृष्ठों को क्रॉल करना शुरू कर देती है।
- मकड़ी साइट के शब्दों और सामग्रियों को अनुक्रमित करती है।
- मकड़ी साइट पर पाए गए लिंक पर जाती है।
स्पाइडर या वेबक्रॉलर सिर्फ प्रोग्राम हैं और जैसे, वे प्रोग्रामर द्वारा निर्धारित व्यवस्थित नियमों का पालन करते हैं। वेबसाइटों के मालिक भी मकड़ी को बता सकते हैं कि साइट के किन हिस्सों को अनुक्रमित किया जाए और किसे नहीं। यह एक "robots.txt" फ़ाइल बनाकर किया जाता है जिसमें मकड़ी के लिए निर्देश होते हैं कि किन भागों को अनुक्रमणिका और लिंक का अनुसरण करना है और किन लोगों को इसे अनदेखा करना चाहिए। Google, बिंग और याहू जैसे प्रमुख खोज इंजनों के स्वामित्व वाले सबसे महत्वपूर्ण मकड़ियों हैं, और जो डेटा खनन और अनुसंधान के लिए हैं, लेकिन कंपनियों को बेचने के लिए उपयोगकर्ता के लिए ईमेल खोजने और इकट्ठा करने के लिए कुछ दुर्भावनापूर्ण मकड़ियों भी हैं। या वेब सुरक्षा में कमजोरियों को खोजने के लिए।
