विषयसूची:
परिभाषा - टोकनेशन का क्या अर्थ है?
टोकनेशन शब्द, कीवर्ड, वाक्यांश, प्रतीक और टोकन नामक अन्य तत्वों जैसे टुकड़ों में तार के अनुक्रम को तोड़ने का कार्य है। टोकन व्यक्तिगत शब्द, वाक्यांश या पूरे वाक्य भी हो सकते हैं। टोकेनाइजेशन की प्रक्रिया में, कुछ अक्षर जैसे विराम चिह्न को छोड़ दिया जाता है। टोकन पार्सिंग और टेक्स्ट माइनिंग जैसी अन्य प्रक्रिया का इनपुट बन जाता है।
कंप्यूटर विज्ञान में टोकनेशन का उपयोग किया जाता है, जहां यह शाब्दिक विश्लेषण की प्रक्रिया में एक बड़ी भूमिका निभाता है।
टेकपीडिया टोकनेशन की व्याख्या करता है
टोकन कुछ चरणों का पालन करके टोकन को अलग करने के लिए ज्यादातर साधारण सांख्यिकी पर निर्भर करता है:
- टोकन या शब्द व्हाट्सएप, विराम चिह्न या लाइन ब्रेक द्वारा अलग किए जाते हैं
- सफेद स्थान या विराम चिह्न आवश्यकता के आधार पर शामिल हो सकते हैं या नहीं भी हो सकते हैं
- सन्निहित तारों के भीतर सभी वर्ण टोकन का हिस्सा हैं। टोकन केवल सभी अल्फा वर्णों, अल्फ़ान्यूमेरिक वर्णों या संख्यात्मक वर्णों से बने हो सकते हैं।
टोकन स्वयं भी विभाजक हो सकते हैं। उदाहरण के लिए, अधिकांश प्रोग्रामिंग भाषाओं में, पहचानकर्ताओं को सफेद रिक्त स्थान के बिना अंकगणित ऑपरेटरों के साथ रखा जा सकता है। हालांकि ऐसा लगता है कि यह एक एकल शब्द या टोकन के रूप में दिखाई देगा, लेकिन भाषा का व्याकरण वास्तव में गणितीय ऑपरेटर (एक टोकन) को एक विभाजक के रूप में मानता है, इसलिए जब भी कई टोकन एक साथ काट दिए जाते हैं, तब भी उन्हें गणितीय रूप से अलग किया जा सकता है ऑपरेटर।
