क्यों चिंगारी भविष्य का बड़ा डेटा प्लेटफॉर्म है

Apache Hadoop लंबे समय से बड़े डेटा अनुप्रयोगों की नींव है, और इसे सभी बड़े डेटा-संबंधित प्रसादों के लिए मूल डेटा प्लेटफ़ॉर्म माना जाता है। हालाँकि, इन-मेमोरी डेटाबेस और कम्प्यूटेशन तेज़ प्रदर्शन और त्वरित परिणामों के कारण लोकप्रियता प्राप्त कर रहा है। अपाचे स्पार्क एक नया ढांचा है जो तेजी से प्रसंस्करण देने के लिए इन-मेमोरी क्षमताओं का उपयोग करता है (हडोप की तुलना में लगभग 100 गुना तेज)। तो, स्पार्क उत्पाद तेजी से बड़े डेटा की दुनिया में इस्तेमाल किया जा रहा है, और मुख्य रूप से तेजी से प्रसंस्करण के लिए।

अपाचे स्पार्क क्या है?

अपाचे स्पार्क गति और सादगी के साथ डेटा की बड़ी मात्रा (बड़ा डेटा) के प्रसंस्करण के लिए एक खुला स्रोत ढांचा है। यह बड़े डेटा के आधार पर एनालिटिक्स एप्लिकेशन के लिए उपयुक्त है। स्पार्क का उपयोग होडोप पर्यावरण, स्टैंडअलोन या क्लाउड में किया जा सकता है। इसे कैलिफोर्निया विश्वविद्यालय में विकसित किया गया था और फिर बाद में अपाचे सॉफ्टवेयर फाउंडेशन को पेश किया गया। इस प्रकार, यह ओपन-सोर्स समुदाय के अंतर्गत आता है और यह बहुत अधिक लागत प्रभावी हो सकता है, जो आगे शौकिया डेवलपर्स को आसानी से काम करने की अनुमति देता है। (Hadoop के ओपन सोर्स के बारे में अधिक जानने के लिए देखें कि अपाचे Hado Ecology सिस्टम पर ओपन सोर्स का प्रभाव क्या है?)

स्पार्क का मुख्य उद्देश्य यह है कि यह डेवलपर्स को एक एप्लीकेशन फ्रेमवर्क प्रदान करता है जो एक केंद्रित डेटा संरचना के आसपास काम करता है। स्पार्क भी बेहद शक्तिशाली है और इसमें थोड़े समय में बड़े पैमाने पर डेटा को जल्दी से संसाधित करने की जन्मजात क्षमता है, इस प्रकार यह बहुत अच्छा प्रदर्शन प्रदान करता है। इससे यह बहुत तेज हो जाता है कि इसके निकटतम प्रतिद्वंद्वी हाडोप को क्या कहा जाता है।