मैपर या मैप जॉब (की-वैल्यू पेयर) का आउटपुट रिड्यूसर में इनपुट है रेड्यूसर कई मैप जॉब से की-वैल्यू पेयर प्राप्त करता है। फिर, रिड्यूसर उन इंटरमीडिएट डेटा टुपल्स (इंटरमीडिएट की-वैल्यू पेयर) को टुपल्स या की-वैल्यू पेयर के एक छोटे सेट में एकत्रित करता है जो कि अंतिम आउटपुट होता है।
मैपर और रेड्यूसर क्या करते हैं?
Hadoop Mapper एक फ़ंक्शन या कार्य है जिसका उपयोग एक फ़ाइल से सभी इनपुट रिकॉर्ड को संसाधित करने के लिए किया जाता है और आउटपुट उत्पन्न करता है जो रेड्यूसर के लिए इनपुट के रूप में काम करता है यह नया लौटाकर आउटपुट उत्पन्न करता है कुंजी-मूल्य जोड़े। … मैपर इनपुट रिकॉर्ड को की-वैल्यू पेयर के रूप में संसाधित करते समय डेटा के कुछ छोटे ब्लॉक भी उत्पन्न करता है।
मैपर और रेड्यूसर में क्या अंतर है?
मैपर और रेड्यूसर के बीच मुख्य अंतर क्या है? मैपर कार्य प्रसंस्करण का पहला चरण है जो प्रत्येक इनपुट रिकॉर्ड को संसाधित करता है (RecordReader से) और एक मध्यवर्ती कुंजी-मूल्य जोड़ी उत्पन्न करता है। प्रत्येक कुंजी/मान सूची जोड़ी के लिए कम विधि को अलग से कहा जाता है।
आप मैपर्स और रेड्यूसर की संख्या की गणना कैसे करते हैं?
यह इस बात पर निर्भर करता है कि प्रत्येक दास पर आपके पास कितने कोर और कितनी मेमोरी है। आम तौर पर, एक मैपर को 1 से 1.5 कोर प्रोसेसर प्राप्त करना चाहिए इसलिए यदि आपके पास 15 कोर हैं तो कोई प्रति नोड 10 मैपर चला सकता है। तो अगर आपके पास Hadoop क्लस्टर में 100 डेटा नोड्स हैं तो कोई एक क्लस्टर में 1000 मैपर चला सकता है।
मैपर कैसे काम करता है?
मैपर एक फंक्शन है जो इनपुट डेटा को प्रोसेस करता है मैपर डेटा को प्रोसेस करता है और डेटा के कई छोटे हिस्से बनाता है। मैपर फ़ंक्शन का इनपुट (कुंजी, मान) जोड़े के रूप में होता है, भले ही MapReduce प्रोग्राम का इनपुट एक फ़ाइल या निर्देशिका है (जो HDFS में संग्रहीत है)।
