java - Is it necessary to execute a task on Hadoop DataNode? -

-

क्या यह हैडोप काम करता है?

  1. क्लाइंट MapReducer नौकरी / प्रोग्राम को NameNode सबमिट करें।

  2. JobTracker (पर रहता है NameNode ) व्यक्तिगत कार्य मशीनों (दिनांक नोड्स) पर चल रहे गुलाम कार्य ट्रैकर्स को कार्य को आवंटित करता है

  3. प्रत्येक कार्यचैकर

    4. पर क्लिक करें < Em> नोड क्या इसका अर्थ है कि जॉब स्लेव कंप्यूटिंग इंजन या प्रोसेसिंग पावर का उपभोग करने वाला है।

    क्या होगा अगर मैं किसी अन्य मशीन का उपयोग करना चाहता हूं (< Em> Hadoop स्थापना प्रणाली) < / Em> क्लस्टर? Hadoop अपने DataNode (s) के लिए एक बहुत ही कुशल तरीके से बड़े डेटा वितरित करता है।

    नया परिदृश्य निम्नानुसार होगा:

    । सर्वर

    b क्लाइंट

    a.1) Hadoop क्लस्टर्स

    b.1 का उपयोग करते हुए अनधिकृत डेटा वितरित करें। क्लाइंट निष्पादित करेगा (NameNode को सबमिट नहीं किया गया) एक < Em> MapReducer नौकरी जो Hadoop क्लस्टर डेटानोड से डेटा प्राप्त कर रहा है। यदि यह संभव है तो जॉबट्रैकर (NameNode) और टास्कट्रैकर (DataNode) का क्या होगा?

    मैं Hadoop के प्रमुख भाग की अनदेखी कर रहा हूं यहां पर क्लाइंट मशीन पर नौकरी निष्पादित करके, लेकिन यह मेरी परियोजना की आवश्यकता है। उस पर कोई सुझाव?

आप पहले भाग में सही हैं। सबसे पहले नौकरी ट्रैकर और टास्कट्रैकर के साथ वास्तुकला हडोप 1 के लिए है। आपको हडोप 2 को देखना चाहिए जो कि सबसे हाल की वास्तुकला है।

आपको एचडीएफएस और मैपरेडस के साथ भ्रम है।

  • HDFS: यह Hadoop की वितरित फाइल सिस्टम है NameNode क्लस्टर का मालिक है। इसमें मेटाडेटा और फाइलों का स्थानीयकरण शामिल है डाटानोड्स क्लस्टर के दास हैं। वे क्लस्टर में डेटा संग्रहीत करते हैं।

  • मानचित्रण: "नई" वास्तुकला को यार्न कहा जाता है और इस तरह चलाया जाता है: आपके पास एक मास्टर रोल है, RessourceManager और कुछ गुलाम, नौसेनाध्यक्ष जब आप क्लस्टर के लिए एक MapReduce जार जमा करते हैं, तो RessourceManager नोडमनेगर को प्रक्रिया आवंटित करेगा। सरल बनाने के लिए, प्रत्येक नोडमनेगर एचडीएफएस में संग्रहीत फाइल के एक भाग पर प्रोग्राम को निष्पादित करेगा।

तो बस सही ढंग से अलग एचडीएफएस भूमिका और मानचित्रराइड भूमिका।


Comments

Post a Comment

Popular posts from this blog

c++ - C/pp Sockets, recv()/send() works only under gdb -

-
Edit: In the socket: The CanReceive () argument was the reason I was checking the input 1 millisecond While stepping into GDB, everything worked out. I have a problem with C sock send () / recv () do nothing if they are in non-debug mode. Even if std :: cout can not return their return value for some reason std :: cout is not working in my method I std: : Cerr can not even make a mistake It does not make sense to check that in GDB, because everything works perfectly as a virus in non-debug mode. C does not. //b - buffer // s - size // sd - socket descriptor int32_t TCP :: reception (char * b, uint32_t s) {error :: critical. SetErrorNumber (error: List :: noor); If (! Socket :: valid (sd)) {error :: serious .sitemember (error :: list :: invalid socket); Return -1; } If (Disconnect ()) {Error :: Critical. SetErrorNumber (Error :: List :: Notepanked); Return -1; } If returned (! Socket :: canvasive (SD, readtimeout)) incorrect; If (! B) {B = new four [S + 1]; Std :: mem...
Read more

GO: Serve static pages -

-
I'm trying to display a static page with Go. Go: Package main import "net / http" function main () {fs: = http.FileServer (http.Dir ("static / house")) Http: .handle ("/", fs) http.ListenAndServe (": 4747", zero)} directory: project / stable home Html edit.html project.go When I run it, the web page displays links to edit.html and home.html instead of displaying a static page from home.html is. What am I doing wrong. Is this the best way to serve files? I know that there are other ways like From the HTML / templates package, but I'm not sure what is the difference between each of these methods and when. Thanks! fancy main () {http.Handle ("/", http.FileServer (Http) .ir ("static")) http.ListenAndServe (": 4747", zero)} You do not need static / home , just Static . and when you do not have index.html in / static , the directory instead Content appears. Just change the name of...
Read more

objective c - How to open front/back camera at the same time in iOS developing? -

-
I want to use the front and rear camera at the same time in iOS development: when I take a photo back After the camera, the front camera can be opened and another can take a photo. By the way, these two photos are in a picture: vertical arrangement. Has anyone done this before? UIImagePickerController to take the picture, and to determine which camera is used Is in. / P> To merge the pictures, I found an example through search (its recommendation in the future)
Read more