trasforma double in int java
Hadoop Job Tacker
Job Tracker è il demone principale sia per la gestione delle risorse di lavoro che per la pianificazione / monitoraggio dei lavori. Funge da collegamento tra Hadoop e la tua applicazione.
Il processo
L'utente copia prima i file nel file system distribuito (DFS), prima di inviare un lavoro al client. Il client riceve quindi questi file di input. L'utente riceverà le suddivisioni o i blocchi in base ai file di input.Il cliente potrebbecreare le spaccature o i blocchi in un uomoner it prefperché ci sono alcune considerazioni alla base. Se viene eseguita un'analisi sui dati completi, i dati verranno divisi in suddivisioni. I file non vengono copiati tramite il client, ma vengono copiati utilizzando flume o Sqoop o qualsiasi client esterno.
Una volta che i file vengono copiati nel DFS e il client interagisce con il DFS,le divisioni eseguiranno un MapReduce job. Il lavoro viene inviato tramite un job tracker. Il job tracker è il demone principale che viene eseguito sullo stesso nodo checorrequesti lavori multipli sui nodi di dati. Questi dati giacciono su vari nodi di dati, ma è responsabilità del job tracker prendersene cura.
Dopo che un cliente si è sottomessoil job tracker, il lavoro viene inizializzato sulla coda dei lavori e il job tracker crea mappe e riduce. In base al programma contenuto nella funzione di mappa e nella funzione di riduzione, creerà l'attività di mappa e ridurrà l'attività. Questi due verranno eseguiti sulle suddivisioni di input. Nota: quando viene creata dai client, questa suddivisione di input contiene tutti i dati.
Ciascuna divisione di input ha un lavoro di mappa in esecuzione e l'output dell'attività di mappa va nell'attività di riduzione. Job tracker esegue la traccia su un dato dato. Possono esserci più repliche di questo, quindi seleziona i dati locali ed esegue l'attività su quel particolare task tracker. Il task tracker è quello che esegue effettivamente l'attività sul nodo dati. Job tracker passerà il fileinformazioneal task tracker e il task tracker eseguirà il lavoro sul nodo dati.
Una volta che il lavoro è stato assegnato al tracker delle attività, c'è un battito cardiaco associato a ogni tracker delle attività e tracker dei lavori. Invia segnali per scoprire se i nodi di dati sono ancora vivi. I due sono spesso sincronizzati poiché esiste la possibilità che i nodi si dissolvono.
Hai domande per noi? Menzionateli nella sezione commenti e vi risponderemo.
cos'è la classe anonima in java
Post correlati:
cos'è la classe pojo in java