Quando ero più giovane amavo la serie di film di Star Wars. Mi è piaciuto così tanto che ho avuto queste videocassette di ognuno di loro. Li guardavo ancora e ancora. Poi è arrivato il tempo dei lettori DVD e ho dovuto riprendere questi film in DVD. Non ho avuto remore a comprare di nuovo l'intero set in DVD perché volevo sperimentare la nuova tecnologia e continuare a godermi anche i miei film preferiti. Le cose andavano alla grande fino a quando non è emersa un'altra nuova tecnologia, Blu-ray. Avendo già acquistato i film due volte, non vedevo l'ora di comprarli di nuovo. Per un po 'di tempo non ho fatto alcuno sforzo per 'aggiornarmi', pensando che avrei fatto benissimo senza questa tecnologia. E ho fatto bene. Comunque non ha influenzato la mia vita. Ma potevo vedere un cambiamento di tendenza e non potevo condividere i miei film con i miei amici, come stavano facendo tra loro. Mi sono sentito davvero escluso.
Alla fine sono uscito e ho preso il film in Blu-ray. Lo ricordo non perché amo il film, ma per il fatto che la qualità del video era strabiliante. E per coronare il tutto, ho ottenuto l'intero set di film in un unico Blu-ray Disc.
La necessità o la voglia di rimanere aggiornati è più forte quando si tratta della nostra professione poiché i rischi sono maggiori. È diventato essenziale rimanere in cima al tuo gioco.
4 motivi pratici per imparare Hadoop 2.0:
Per quanto inevitabile possa essere, rimanere aggiornati nella nostra professione è diventata una parte importante della nostra vita. Per quanto possa sembrare scoraggiante, non c'è bisogno di allarmarsi perché le tecnologie non cambiano così velocemente o drasticamente. Ma i discorsi e le informazioni su queste tecnologie e sulle cose che possiamo fare con loro stanno guadagnando visibilità. Ecco alcuni motivi per cui dovresti rimanere aggiornato:
# 1: non farti catturare
come creare una stringa casuale in java
Non prestare attenzione all'ultimo aggiornamento di una tecnologia può farti sembrare un cervo catturato da un faro. Non esattamente un'immagine raggiante delle tue capacità professionali. Essere aggiornati ti farà rispettare dai tuoi colleghi per le tue capacità professionali. Potrebbe non essere necessario implementare ogni nuova cosa che impari, ma essere consapevoli degli aggiornamenti è imperativo.
Ad esempio, quando si tiene un discorso su Hadoop, puoi far sapere ai tuoi colleghi che Hadoop 2.5.0 presenta miglioramenti nell'autenticazione quando si utilizza un server proxy HTTP. E anche nella stessa versione di Hadoop, c'è una disposizione per scrivere direttamente su Graphite.
Diventa essenziale essere aggiornati sugli ultimi aggiornamenti quando le organizzazioni stanno pensando di migrare a Hadoop. E il 'sapere' può fare un'enorme differenza per la tua carriera.
# 2: avere un vantaggio competitivo
I professionisti esperti nei loro campi sono rispettati. E rimanere aggiornati è il modo migliore per essere al top. Il tuo bisogno di rimanere aggiornato riflette la tua passione verso il tuo lavoro. Sviluppando competenze nel tuo lavoro e nel tuo settore, guadagnerai la fiducia e il rispetto delle persone intorno a te. Dal punto di vista della leadership, questo è inestimabile!
Anche se la tua organizzazione sta ancora lavorando con Hadoop 1.0, conoscere tutte le ultime funzionalità di Hadoop 2 ti manterrà in carreggiata poiché è relativamente nuovo e decisamente migliore. Essere il primo a imparare questo ti darebbe un vantaggio sui tuoi coetanei.
# 3: nuove opportunità
È una triste realtà che il nostro ruolo attuale continui a cambiare. Con il tempo arrivano ulteriori responsabilità e opportunità per svolgere nuovi compiti. Rimanendo aggiornato sulle tendenze del settore, sei nella posizione migliore per cogliere queste opportunità.
Aziende come Macy's, Lockheed Martin, California Creative Solutions, Capital One, CSpring, CACI International Inc., Oracle, Yahoo !, American Express, BlueHawk, Aetna, Lawrence Livermore National Laboratory e molte altre sono alla ricerca di persone esperte nelle ultime funzionalità di Hadoop 2, come YARN.
# 4: prendere decisioni migliori
Le informazioni aggiuntive ti permetteranno di fare scelte informate e decisioni migliori. Ti aiuterà a riconoscere le opportunità e ad aggiungere valore alla strategia della tua organizzazione.
Hadoop 2 ha funzionalità che migliorano la velocità e riducono i costi. Suggerire opzioni per migliorare le prestazioni e aumentare la velocità può sicuramente aumentare la produttività dell'organizzazione. Ecco alcune caratteristiche di Hadoop 2 che andranno a vantaggio dell'organizzazione e suggerendo che miglioreranno anche la tua carriera.
Supporto per l'esecuzione di Hadoop su Microsoft Windows
Distribuzione semplificata dei file binari di MapReduce tramite HDFS nella cache distribuita YARN.
Supporto migliorato per nuove applicazioni su YARN con Application History Server e Application Timeline Server
Supporto HTTPS completo in HDFS
Integrazione Kerberos per l'archivio della sequenza temporale di YARN.
Supporto per la gerarchia di archiviazione eterogenea in HDFS.
Cache in memoria per dati HDFS con amministrazione e gestione centralizzate.
Distribuzione semplificata dei file binari di MapReduce tramite HDFS nella cache distribuita YARN.
Ci sono più che semplici ragioni pratiche per rimanere aggiornati Ci sono anche ragioni tecniche. Hadoop ha numerose funzionalità vantaggiose per le organizzazioni. Esaminarli in profondità ti darà un quadro chiaro di ciò che sono vantaggiosi.
Qual è l'ultimo aggiornamento di Hadoop?
Ogni prodotto passa attraverso varie fasi di rilascio e presenta varie versioni di se stesso. Hadoop non fa eccezione e ha creato Hadoop 2.0. La fondazione Apache ha messo a punto versioni successive di Hadoop come Hadoop 2.1.0, Hadoop 2.4.0 e ha raggiunto Hadoop 2.5.1, che è l'ultima versione rilasciata a settembre 2014.
Perché è stato rilasciato Hadoop 2?
Con la nuova versione vengono aggiunte funzionalità e bug corretti. Quindi ogni volta che usi una particolare versione di Hadoop e pensi che una certa funzionalità possa essere aggiunta o che alcuni bug debbano essere corretti, lo fai sapere ai ragazzi della Fondazione Apache. Questi ragazzi a loro volta ci lavorano e ti danno un prodotto migliore nella prossima versione.
Hadoop 2 - Non solo un numero
Hadoop 2 non è solo l'ultima versione di Hadoop. In generale, è un'architettura di seconda generazione. Arun Murthy, fondatore e architetto presso il distributore Hadoop Hortonworks, insiste sul fatto che la distinzione è importante perché la quantità di reingegnerizzazione richiesta per spostare Hadoop oltre l'elaborazione batch e nel mondo dell'analisi in tempo reale è stata sostanziale.
Parliamo di quanto sia diverso Hadoop 2.0 dal suo predecessore Hadoop 1.0. Ovviamente, la versione rilasciata più tardi sarà superiore alla versione precedente. Di seguito sono riportati i quattro principali miglioramenti in Hadoop 2.0 rispetto a Hadoop 1.x:
Federazione HDFS: scalabilità orizzontale di NameNode
Alta disponibilità di NameNode: NameNode non è più un singolo punto di errore
YARN: capacità di elaborare terabyte e petabyte di dati disponibili in HDFS utilizzando applicazioni non MapReduce come MPI, GIRAPH
Resource Manager: suddivide le due principali funzionalità di JobTracker sovraccarico (gestione delle risorse e pianificazione / monitoraggio dei lavori) in due demoni separati: un Resource Manager globale e ApplicationMaster per applicazione
Sono disponibili funzionalità aggiuntive come Capacity Scheduler (Abilita supporto multi-tenancy in Hadoop), Data Snapshot, Supporto per Windows, Accesso NFS, consentendo una maggiore adozione di Hadoop nel settore per risolvere i problemi dei Big Data.
Hadoop 2.X vs Hadoop 1.X
Facciamo un piccolo confronto e vediamo in che modo Hadoop 2.0 è migliore e diverso da Hadoop 1.0
Perché Hadoop 2 è preferito rispetto a Hadoop 1.0?
Hadoop 2.0 offre miglioramenti delle prestazioni a vantaggio delle tecnologie correlate nell'ecosistema Hadoop. Oltre alle caratteristiche rivoluzionarie di HDFS e dell'architettura di seconda generazione (YARN), ci sono ragioni sempre maggiori per preferire Hadoop 2 su Hadoop 1.0:
Hadoop 2 non ha più restrizioni linguistiche. Ciò significa che una vasta gamma di professionisti può ora utilizzare Hadoop.
Con Hadoop 2, ostacoli come la carenza di programmatori MapReduce vengono superati.
2 volte più veloce di Hadoop 1.0
2 volte il ROI con l'hardware esistente.
Con YARN, l'interfaccia di programmazione dell'applicazione è molto più aperta e flessibile.
Hadoop 2 amplia le possibilità di utilizzo di Hadoop nei progetti Big Data.
c ++ unire il codice di ordinamento
Con Hadoop 2, gli sviluppatori possono ora eseguire una grande varietà di attività di elaborazione dei dati, oltre il precedente ambito di elaborazione batch di Hadoop.
Offre nuove opportunità per i gestori delle informazioni e risolve le carenze nelle versioni precedenti.
Questa nuova versione ha la caratteristica unica di eseguire più carichi di lavoro sullo stesso cluster Hadoop.
Hadoop non è più limitato a una funzionalità. La sua applicazione ora si estende oltre HDFS e MapReduce.
Principali vantaggi di YARN
Siamo consapevoli che YARN è un'architettura di seconda generazione, vediamo cosa la rende così eccezionale.
Scala
Nuovi modelli e servizi di programmazione
genera una stringa casuale java
Utilizzo del cluster migliorato
Agilità
Molto più di Java
E molti altri
Richiesta di competenze Hadoop 2
Le organizzazioni stanno ora avviando o sperimentando Hadoop 2. Di conseguenza, c'è bisogno di professionisti esperti in Hadoop 2. Molte organizzazioni hanno già iniziato a cercare internamente persone che lavorino con Hadoop. Ci sono chiare indicazioni che YARN è in aumento e finirà per sostituire la richiesta di abilità MapReduce.
Ecco alcuni punti di vista sulla domanda attuale e prevista per le competenze Hadoop:
Secondo gli analisti di Gartner, Hadoop 2 è uno sviluppo vitale poiché le grandi aziende di tutto il mondo hanno scoperto che Hadoop è un punto di svolta nella gestione dei Big Data.
Secondo Eric Kavanagh, del gruppo Bloor, Hadoop 2.0 ha guadagnato popolarità tra i lavoratori dell'informazione che cercano di disputare i Big Data.
L'adozione di Hadoop 2.0 continua ad essere in aumento e sta ora entrando nella fase di maturità.
Le organizzazioni sono consapevoli dei vantaggi di YARN e ne sono entusiaste.
Ecco un'istantanea delle opportunità di lavoro per Hadoop 2.0 / YARN in Indeed.com
Chi si trasferisce a Hadoop 2 o lo ha già fatto?
Yahoo:
Yahoo! , il leader in tutto ciò che Hadoop ha implementato YARN (0.23.x). Secondo Murthy, il cluster di 35.000 nodi di Yahoo ora elabora 130-150 lavori al giorno rispetto ai 50-60 precedenti a YARN.
Quando si parla di prestazioni stellari, Murthy cita: 'Quando hai due volte più di 35.000 a 40.000 nodi, è fenomenale'. Ha anche aggiunto: 'È una storia piuttosto avvincente raccontare a un CIO che se aggiorni il tuo software da Hadoop 1 a Hadoop 2, vedrai miglioramenti 2 volte la produttività nei tuoi lavori'.
eBay:
eBay ha uno dei più grandi cluster Hadoop del settore, in cui i dati sono in petabyte. Hanno anche migrato i loro cluster su Hadoop 2.
Conclusione:
Dato che Hadoop 2 è maturo e più facile da implementare, convincono persino gli scettici e sempre più organizzazioni stanno migrando a Hadoop 2.0. Esistono validi motivi per evitare le versioni 1.x. Ma con Hadoop 2, anche i miscredenti lo stanno prendendo in considerazione in quanto può essere utilizzato per una vasta gamma di usi. Imparando Hadoop 2.0 e implementandolo per eseguire calcoli su Big Data, aprirai le porte a una carriera tecnicamente avanzata e finanziariamente gratificante.
Hai domande per noi? Per favore menzionali nella sezione commenti e ti risponderemo.
Post correlati: