Se sei già del Settore IT , devi esserne consapevole Big Data è il discorso del giorno. Che si tratti di nuove startup che escogitano modelli di business innovativi o dei tuoi colleghi che si uniscono a quelle startup, per qualche motivo, oggi Pascoli più verdi sembra essere il Big Data industria.
Se ti stai chiedendo perché, allora ti consiglio di leggere questo fino alla fine perché questo può essere un blog che esplora te stesso, che ti porta a ciò a cui sei destinato.
Allora, perché tutto questoHYPEcircostante GRANDI DATI?
È solo un altro dominio che porterà i rifugiati da tutti gli altri domini su base temporanea? O sarà qui per il lungo raggio?
Se dovessi indovinare, direi che non solo sarà qui per il lungo periodo, ma l'industria dei Big Data sarà l'epicentro del progresso tecnologico.
Perché si tratta di tuttoDATI!
Proprio come il solesorgedalesteimpostanelovest, l'uso continuo di dispositivi informatici / non informatici si tradurrà in un'esplosione di dati non gestibili.
Quando questi dati superano la soglia di essere gestiti da Excel o da qualsiasi sistema di gestione del database, lo chiamiamo GRANDI DATI .
Pensa, qual è stato l'ultimo prodotto che hai acquistato da Amazon? Quale può essere il prossimo prodotto che potresti acquistare in base alle attività passate? Le risposte a queste domande vengono memorizzate in Big Data.
C'è una tendenza in crescita dietro un prodotto? Oppure c'è una tendenza al ribasso? Un cliente acquisterà 'Calze' quando acquista 'Scarpe'? Queste sono domande per la risoluzione dei problemi aziendali.
E queste domande possono essere facilmente ha risposto usando Analisi dei Big Data .
Dopo tutto, a cosa servono i dati quando non lo sei analizzando esso?
Quindi, sono i Big Datacompletamente circaAnalytics?Non completamente, ma Analytics è il premio finale.
Altri importanti flussi di Big Data sonoConservazioneeGestione.
È qui che tu come professionista puoi contribuire. Puoi assumere il ruolo di:
- Big Data Engineer
- Big Data Solution Architect
E assicurati che i big data generati siano sempre disponibili e possano essere utilizzati per analisi in un secondo momento. Quindi questo ci porta alla domanda & hellip
come installare chef server
Dove vengono archiviati i Big Data?
Può essere conservato in un filefile Excel? Può essere conservato in un filesistema di database relazionali?
Diavolo, no!
Se potesse essere stato, allora sarebbe stato!
Ed essere chiamati qualcosa di diverso tutti insieme. Forse qualcosa di simileDati ExceloDati RDBMS: D
E questo ci riporterebbe a PASSO 1 : - Perché i Big Data non possono essere gestiti utilizzando Excel? PerchéI Big Data sono troppo caldi per essere gestiti da Excel. E anche altri sistemi di gestione di database per un dato di fatto.
Quindi qual è l'alternativa?
Per la gestione dei Big Data, abbiamo HADOOP . Anche tu potresti essere a conoscenza di questa parola. Ma ti starai chiedendo, come funziona esattamente?
Per cominciare, HADOOP è un prodotto diFondazione APACHE. Apache è un'organizzazione senza scopo di lucro americana che supporta lo sviluppo di software open source.
Hadoop è definito come un framework di programmazione basato su Java open source che supporta l'elaborazione e l'archiviazione di set di dati estremamente grandi in un ambiente di elaborazione distribuito.
Cosa può fare Hadoop, ma Excel no?
Elabora e comprendi i dati non strutturati!I dati strutturati che sono in formato tabulare o in altro modo possono essere facilmente gestiti. Excel può farlo, così come qualsiasi altro RDBMS.
Ma quando la leggibilità si riduce e i dati non sono strutturati, è lì che i Big Datastrumenti come HadoopPunto. Un esempio di dati non strutturati è syslog . Di seguito è riportata un'immagine di esempio.
cos'è la serializzazione in java
Tali registri non sono assolutamente interrogabili utilizzando Excel.
Hadoop, come gli strumenti Big Data, può comprendere i dati così come sono, scoprendo schemi e formando relazioni tra i vari campi. E una volta che i dati hanno un tocco relazionale, lo sonoPronto per l'analisi.
L'analisi è ciò che avrà un impatto aziendale su un'organizzazione! La tua carriera trarrà grandi vantaggi dal suo coinvolgimento in questo dominio dei Big Data.
' Posso farlo come Hadoop-er? '
... potrebbe essere la prossima domanda nella tua mente. E giustamente pensato, i Big Data sono un mercato più caldo che mai e più importante che mai.
Senza Hadoop, le aziende avranno difficoltà a gestire i Big Data. E senza professionisti qualificati come te, le aziende avranno difficoltà a trattare con Hadoop.
C'è un rapporto che dice che c'è un deficit di talenti in questo campo. Deficit di bilancio significa, meno professionisti ma alta domanda. E questo è su scala globale e non limitato a una particolare geografia.
Vuoi i numeri?
PER McKinsey Global Institute Lo studio afferma che gli Stati Uniti dovranno affrontare una carenza di circa 190.000 data scientist e 1,5 milioni di manager e analisti in grado di comprendere e prendere decisioni utilizzando i Big Data entro il 2018.
Consigli di carriera per te? Naviga quando le maree sono basse!
Ma sei tu limitato a solo Hadoop ?
Non proprio. Esistono numerosi strumenti per l'elaborazione dei Big Data e Hadoop è considerato uno dei migliori. Ma non ogni volta!
Ci sono momenti in cui Hadoop non è la soluzione migliore. Ad esempio, se sei una persona non tecnica che non è molto brava a scrivere programmi MapReduce.
In questi casi, puoi usareTALEND, che ti offre un'interfaccia utente grafica per fare tutto ciò che avresti fatto altrimenti con MapReduce.
Per scrivere codici Java più semplici, puoi usareMAIALE.
Se vuoi eseguire query di tipo SQL su Big Data, alloraALVEAREpuò essere utilizzata.
Se desideri utilizzare i dati archiviati in un database NoSQL, alloraHBasepuò essere utilizzata.
Per eseguire analisi in tempo reale, puoi utilizzareSCINTILLA.
Questi sono strumenti per Big Data, che vanno di pari passo con Hadoop, ma non sostituiscono affatto Hadoop. Sono componenti aggiuntivi Hadoop per Big Data.
Inoltre, ci sono un paio di altri strumenti come SQOOP, FLUME, OOZIE, ecc. Che possono essere integrati con il framework Hadoop per risolvere vari problemi aziendali.
Cosa si aspetta il settore da te come esperto di big data?
L'industria ha un disperato bisogno di BIG DATA ARCHITETTI chi può creare una soluzione per big data end-to-end per le proprie organizzazioni. I Big Data Architects sono coloro che hanno esperienza in tutti gli strumenti sopra menzionati.
Ecco una testimonianza di uno studente di Edureka su corso:
Diventare un a partire dalla formazione per la certificazione Big Data e Hadoop di Edureka che aiuta i discenti a diventare esperti in HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume e Sqoop utilizzando casi d'uso in tempo reale nel dominio Retail, Social Media, Aviation, Tourism, Finance .