Con la maggiore adozione di Hadoop nelle soluzioni IT aziendali tradizionali e il numero maggiore di implementazioni di Hadoop nell'ambiente di produzione, la necessità per gli esperti di operazioni e amministrazione di Hadoop di prendersi cura dei grandi cluster Hadoop sta diventando vitale.
Responsabilità dell'amministratore di Hadoop:
- Responsabile dell'implementazione e dell'amministrazione continua dell'infrastruttura Hadoop.
- Allinearsi con il team di ingegneri dei sistemi per proporre e distribuire nuovi ambienti hardware e software necessari per Hadoop e per espandere gli ambienti esistenti.
- Collaborare con i team di consegna dei dati per configurare nuovi utenti Hadoop. Questo lavoro include la configurazione degli utenti Linux, l'impostazione dei principali Kerberos e il test dell'accesso HDFS, Hive, Pig e MapReduce per i nuovi utenti.
- Manutenzione del cluster, nonché creazione e rimozione di nodi utilizzando strumenti come Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage e altri strumenti.
- Ottimizzazione delle prestazioni dei cluster Hadoop e delle routine MapReduce di Hadoop.
- Esamina le prestazioni lavorative del cluster Hadoop e la pianificazione della capacità
- Monitora la connettività e la sicurezza del cluster Hadoop
- Gestisci e rivedi i file di registro di Hadoop.
- Gestione e monitoraggio del file system.
- Supporto e manutenzione HDFS.
- Collaborare diligentemente con i team di infrastruttura, rete, database, applicazioni e business intelligence per garantire un'elevata qualità e disponibilità dei dati.
- Collaborare con i team delle applicazioni per installare gli aggiornamenti del sistema operativo e Hadoop, le patch, gli aggiornamenti della versione quando necessario.
- Punto di contatto per l'escalation del fornitore
Hadoop Administration è una carriera gratificante e redditizia con molte opportunità di crescita. Se le responsabilità lavorative sopra elencate ti interessano, è il momento di acquisire competenze con l'amministrazione di Hadoop e intraprendere il percorso di carriera dell'amministratore di Hadoop.
cos'è il tag br in html
Responsabilità DBA svolte da un amministratore Hadoop:
- Modellazione, progettazione e implementazione dei dati sulla base di standard riconosciuti.
- Installazione e configurazione del software.
- Backup e ripristino del database.
- Connettività e sicurezza del database.
- Monitoraggio e messa a punto delle prestazioni.
- Gestione dello spazio su disco.
- Patch e aggiornamenti software.
- Automatizza le attività manuali.
Responsabilità di sviluppo DWH svolte dall'amministratore di Hadoop:
Le responsabilità lavorative degli amministratori DWH includono lo sviluppo, il test e il monitoraggio di processi batch per le seguenti attività:
- Garantire l'integrità referenziale.
- Eseguire l'esecuzione della chiave primaria.
- Realizza le riconfigurazioni dei dati.
- Carica grandi volumi di dati in modo tempestivo.
Ora che conosci le responsabilità lavorative di un amministratore Hadoop, diamo un'occhiata alle competenze richieste per diventarlo.
Competenze richieste per diventare un amministratore Hadoop:
- Competenza operativa generale come buone capacità di risoluzione dei problemi, comprensione della capacità del sistema, colli di bottiglia, nozioni di base su memoria, CPU, sistema operativo, archiviazione e reti.
- Abilità Hadoop come HBase, Hive, Pig, Mahout, ecc.
- I requisiti più essenziali sono: devono essere in grado di distribuire il cluster Hadoop, aggiungere e rimuovere nodi, tenere traccia dei lavori, monitorare le parti critiche del cluster, configurare l'alta disponibilità nome-nodo, pianificarlo e configurarlo ed eseguire backup.
- Buona conoscenza di Linux in quanto Hadoop gira su Linux.
- Familiarità con la gestione della configurazione open source e gli strumenti di distribuzione come Puppet o Chef e scripting Linux.
- La conoscenza della risoluzione dei problemi delle applicazioni Java principali è un vantaggio.
Edureka ha appositamente curato un corso sull'amministrazione di Hadoop. Fai clic sul pulsante in basso per iniziare con l'amministrazione di Hadoop e scoprire come il corso ti aiuta a diventare un amministratore di Hadoop.
Post correlati:
cos'è un metodo tostring in java