Una delle caratteristiche più interessanti del framework Hadoop è la sua utilizzo di hardware di base . Tuttavia, questo porta a frequenti arresti anomali di DataNode in un cluster Hadoop. Un'altra caratteristica sorprendente di Hadoop Framework è il facilità di scalabilità in base alla rapida crescita del volume di dati . A causa di questi due motivi, uno dei compiti più comuni di un amministratore di Hadoop è commissione (Aggiungi) e disattivazione (Rimuovi) nodi di dati in un cluster Hadoop.
come tagliare in java
Messa in servizio e disattivazione dei nodi in un cluster Hadoop:
Il diagramma sopra mostra un processo passo passo per disattivare un DataNode nel cluster.
Il primo compito è aggiornare il ' escludere 'File per entrambi HDFS (hdfs-site.xml) e Riduci mappa (mapred-site.xml).
Il file 'escludi':
- per jobtracker contiene l'elenco degli host che dovrebbero essere esclusi dal jobtracker. Se il valore è vuoto, nessun host viene escluso.
- per Namenode contiene un elenco di host a cui non è consentito connettersi al Namenode.
Ecco la configurazione di esempio per il file di esclusione in hdfs-site.xml e mapred-site.xml:
hdfs-site.xml
dfs.hosts.exclude
/ home / hadoop / esclude
vero
mapred-site.xml
mapred.hosts.exclude
/ home / hadoop / esclude
vero
Nota: È necessario specificare il percorso completo dei file.
Allo stesso modo, abbiamo i file 'include':
- per jobtracker contenente l'elenco dei nodi che possono connettersi a JobTracker. Se il valore è vuoto, tutti gli host sono consentiti.
- per Namenode contenente un elenco di host a cui è consentito connettersi al Namenode. Se il valore è vuoto, tutti gli host sono consentiti.
Il ' dfsadmin ' e ' mradmin 'I comandi aggiornano la configurazione con le modifiche per renderli consapevoli del nuovo nodo.
Il ' schiavi 'File sul server master contiene l'elenco di tutti i nodi di dati. Questo deve anche essere aggiornato per garantire che eventuali problemi nel futuro demone hadoop avviano / arrestano.
Il passaggio importante nel processo di commissione del nodo dati è l'esecuzione di Cluster Balancer.
> hadoop balancer -soglia 40
Bilanciatore tenta di fornire un equilibrio a una certa soglia tra i nodi di dati copiando i dati del blocco dai nodi più vecchi ai nodi appena commissionati.
Quindi, ecco come puoi fare - La messa in produzione e Messa fuori servizio Nodi in un cluster Hadoop.
Hai domande per noi? Per favore menzionalo nella sezione commenti e ti risponderemo.
Link correlati: