Comandi HDFS
Nel mio blog precedenti , Ho già discusso che cos'è HDFS, le sue caratteristiche e l'architettura. Il primo passo verso il viaggio verso sta eseguendo comandi HDFS ed esplora come funziona HDFS. In questo blog, parlerò dei comandi HDFS utilizzando i quali è possibile accedere al file system Hadoop.
Quindi, lascia che ti dica gli importanti comandi HDFS e il loro funzionamento che vengono utilizzati più frequentemente quando si lavora con Hadoop File System.
fsck
Comando HDFS per controllare l'integrità del file system Hadoop.
Comando: hdfs fsck /
ls
Comando HDFS per visualizzare l'elenco di file e directory in HDFS.
Comando: hdfsdfs –Ls /
mkdir
Comando HDFS per creare la directory in HDFS.
Utilizzo: hdfs dfs –mkdir / nome_directory
Comando: hdfs dfs –mkdir / new_edureka
Nota: Qui stiamo cercando di creare una directory denominata 'new_edureka' in HDFS.
toccare
Comando HDFS per creare un file in HDFS con dimensione del file 0 byte.
Utilizzo: hdfs dfs –touchz / directory / filename
Comando: hdfs dfs –touchz / new_edureka / sample
Nota: Qui stiamo cercando di creare un file chiamato 'sample' nella directory 'new_edureka' di hdfs con dimensione del file 0 byte.
di
Comando HDFS per controllare la dimensione del file.
Utilizzo: hdfs dfs –du –s / directory / filename
Comando: hdfs dfs –du –s / new_edureka / sample
gatto
Comando HDFS che legge un file su HDFS e stampa il contenuto di quel file sullo standard output.
Utilizzo: hdfs dfs –cat / path / to / file_in_hdfs
Comando: hdfs dfs –cat / new_edureka / test
unire il codice c ++ di ordinamento
testo
Comando HDFS che accetta un file di origine e genera il file in formato testo.
Utilizzo: hdfs dfs –testo / directory / nomefile
Comando: hdfs dfs –text / new_edureka / test
copyFromLocal
Comando HDFS per copiare il file da un file system locale a HDFS.
Utilizzo: hdfs dfs -copyFromLocal
Comando: hdfs dfs –copyFromLocal / home / edureka / test / new_edureka
Nota: Qui il test è il file presente nella directory locale / home / edureka e dopo che il comando viene eseguito il file di test verrà copiato nella directory / new_edureka di HDFS.
copyToLocal
Comando HDFS per copiare il file da HDFS al file system locale.
Utilizzo: hdfs dfs -copyToLocal
Comando: hdfs dfs –copyToLocal / new_edureka / test / home / edureka
Nota: Qui test è un file presente nella directory new_edureka di HDFS e dopo che il comando viene eseguito il file di test verrà copiato nella directory locale / home / edureka
lancia un double a un int
mettere
Comando HDFS per copiare una o più origini dal file system locale al file system di destinazione.
Utilizzo: hdfs dfs -put
Comando: hdfs dfs –put / home / edureka / test / user
Nota: Il comando copyFromLocal è simile al comando put, tranne per il fatto che l'origine è limitata a un riferimento al file locale.
ottenere
Comando HDFS per copiare file da hdfs al file system locale.
Utilizzo: hdfs dfs -get
Comando: hdfs dfs –get / user / test / home / edureka
Nota: Il comando copyToLocal è simile al comando get, tranne per il fatto che la destinazione è limitata a un riferimento al file locale.
contare
Comando HDFS per contare il numero di directory, file e byte nei percorsi che corrispondono al modello di file specificato.
Utilizzo: hdfsdfs -count
Comando: hdfs dfs –count / user
rm
Comando HDFS per rimuovere il file da HDFS.
Utilizzo: hdfs dfs –rm
Comando: hdfs dfs –rm / new_edureka / test
rm -r
Comando HDFS per rimuovere l'intera directory e tutto il suo contenuto da HDFS.
Utilizzo: hdfs dfs -rm -r
Comando: hdfs dfs -rm -r / new_edureka
cp
Comando HDFS per copiare i file dall'origine alla destinazione. Questo comando consente anche più sorgenti, nel qual caso la destinazione deve essere una directory.
Utilizzo: hdfs dfs -cp
Comando: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2
Comando: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2 / user / hadoop / dir
mv
Comando HDFS per spostare i file dall'origine alla destinazione. Questo comando consente anche più sorgenti, nel qual caso la destinazione deve essere una directory.
Utilizzo: hdfs dfs -mv
Comando: hdfs dfs -mv / user / hadoop / file1 / user / hadoop / file2
eliminare
Comando HDFS che svuota il cestino.
Comando: hdfsdfs-expunge
rmdir
Comando HDFS per rimuovere la directory.
Utilizzo: hdfs dfs -rmdir
Comando: hdfs dfs –rmdir / user / hadoop
utilizzo
Comando HDFS che restituisce la guida per un singolo comando.
Utilizzo: hdfs dfs -usage
Comando: hdfs dfs -usage mkdir
Nota: Utilizzando il comando di utilizzo è possibile ottenere informazioni su qualsiasi comando.
Aiuto
Comando HDFS che visualizza la guida per un determinato comando o tutti i comandi se nessuno è specificato.
Comando: hdfs dfs -help
come impostare java classpath
Questa è la fine del blog HDFS Commands, spero che sia stato informativo e che tu sia stato in grado di eseguire tutti i comandi. Per ulteriori comandi HDFS, puoi fare riferimento ad Apache Hadoopdocumentazione Qui.
Ora che hai eseguito i comandi HDFS sopra, controlla il file da Edureka, una società di formazione online affidabile con una rete di oltre 250.000 studenti soddisfatti sparsi in tutto il mondo. Il corso di formazione per la certificazione Edureka Big Data Hadoop aiuta gli studenti a diventare esperti in HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume e Sqoop utilizzando casi d'uso in tempo reale nel settore Retail, Social Media, Aviation, Tourism, Finance.
Hai domande per noi? Per favore menzionalo nella sezione commenti e ti risponderemo.