In questo post ne parlerò Installazione di Apache Pig su Linux . Cominciamo con la definizione di base di Apache Pig e Pig Latin.
Maiale Apache è uno strumento / piattaforma per creare ed eseguire il programma Map Reduce utilizzato con Hadoop. È uno strumento / piattaforma per analizzare grandi set di dati. Puoi dire che Apache Pig è un'astrazione su MapReduce. I programmatori che non sono così bravi in Java erano soliti lavorare su Hadoop, soprattutto durante la scrittura di lavori MapReduce.Quindi, è un argomento importante da imparare e per cui padroneggiare .Apache Pig ha la sua lingua Maiale latino che è un vantaggio per i programmatori poveri.
Un'introduzione di base a Pig Latin ti aiuterà a capire meglio:
Viene chiamato il linguaggio procedurale di alto livello utilizzato nella piattaforma Apache Pig Maiale latino . Apache Pig include 'Pig Latin', un linguaggio relativamente più semplice che può essere eseguito su set di dati distribuiti su Hadoop File System (HDFS). In Apache Pig, devi scrivere script Pig usando il linguaggio Pig Latin, che viene convertito in lavoro MapReduce quando esegui lo script Pig. Apache Pig ha vari operatori che vengono utilizzati per eseguire attività come leggere, scrivere, elaborare i dati. Per conoscere gli operatori di Apache Pig, vai al nostro blog ' Operatori in Apache Pig: Parte 1 - Operatori relazionali '.
Ora che hai una conoscenza di base di Apache Pig, iniziamo con l'installazione di Apache Pig su Linux.
Installazione di Apache Pig su Linux:
Di seguito sono riportati i passaggi per l'installazione di Apache Pig su Linux (ubuntu / centos / windows utilizzando Linux VM). Sto usando Ubuntu 16.04 nella configurazione sottostante.
Passo 1: Scarica Maiale catrame file.
Comando: wget http://www-us.apache.org/dist/pig/pig-0.16.0/pig-0.16.0.tar.gz
Passo 2: Estrai il file catrame file utilizzando il comando tar. Nel comando tar sotto, X significa estrarre un file di archivio, con significa filtrare un archivio tramite gzip, f significa nome file di un file di archivio.
Comando: tar -xzf pig-0.16.0.tar.gz
Comando: ls
uso di charat in java
Passaggio 3: Modifica il ' .bashrc 'Per aggiornare le variabili d'ambiente di Apache Pig. Lo stiamo impostando in modo da poter accedere a pig da qualsiasi directory, non è necessario andare alla directory pig per eseguire i comandi pig. Inoltre, se qualsiasi altra applicazione sta cercando Pig, conoscerà il percorso di Apache Pig da questo file.
Comando: sudo gedit .bashrc
Aggiungere quanto segue alla fine del file:
# Imposta PIG_HOME
export PIG_HOME = / home / edureka / pig-0.16.0
export PATH = $ PATH: /home/edureka/pig-0.16.0/bin
esporta PIG_CLASSPATH = $ HADOOP_CONF_DIR
Inoltre, assicurati che sia impostato anche il percorso hadoop.
Esegui sotto il comando per fare in modo che le modifiche vengano aggiornate nello stesso terminale.
Comando: fonte .bashrc
Passaggio 4: Controlla la versione del maiale. Questo per verificare che Apache Pig sia stato installato correttamente. Nel caso in cui non si ottenga la versione di Apache Pig, è necessario verificare di aver seguito correttamente i passaggi precedenti.
Comando: versione maiale
Passaggio 5 :Controlla la guida del maiale per vedere tutte le opzioni di comando del maiale.
come usare lo spazio dei nomi in c ++
Comando: maiale-aiuto
Passaggio 6 :Esegui Pig per avviare il guscio grugnito. La shell Grunt viene utilizzata per eseguire gli script di Pig Latin.
Comando: maiale
Se guardi correttamente l'immagine sopra, Apache Pig ha due modalità in cui può essere eseguito, per impostazione predefinita sceglie la modalità MapReduce. L'altra modalità in cui puoi eseguire Pig è la modalità locale. Lascia che ti dica di più su questo.
Modalità di esecuzione in Apache Pig:
- Modalità MapReduce - Questa è la modalità predefinita, che richiede l'accesso a un cluster Hadoop e all'installazione di HDFS. Poiché questa è una modalità predefinita, non è necessario specificare il flag -x (puoi eseguire maiale O maiale -x mapreduce ). L'input e l'output in questa modalità sono presenti su HDFS.
- Modalità locale - Con l'accesso a una singola macchina, tutti i file vengono installati ed eseguiti utilizzando un host locale e un file system. Qui la modalità locale viene specificata utilizzando '-x flag' ( maiale -x locale ). L'input e l'output in questa modalità sono presenti sul file system locale.
Comando: maiale -x locale
ordina array c ++ crescente
Puoi guardare il video sottostante per guardare l'installazione di Apache Pig su Linux:
Installazione di Apache Pig | Installazione di Pig su Linux | Edureka
Ora che hai finito con l'installazione di Apache Pig su Linux, il prossimo passo avanti è provare alcuni operatori relazionali di Pig sulla shell di Pig Grunt. Quindi, il prossimo blog ' Operatori in Apache Pig: Parte 1 - Operatori relazionali 'Ti aiuterà a padroneggiare gli operatori di maiale.
Ora che hai installato Apache Pig su Linux, controlla il file da Edureka, una società di formazione online affidabile con una rete di oltre 250.000 studenti soddisfatti sparsi in tutto il mondo. Il corso di formazione per la certificazione Edureka Big Data Hadoop aiuta gli studenti a diventare esperti in HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume e Sqoop utilizzando casi d'uso in tempo reale nel settore Retail, Social Media, Aviation, Tourism, Finance.
Hai domande per noi? Per favore menzionalo nella sezione commenti e ti risponderemo.