In questo blog, vediamo come creare Spark per una versione specifica di Hadoop.
Impareremo anche come costruire Spark con HIVE e YARN.
cos'è il frame in java
Considerando che hai Hadoop, jdk, mvn e partire preinstallato e preconfigurato sul sistema.
Aperto Browser Mozilla e Scarica Scintilla utilizzando il collegamento sottostante.
https://edureka.wistia.com/medias/k14eamzaza/
Apri terminale.
Comando: tar -xvf Downloads / spark-1.1.1.tgz
Comando: ls
Apri la directory spark-1.1.1.
Puoi aprire pom.xml file. Questo file fornisce le informazioni su tutti i file dipendenze hai bisogno.
Non modificarlo per stare fuori dai guai.
Comando: cd spark-1.1.1 /
Comando: sudo gedit sbt / sbt-launch-lib.bash
Modifica il file come sotto l'istantanea, salvalo e chiudilo.
Stiamo riducendo la memoria per evitare problemi di spazio nell'heap degli oggetti come indicato nell'istantanea sottostante.
Ora, esegui il comando seguente nel terminale per creare spark per Hadoop 2.2.0 con HIVE e YARN.
Comando: ./sbt/sbt -P filato -P alveare -Phadoop-2.2 -D hadoop.version = 2.2.0 -D skipTests assemblaggio
Nota: la mia versione di Hadoop è 2.2.0, puoi cambiarla in base alla tua versione di Hadoop.
Per altre versioni di Hadoop
# Apache Hadoop 2.0.5-alpha
-Dhadoop.version = 2.0.5-alpha
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-Phadoop-0.23 -Dhadoop.version = 0.23.7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.version = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.version = 2.4.0
Ci vorrà un po 'di tempo per la compilazione e il pacchetto, attendere fino al completamento.
Due barattoli spark-assembly-1.1.1-hadoop2.2.0.jar e spark-examples-1.1.1-hadoop2.2.0.jar viene creato.
Sentiero di spark-assembly-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Sentiero di spark-examples-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Congratulazioni, hai costruito con successo Spark for Hive & Yarn.
Hai domande per noi? Per favore menzionali nella sezione commenti e ti risponderemo.
Post correlati:
Apache Spark con Hadoop: perché è importante?