Abbiamo imparato come farlo Costruisci l'alveare e filati su Spark . Ora proviamo esempi di Hive e Yarn su Spark.
come invertire la stringa python
Esempio di Hive su Spark
Eseguiremo un esempio di Hive su Spark. Creeremo una tabella, caricheremo i dati in quella tabella ed eseguiremo una semplice query. Quando si lavora con Hive, è necessario costruire un file HiveContext che eredita da SQLContext .
Comando: cd spark-1.1.1
Comando: ./bin/spark-shell
Crea un file di input 'campione' nella tua home directory come sotto l'istantanea (tabulazione separata).
Comando: val sqlContext = nuovo org.apache.spark.sql.hive.HiveContext (sc)
Comando: sqlContext.sql ('CREATE TABLE IF NOT EXISTS test (name STRING, rank INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY' 'LINES TERMINATED BY'
‘')
Comando: sqlContext.sql ('LOAD DATA LOCAL INPATH '/ home / edureka / sample' INTO TABLE test')
Comando: sqlContext.sql ('SELECT * FROM test WHERE rank<5”).collect().foreach(println)
Esempio di filato su Spark
Eseguiremo l'esempio SparkPi su Yarn. Possiamo distribuire Yarn su Spark in due modalità: modalità cluster e modalità client. In modalità filato-cluster, il driver Spark viene eseguito all'interno di un processo master dell'applicazione gestito da Yarn sul cluster e il client può uscire dopo aver avviato l'applicazione. In modalità filato-client, il driver viene eseguito nel processo client e il master dell'applicazione viene utilizzato solo per la richiesta di risorse da Yarn.
Comando: cd spark-1.1.1
Comando: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master yarn –deploy-mode cluster –class org.apache.spark.examples. SparkPi –num-executors 1 –driver-memory 2g –executor-memory 1g –executor-cores 1 examples / target / scala-2.10 / spark-examples-1.1.1-hadoop2.2.0.jar
Dopo aver eseguito il comando precedente, attendi qualche istante prima di ottenere SUCCESSO Messaggio.
Navigare localhost: 8088 / cluster e fare clic sull'applicazione Spark.
è-a e ha-una relazione in java
Clicca su registri .
Clicca su stdout per controllare l'output.
Per distribuire Yarn su Spark in modalità client, basta fare –Deploy-mode come 'cliente'. Ora sai come costruire Hive e Yarn su Spark. Abbiamo anche svolto degli esercizi pratici.
Hai domande per noi? Per favore menzionali nella sezione commenti e ti risponderemo.
come ottenere la lunghezza di un array in javascript
Post correlati
Apache Spark con Hadoop: perché è importante?
Alveare e filati vengono elettrizzati da Spark