Esempi di alveare e filati su Spark



In questo blog, eseguiremo esempi di Hive e Yarn su Spark. In primo luogo, crea Hive e Yarn su Spark, quindi puoi eseguire esempi di Hive e Yarn su Spark.

Abbiamo imparato come farlo Costruisci l'alveare e filati su Spark . Ora proviamo esempi di Hive e Yarn su Spark.





Learn-Spark-Now

come invertire la stringa python

Esempio di Hive su Spark

Eseguiremo un esempio di Hive su Spark. Creeremo una tabella, caricheremo i dati in quella tabella ed eseguiremo una semplice query. Quando si lavora con Hive, è necessario costruire un file HiveContext che eredita da SQLContext .



Comando: cd spark-1.1.1

Comando: ./bin/spark-shell



Crea un file di input 'campione' nella tua home directory come sotto l'istantanea (tabulazione separata).

Comando: val sqlContext = nuovo org.apache.spark.sql.hive.HiveContext (sc)

Comando: sqlContext.sql ('CREATE TABLE IF NOT EXISTS test (name STRING, rank INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY' 'LINES TERMINATED BY'
‘')

Comando: sqlContext.sql ('LOAD DATA LOCAL INPATH '/ home / edureka / sample' INTO TABLE test')

Comando: sqlContext.sql ('SELECT * FROM test WHERE rank<5”).collect().foreach(println)

Esempio di filato su Spark

Eseguiremo l'esempio SparkPi su Yarn. Possiamo distribuire Yarn su Spark in due modalità: modalità cluster e modalità client. In modalità filato-cluster, il driver Spark viene eseguito all'interno di un processo master dell'applicazione gestito da Yarn sul cluster e il client può uscire dopo aver avviato l'applicazione. In modalità filato-client, il driver viene eseguito nel processo client e il master dell'applicazione viene utilizzato solo per la richiesta di risorse da Yarn.

Comando: cd spark-1.1.1

Comando: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master yarn –deploy-mode cluster –class org.apache.spark.examples. SparkPi –num-executors 1 –driver-memory 2g –executor-memory 1g –executor-cores 1 examples / target / scala-2.10 / spark-examples-1.1.1-hadoop2.2.0.jar

Dopo aver eseguito il comando precedente, attendi qualche istante prima di ottenere SUCCESSO Messaggio.

Navigare localhost: 8088 / cluster e fare clic sull'applicazione Spark.

è-a e ha-una relazione in java

Clicca su registri .

Clicca su stdout per controllare l'output.

Per distribuire Yarn su Spark in modalità client, basta fare –Deploy-mode come 'cliente'. Ora sai come costruire Hive e Yarn su Spark. Abbiamo anche svolto degli esercizi pratici.

Hai domande per noi? Per favore menzionali nella sezione commenti e ti risponderemo.

come ottenere la lunghezza di un array in javascript

Post correlati

Apache Spark con Hadoop: perché è importante?

Alveare e filati vengono elettrizzati da Spark