Apache Falcon: nuova piattaforma di gestione dei dati per l'ecosistema Hadoop



Apache Falcon è una nuova piattaforma di gestione dei dati per l'ecosistema Hadoop che semplifica l'elaborazione dei feed onboarding e la gestione dei feed sui cluster hadoop. Impara come configurarlo.

Apache Falcon è un framework per la gestione del ciclo di vita dei dati nei cluster Hadoop. Stabilisce una relazione tra vari dati ed elementi di elaborazione in un ambiente Hadoop e fornisce anche servizi di gestione dei feed come la conservazione dei feed, le repliche tra i cluster, l'archiviazione ecc.





Vediamo prima di tutto come configurare Apache Falcon. Esegui il comando indicato di seguito per scaricare il repository git di Falcon:

Comando: git clone https://git-wip-us.apache.org/repos/asf/falcon.git falcon



git-command-apache-falcon

Per eseguire Falcon, devi prima costruirlo.

Comando: cd falcon



cos'è logger in java

Comando: export MAVEN_OPTS = '- Xmx1024m -XX: MaxPermSize = 256m -noverify' && mvn clean install -DskipTests

Comando: mvn clean assembly: assembly -DskipTests -DskipITs

Dopo aver costruito falcon, troverai un pacchetto falcon all'interno della directory / falcon / distro / target /.

I comandi per la costruzione di falcon sembrano molto semplici, ma dovrai affrontare molti problemi prima di vedere il messaggio Build Success. Ho riscontrato molti problemi durante la creazione per Hadoop-2.2.0

Quindi, per evitare il dolore di costruire Falcon, ti sto dando un pacchetto Falcon costruito con successo, che puoi scaricare usando il link sottostante.

https://edureka.wistia.com/medias/xw5cfzqmho/download?media_file_id=124642564

Decomprimere il file per ottenere la directory falcon-0.10.

Comando: decomprimere falcon-0.10-SNAPSHOT.zip

Imposta le variabili d'ambiente flacon nel file .bashrc.

Comando: sudo gedit .bashrc

Comando: fonte .bashrc

Puoi andare alla directory falcon e vedere i file e le directory al suo interno.

Comando: cd falcon-0.10-ISTANTANEA /

Comando: ls

Puoi trovare gli script di falcon nella directory bin.

Esegui sotto il comando per avviare Falcon.

Comando: ./bin/falcon-start

Ora vedrai un nuovo demone FalconServer in esecuzione.

Comando: jps

Comando: ./bin/falcon admin -version

Apri il tuo browser e vai a localhost: 15000 . Puoi vedere l'interfaccia utente web di Falcon.

Hai domande per noi? Menzionali nella sezione commenti e ti risponderemo.

Post correlati:

Analisi dettagliata su Apache Drill