Questo post contiene il passaggio necessario richiesto per creare UDF in Apache Pig. Tutte le UDF dovrebbero estendere una funzione Filter e devono contenere un metodo chiamato exec, che contiene una tupla. La logica applicata qui è che se la tupla è null o zero, ti darà un valore booleano: True o False. E 'IsofAge' serve per verificare se l'età indicata è corretta o meno. La logica della funzione definita dall'utente è scritta nei codici Java, in cui il file JAR verrà creato e quindi esportato. Il file JAR viene successivamente registrato. Questi file JAR si trovano nei file di libreria di Apache Pig al momento del caricamento.
la classe pubblica IsOfAge estende FilterFunc { @Oltrepassare publicBoolean exec (Tuple tuple) throwsIOException { if (tuple == null || tuple.size () == 0) { returnfalse } provare{ Oggetto oggetto = tuple.get (0) if (oggetto == null) { returnfalse } inti = (Integer) oggetto se (i == 18 || i == 19 || i == 21 || i == 23 || i == 27) { returntrue } altro{ returnfalse }} catch (ExecExceptione) { thrownewIOException (e) }}}Come chiamare una UDF di maiale?
Una volta creata una UDF, è necessario utilizzare il seguente comando per registrare il file JAR.
trova il numero massimo nell'array java
registra myudf.jar X = filtro A per IsOfAge (età)
Passaggi per creare UDF in Pig:
Ci sono più funzioni predefinite in Apache Pig. Abbiamo anche la possibilità di creare la nostra funzione che è Funzione definita dall'utente (UDF). Pig UDF è scritto in Java e questo richiede che la libreria Pig utilizzi le classi predefinite. La libreria Apache Pig pig-0.8.0-cdh3u0-core.jar può essere scaricato da Internet.
Fare clic qui per i passaggi per la creazione di uno script Pig con UDF in modalità HDFS.
Hai domande per noi? Menzionateli nella sezione commenti e vi risponderemo.
Post correlati:
Script Apache Pig con UDF in modalità HDFS
Operatori in Apache Pig: Parte 1 - Operatori relazionali
Operatori in Apache Pig: Parte 2 - Operatori diagnostici