AQPE Webinar 03/03/21 16:00h “La certificació utilitzada per Responsables d’Enginyeria i Gestió de Talent”

Barcelona Spark organitza un meetup amb enginyers arribats d’USA per explicar de primera mà el que es cou sobre Spark a l’empresa Databricks, el 20 de novembre a les 18:30 a la sala d’actes de la FIB, Campus Nord UPC, edifici B6, c\ Jordi Girona 1-3, Barcelona.

Aquest quart meeting comptarà amb Aaron Davidson (Apache Spark committer i Enginyer de Programari en Databricks) i Paco Nathan (Community Evangelism Director at Databricks) que ens parlaran sobre ‘Building a Unified Data Pipeline in Spark’ (conferència en anglès).

Una de les promeses d’Apache Spark és deixar que els usuaris construixen data analytic pipelines unificats que combinen diversos tipus de processament. En aquesta xerrada es farà una demo en viu amb la construcció d’una machine learning pipeline de 3 etapes: la ingestió de dades JSON des de Hive; formació de k-means clustering model; i l’aplicació del model a una transmissió en viu de tweets. Normalment aquest pipeline podria requerir un marc de processament independent per a cada etapa, però podem aprofitar la versatilitat del Spark runtime per a combinar Shark, MLlib i Spark Streaming i fer tot el processament de dades en un sol i curt programa Això ens permet la reutilització de codi i la memòria entre els components, millorant tant el temps de desenvolupament com l’eficiència en temps d’execució. Spark com a plataforma integra a la perfecció amb els components de Hadoop, operant de manera nativa en YARN amb suport a Hadoop InputFormats, de manera que porta el poder construir aquest tipus de pipelines unificats a qualsevol usuari Hadoop existent.

Aquesta xerrada serà una demo totalment en viu, on es construirà l’aplicació durant la sessió, explicarem les llibreries utilitzades en cada pas, i finalment la classificació dels raw tweets primeres en temps real.

Si estas interessat és molt important que facis la teva inscripció el més aviat possible, ja que la capacitat de la sala d’actes és de 80 persones i en cap cas aquesta vegada podrem incrementar l’aforament (cost 2 EUR per sufragar petites despeses).

Més informació i inscripcions Barcelona Spark Meetup.