- AI, ML, BigData, #2.3, Инженерный зал
Scala разработчик з опытом в BigData, High Load и DevOps.
Разработал два больших проекта в сфере IoT (тачки и самолёты) и два в сфере Digital Marketing.
Сейчас работаю на проекте Tinkoff Bank.
Хочу поделиться опытом разработки приложений на Spark в контексте Data Engineering.
Тема, которую я представлю на докладе - это реальный проект, разработкой которого я занимался.
Пример будет состоять из чтения данных из Kafka, обработки с помощью Spark Structured Streaming (включая stateful трансформации) и записи результатов в HDFS.
Также расскажу нюансы по деплою проекта (Yarn, HDFS, Apache Oozie).
Примеры будут на понятном для большинства слушателей подмножестве языка Scala (без монадных трансформеров и прочей живности).
Java / Scala / Python разработчики уровня Middle и выше
![SECON'2019](/assets/pdf-icon-9ab2310e98180ac5f77695e5b5c4807f8693778f0e563a7b11126d0a0d09cf3b.png)