БЕЗ ГРУППЫ – НАЧНИТЕ В ЛЮБОЕ ВРЕМЯ
ПроДВИНУТАЯ ПРОГРАММА
ДЛЯ ДАТА-ИНЖНЕНЕРОВ
APACHE SPARK 3 ADVANCED
ПроДВИНУТАЯ ПРОГРАММА
ДЛЯ ДАТА-ИНЖНЕНЕРОВ
APACHE SPARK 3 ADVANCED
Глубокое погружение в работу Spark DataFrames под капотом: как реально ускорять обработку данных,
а не «крутить настройки». Вы научитесь эффективно работать с нестандартными внешними источниками
без готовых коннекторов и писать пользовательские функции, которые масштабируются, работают быстро
и применяются по проверенным продакшн-паттернам.
а не «крутить настройки». Вы научитесь эффективно работать с нестандартными внешними источниками
без готовых коннекторов и писать пользовательские функции, которые масштабируются, работают быстро
и применяются по проверенным продакшн-паттернам.
БЕЗ ГРУППЫ – НАЧНИТЕ В ЛЮБОЕ ВРЕМЯ
ПРОДВИНУТАЯ ПРОГРАММА
ДЛЯ ДАТА-ИНЖЕНЕРОВ
APACHE SPARK 3 ADVANCED
ПРОДВИНУТАЯ ПРОГРАММА
ДЛЯ ДАТА-ИНЖЕНЕРОВ
APACHE SPARK 3 ADVANCED
Глубокое погружение в работу Spark DataFrames под капотом: как реально ускорять обработку данных,
а не «крутить настройки». Вы научитесь эффективно работать с нестандартными внешними источниками
без готовых коннекторов и писать пользовательские функции, которые работают быстро и применяются по проверенным продакшн-паттернам.
а не «крутить настройки». Вы научитесь эффективно работать с нестандартными внешними источниками
без готовых коннекторов и писать пользовательские функции, которые работают быстро и применяются по проверенным продакшн-паттернам.
видеолекции
по 3 часа
Можно пройти в своем темпе в любое время в течение 2-х месяцев. Материалы программы останутся у вас навсегда.
2 месяца практики
в рабочей инфраструктуре
в рабочей инфраструктуре
4 лабы для отработки новых навыков и знаний, которые сможете сразу применять в работе.
помощь
координатора
На связи с вами будет координатор, который поможет разобраться с лабами и пройти программу успешно.
ВЫ НАУЧИТЕСЬ
- работать с внутренними структурами Spark 3
- использовать py4j для взаимодействия со структурами Spark 3 из Python в JVM
- писать хорошие высокопроизводительные Scala UDF
- писать нативные UDF на internal row
- работать с планировщиками, запускать и синхронные действия на dataframe
- выбирать оптимальные ресурсы для Spark 3 приложения
- разрабатывать коннекторы к источникам с помощью static UPS и с помощью стримов
ВХОДНЫЕ ТРЕБОВАНИЯ
- Опыт построения ETL и стриминг пайплайнов с помощью Spark
- Базовые знания Python
- Понимание архитектуры распределенных вычислений с использованием HDFS, YARN
- Практический опыт разработки на Scala
- Базовые навыки Linux
- Знание основ TCP/IP
- Понимание как работают распределенные базы данных
- Опыт работы и использования библиотек Mongo
ЗАНЯТИЯ
- Что находится под капотом DataFrame API
- Планы выполнения
- Работа с Row и InternalRow
- Работа с sql.Column
- Использование py4j для работы с Scala API в pyspark
- Написание Hello World UDF в Scala
- Импорт UDF в pyspark в обход стандартного метода вызова
- Использование Singleton паттерна в UDF
- Особенности управления конфигурациями в UDF
- Чтение данных
- Использование Predicate Pushdown для оптимизации чтения
- Формирование схемы
- Запись данных
- Параллелизм чтения и записи
- Использование оконных функций, приводящих к Exchange SinglePartition
- Нарушение консистентности при использовании Partial Caching
- Обработка null значений в Scala UDF
- Повторный вызов Scala UDF при использовании сложных типов данных
- Снижение параллелизма при использовании coalesce
- Чтение данных и формирование SDF
- Создание Sink
- Управлением состоянием и восстановление из чекпоинта
- Недостатки Dynamic Resource Allocation
- Добавление новых воркеров в процессе работы приложения
- Удаление воркеров в процессе работы приложения
- Примеры реализации на Python и Scala
- Запуск нескольких действий над DF в параллель
- Разница в FIFO и FAIR scheduling
- Настройка FAIR scheduling
- Примеры реализации на Python и Scala
- разбор лаб
- подведение итогов программы
ПРАКТИКА
В этой программе есть четыре лабораторных работы, которые необходимо выполнить самостоятельно в нашей инфраструктуре. Лабы проверяются автоматическими чекерами и количество попыток неограниченно. Координатор будет отвечать на ваши вопросы и всегда помогут по техническим вопросам.
Лабы объединены в пайплайн и за 4 недели вам нужно будет разработать коннектор к гибридному хранилищу, который для хранения данных использует одновременно Mongo и файловую систему. Вы будете самостоятельно разрабатывать статическую часть этого коннектора для работы со Static Dataframe API, стримовую часть и малую часть и добавлять туда Predicate Pushdown фильтры. Лабы проверяется автоматически, количество попыток не ограничено.
Лабы объединены в пайплайн и за 4 недели вам нужно будет разработать коннектор к гибридному хранилищу, который для хранения данных использует одновременно Mongo и файловую систему. Вы будете самостоятельно разрабатывать статическую часть этого коннектора для работы со Static Dataframe API, стримовую часть и малую часть и добавлять туда Predicate Pushdown фильтры. Лабы проверяется автоматически, количество попыток не ограничено.
Вам нужно будет написать функции, которые позволяют работать с InternalRow. Они позволяют конвертировать в общепринятые форматы, в частности JSON в представлении InternalRow для того, чтобы в дальнейшем использовать это в остальных трех лабах.
ЦЕЛИ
ЗАДАЧИ
org.apache.spark.sql.hybrid.JsonParser
Вам необходимо разработать класс для конвертации JSON строк в InternalRow package org.apache.spark.sql.hybrid import org.apache.spark.sql.catalyst.InternalRow import org.apache.spark.sql.types.StructType class JsonParser(schema: StructType) { def toRow(input: Iterator[String]): Iterator[InternalRow] = { ??? } }
org.apache.spark.sql.hybrid.RowConverter
Вам необходимо разработать класс для конвертации InternalRow в JSON строки
package org.apache.spark.sql.hybrid import org.apache.spark.sql.catalyst.InternalRow class RowConverter(dataType: StructType) { def toJsonString(input: Iterator[InternalRow]): Iterator[String] = { ??? } }
ЦЕЛИ
- Создать проект hybrid-json-datasource
- Разработать вспомогательные классы для работы с данными в следующих лабораторных
ЗАДАЧИ
org.apache.spark.sql.hybrid.JsonParser
Вам необходимо разработать класс для конвертации JSON строк в InternalRow package org.apache.spark.sql.hybrid import org.apache.spark.sql.catalyst.InternalRow import org.apache.spark.sql.types.StructType class JsonParser(schema: StructType) { def toRow(input: Iterator[String]): Iterator[InternalRow] = { ??? } }
- schema - схема JSON документа
- input - итератор JSON документов. Каждая срока - это отдельный JSON документ вида {"foo": 0, "bar": "hello world"}
org.apache.spark.sql.hybrid.RowConverter
Вам необходимо разработать класс для конвертации InternalRow в JSON строки
package org.apache.spark.sql.hybrid import org.apache.spark.sql.catalyst.InternalRow class RowConverter(dataType: StructType) { def toJsonString(input: Iterator[InternalRow]): Iterator[String] = { ??? } }
- schema - схема InternalRow
- input - итератор InternalRow. На выходе должен получится Iterator[String], содержащий JSON строки вида {"foo": 0, "bar": "hello world"}. Каждая InternalRow превращается в одну JSON строку
ЦЕЛИ
Использование коннектора
// writing
spark .range(0, 10, 1, 1) .write.format("hybrid-json") .option("path", "/tmp/foo.json") .option("objectName", "test01") .save()
// reading val df = spark.read.format("hybrid-json").option("objectName", "test01").load()
Параметры:
- Разработать функционал для чтения и записи формата hybrid-json
Использование коннектора
// writing
spark .range(0, 10, 1, 1) .write.format("hybrid-json") .option("path", "/tmp/foo.json") .option("objectName", "test01") .save()
// reading val df = spark.read.format("hybrid-json").option("objectName", "test01").load()
Параметры:
- MONGO_URI - переменная окружения, в которой задается адрес для подключения к БД Mongo. Пример: mongodb://localhost:27017
- path - локальный путь к директории, в которую необходимо произвести запись заданного DataFrame (используется только при записи)
- objectName - имя объекта (для аналогии можно считать, что это имя некоторой таблицы, в которую будет делаться запись)
ЦЕЛИ
ЗАДАЧИ
Вам необходимо:
- Добавить механизм predicate pushdown в hybrid-json
ЗАДАЧИ
Вам необходимо:
- реализовать механизм индексирования, аналогичному в parquet, при использовании которого для каждого файла для каждой колонки необходимо будет посчитать ее минимальное и максимальное значение и сохранить это в index_store.file_index в поле columnStats в следующем формате:
- cтруктура поля columnStats - это массив словарей, в каждом словаре name - имя колонки, min - ее минимальное значение в файле, max - ее максимальное значение в файле
- запись columnStats должна происходить после успешной записи файла, вместе с остальными полями документа в index_store.file_index
- для упрощения задачи необходимо реализовать поддержку columnStats только для полей, имеющих тип IntegerType
- реализовать механизм predicate pushdown, при котором будут читаться только те файлы, которые пройдут по columnnStats. Должны поддерживаться следующие фильтры
- EqualTo ( == в DataFrame API)
- GreaterThan ( > в DataFrame API)
- GreaterThanOrEqual ( >= в DataFrame API)
- LessThan ( < в DataFrame API)
- LessThanOrEqual ( <= в DataFrame API)
ЦЕЛИ
ЗАДАЧИ
Добавление поддержки StreamSourceProvider
val df = spark.readStream.format("hybrid-json").option("objectName", "test01").load()
val sq = df.writeStream .format("hybrid-json") .option("objectName","test01") .option("path","/tmp/test01.json") .option("checkpointLocation", "/tmp/chk01.chk") .start() sq.awaitTermination()
- Добавить поддержку Structured Streaming API в hybrid-json
ЗАДАЧИ
Добавление поддержки StreamSourceProvider
val df = spark.readStream.format("hybrid-json").option("objectName", "test01").load()
- На каждом батче необходимо вычитывать все файлы, начиная с последнего оффсета
- В качестве оффсета необходимо использовать максимальное значение commitMillis, прочитанное из index_store.file_index из последнего батча
val sq = df.writeStream .format("hybrid-json") .option("objectName","test01") .option("path","/tmp/test01.json") .option("checkpointLocation", "/tmp/chk01.chk") .start() sq.awaitTermination()
- Каждый батч должен записывать по аналогии с обычным .write
ВИДЕОЗАПИСИ ЭФИРОВ О ПРОГРАММЕ
ИНФРАСТРУКТУРА
GitHub
Все материалы занятий, инструкции к лабам и мануалы размещаются в закрытом репозитории программы
Личный кабинет
В нем вы сможете проверить правильность выполнения лаб, используя автоматические чекеры, а также отслеживать свою успеваемость для получения сертификата
ПРЕПОДАВАТЕЛЬ программы
Сергей Гришаев,
Senior Data Engineer, Wildberries
Senior Data Engineer, Wildberries
CЕРТИФИКАТ
НА АНГЛИЙСКОМ
ЯЗЫКЕ
НА АНГЛИЙСКОМ
ЯЗЫКЕ
Мы выдаем сертификат только участникам, которые пройдут программу успешно и выполнят любые три лабы из четырех в срок.
Наш сертификат на английском языке и он подтверждает ваши навыки работы с Apache Spark для задач дата-инжиниринга на продвинутом уровне.
Сертификат можно будет добавить в свое резюме или в свой Linkedin-профиль, указав уникальный номер.
Наш сертификат на английском языке и он подтверждает ваши навыки работы с Apache Spark для задач дата-инжиниринга на продвинутом уровне.
Сертификат можно будет добавить в свое резюме или в свой Linkedin-профиль, указав уникальный номер.
CЕРТИФИКАТ
НА АНГЛИЙСКОМ
ЯЗЫКЕ
НА АНГЛИЙСКОМ
ЯЗЫКЕ
Мы выдаем сертификат только участникам, которые пройдут программу успешно и выполнят любые три лабы из четырех в срок.
Наш сертификат на английском языке и он подтверждает ваши навыки работы с Apache Spark для задач дата-инжиниринга на продвинутом уровне.
Сертификат можно будет добавить в свое резюме или в свой Linkedin-профиль, указав уникальный номер.
Наш сертификат на английском языке и он подтверждает ваши навыки работы с Apache Spark для задач дата-инжиниринга на продвинутом уровне.
Сертификат можно будет добавить в свое резюме или в свой Linkedin-профиль, указав уникальный номер.
СТОИМОСТЬ УЧАСТИЯ
58 800₽ | $650
Чтобы задать вопрос или оплатить иностранной картой, напишите Алексею в Телеграме
Нужно обучить сотрудников?
Проведем поток программы специально для вас (от 10 человек)
СТОИМОСТЬ УЧАСТИЯ
58 800₽ | $650
58 800₽ | $650
Чтобы задать вопрос или оплатить иностранной картой,
напишите Алексею в Телеграме
Нужно обучить сотрудников?
Проведем поток программы специально
для вас (от 10 человек)
напишите Алексею в Телеграме
Нужно обучить сотрудников?
Проведем поток программы специально
для вас (от 10 человек)
SPARK ADVANCED
Отправляя данную форму, вы подтверждаете свое
согласие на обработку персональных данных
согласие на обработку персональных данных
ОТЗЫВЫ ВЫПУСКНИКОВ
Станислав Никитин
Дата-инженер в Касперский
★★★★★
Цель была поглубже изучить Spark и понять, как он внутри работает чтобы и код оптимальнее писать и чтобы потом внутрь можно было залезть, доделать, улучшить и какие-то модули дописать, чем мы и занимались на курсе.
Понравилось, что было два вектора: первое – это общие интересные вещи, антипаттерны, оптимизация UDF функций. Второй трек – что касается лаб, надо было написать свой коннектор со всеми оптимизациями.
Понравилось, что было два вектора: первое – это общие интересные вещи, антипаттерны, оптимизация UDF функций. Второй трек – что касается лаб, надо было написать свой коннектор со всеми оптимизациями.
Иван Андреев
разработчик Big Data
★★★★★
В результате этой программы получил знания, драйв, проверил себя на прочность. Мне понравился занимательный материал, отличное проведение лекций и очень крутые задачки и чекер.
Материала на программе достаточно и Сергей Гришаев – отличный преподаватель. На все вопросы может ответить, всегда приходит на помощь и разъясняет трудные моменты.
Я в целом доволен вашей работой и подходами, задачами, знаниями и преподавателями. Огромное спасибо. Вы понимаете, и учащимся тоже надо понять, что освоение материалов именно должно быть интенсивным. Без полного погружения все это не откладывается на подкорке.
Материала на программе достаточно и Сергей Гришаев – отличный преподаватель. На все вопросы может ответить, всегда приходит на помощь и разъясняет трудные моменты.
Я в целом доволен вашей работой и подходами, задачами, знаниями и преподавателями. Огромное спасибо. Вы понимаете, и учащимся тоже надо понять, что освоение материалов именно должно быть интенсивным. Без полного погружения все это не откладывается на подкорке.
Николай Тимаков
Дата-инженер
★★★★★
Достиг целей, которые ставил на программу на все 100%! Узнал, как можно разрабатывать свои фильтры и коннекторы, больше узнал о том, как работает Spark "под капотом" и в целом поданная информация была полезна, материала по темам было достаточно. То, что все 4 задачи выложили сразу – тоже было плюсом.
Преподаватель Сергей Гришаев хорошо в целом ведет занятия, очень нравится его активность "вне занятий" – помощь в вопросах.
Тем, кто работает со Spark, программа даст глубокие знания и я его могу порекомендовать. Если человек просто работает на поверхности со спарком, то возможно столь глубокие знания будут излишни.
Преподаватель Сергей Гришаев хорошо в целом ведет занятия, очень нравится его активность "вне занятий" – помощь в вопросах.
Тем, кто работает со Spark, программа даст глубокие знания и я его могу порекомендовать. Если человек просто работает на поверхности со спарком, то возможно столь глубокие знания будут излишни.
Иван Костров
Дата-инженер
★★★★★
До этого проходил начальную программу по Спарку, очень понравилось, захотел углубиться и взять ещё одну программу
Получил углублённое знание о принципах работы Спарка и его апи. Понравился детальный разбор всех вопросов и подача материала от преподавателя.
Понравился детальный разбор всех вопросов и подход преподавателя к обучению. Объема материала по темам было достаточно, а пройти программу успешно мне помешала загрузка на работе.
Программу могу рекомендовать, всё было на высшем уровне, на любой мой вопрос был дан ответ в кратчайшие сроки. При возникновении потребности в обучении обязательно вернусь в Newprolab.
Получил углублённое знание о принципах работы Спарка и его апи. Понравился детальный разбор всех вопросов и подача материала от преподавателя.
Понравился детальный разбор всех вопросов и подход преподавателя к обучению. Объема материала по темам было достаточно, а пройти программу успешно мне помешала загрузка на работе.
Программу могу рекомендовать, всё было на высшем уровне, на любой мой вопрос был дан ответ в кратчайшие сроки. При возникновении потребности в обучении обязательно вернусь в Newprolab.
Данил Кусакин
ДАТА-ИНЖЕНЕР
ДАТА-ИНЖЕНЕР
★★★★★
Высокое качество материала, идеальный баланс между теорией и практическими примерами.
Порадовали оперативные ответы в Телеграм. Главный результат обучения – понимание некоторых нюансов по Cпарку, о которых ранее не задумывался, так как не приходилось сталкиваться на практике.
На текущей работе лично мне не требуется столь глубокий уровень Спарка, так как пайплайны достаточно простые и не нагруженные. Для меня сейчас – это скорее теоретические знания, к которым можно будет обратиться в будущем. Лабы были сложные.
Порадовали оперативные ответы в Телеграм. Главный результат обучения – понимание некоторых нюансов по Cпарку, о которых ранее не задумывался, так как не приходилось сталкиваться на практике.
На текущей работе лично мне не требуется столь глубокий уровень Спарка, так как пайплайны достаточно простые и не нагруженные. Для меня сейчас – это скорее теоретические знания, к которым можно будет обратиться в будущем. Лабы были сложные.
АНТОН ЮДИН
ДАТА-инженер
ДАТА-инженер
★★★★★
Это первая программа, которая захватывают разработку коннекторов, можно сказать что больше таких программ наверное нигде нет. Для меня такой точно первая.
Я пытался до этого разбираться с API коннекторов, но это довольно-таки сложная штука. Сам я бы еще очень долго с ними разбирался. Сейчас все гораздо проще стало.
Я стал лучше понимать внутреннюю логику Spark, как он работает и вообще про Spark узнал некоторые вещи, которые раньше не знал. Я и раньше не проходил некоторые собеседования, а теперь точно любые пройду. Большое спасибо!
Я пытался до этого разбираться с API коннекторов, но это довольно-таки сложная штука. Сам я бы еще очень долго с ними разбирался. Сейчас все гораздо проще стало.
Я стал лучше понимать внутреннюю логику Spark, как он работает и вообще про Spark узнал некоторые вещи, которые раньше не знал. Я и раньше не проходил некоторые собеседования, а теперь точно любые пройду. Большое спасибо!
ЧАСТЫЕ ВОПРОСЫ
Мы создаем все условия для того, чтобы максимально приблизить опыт участников к реальным условиям работы (Project Based Learning). Поэтому основу наших программ составляют лабы (лабораторные работы) – системные большие практические задания, которые максимально приближены к реальным задачам специалистов по работе с данными.
- Наша цель — научить вас решать задачи из реальной жизни, а не покрыть список тем. Теория — это инструмент, необходимый для решения задач, а не самоцель.
- Возможность сразу же применять полученные знания в работе и своих проектах.
- Наша программа не про использование стандартных инструментов анализа данных, а про работу именно с большими данными с использованием Apache Spark.
- Мы используем механики и образовательные инструменты, которые позволяют вам приобрести знания и навыки с максимальной вероятностью. По статистике, доля успешно завершивших обычную онлайн-программу редко превышает 25%. На наших программах свыше 60% участников получают по итогам сертификат.
Для того, чтобы прохождение программы было максимально комфортным и интересным, у нас есть роль координатора.
Координатор отвечает на технические вопросы по лабам и помогает советами как «старший товарищ» – координатор сам проходил программу и знает о возможных сложностях и их преодолении на собственном опыте.
Координатор отвечает на технические вопросы по лабам и помогает советами как «старший товарищ» – координатор сам проходил программу и знает о возможных сложностях и их преодолении на собственном опыте.
Мы не предоставляем документы для налогового вычета, но предлагаем существенные скидки и особые условия рассрочки. Свяжитесь с нашим менеджером, чтобы обсудить специальные условия и вашу ситуацию.
- Для физических лиц возможна рассрочка
- Для корпоративных клиентов – специальные условия при регистрации групп из более чем 3 участников
- Для выпускников наших программ и их друзей предусмотрены скидки
- Также есть промокоды, которые вы сможете найти в наших социальных сетях и у наших партнеров. Промокоды не суммируются с другими предложениями и скидками
Мы создаем все условия для того, чтобы максимально приблизить опыт участников к реальным условиям работы (Project Based Learning). Поэтому основу наших программ составляют лабы (лабораторные работы) – системные большие практические задания, которые максимально приближены к реальным задачам специалистов по работе с данными.
- Наша цель — научить вас решать задачи из реальной жизни, а не покрыть список тем. Теория — это инструмент, необходимый для решения задач, а не самоцель.
- Возможность сразу же применять полученные знания в работе и своих проектах.
- Наша программа не про использование стандартных инструментов анализа данных, а про работу именно с большими данными с использованием Apache Spark.
- Мы используем механики и образовательные инструменты, которые позволяют вам приобрести знания и навыки с максимальной вероятностью. По статистике, доля успешно завершивших обычную онлайн-программу редко превышает 25%. На наших программах свыше 60% участников получают по итогам сертификат.
Для того, чтобы прохождение программы было максимально комфортным и интересным, у нас есть роль координатора.
Координатор отвечает на технические вопросы по лабам и помогает советами как «старший товарищ» – координатор сам проходил программу и знает о возможных сложностях и их преодолении на собственном опыте.
Координатор отвечает на технические вопросы по лабам и помогает советами как «старший товарищ» – координатор сам проходил программу и знает о возможных сложностях и их преодолении на собственном опыте.
Мы не предоставляем документы для налогового вычета, но предлагаем существенные скидки и особые условия рассрочки. Свяжитесь с нашим менеджером, чтобы обсудить специальные условия и вашу ситуацию.
- Для физических лиц возможна рассрочка
- Для корпоративных клиентов – специальные условия при регистрации групп из более чем 3 участников
- Для выпускников наших программ и их друзей предусмотрены скидки
- Также есть промокоды, которые вы сможете найти в наших социальных сетях и у наших партнеров. Промокоды не суммируются с другими предложениями и скидками