[Stepik] SQL и Python для проверки данных: автотесты и Great Expectations [Максим Мигутин]

Научитесь автоматически находить грязные данные и останавливать пайплайн до того, как они сломают аналитику. SQL-проверки, Python-валидация с Pydantic и Pandera, Great Expectations, Data Observability и интеграция в Airflow: всё в одном курсе с прикладным e-commerce проектом

Чему вы научитесь
1. Собрать полный Data Quality pipeline на реальном e-commerce проекте
2. Встраивать DQ-проверки в Airflow и останавливать пайплайн при ошибках
3. Настраивать автоматические проверки с Great Expectations
4. Валидировать данные в Python с Pydantic и Pandera
5. Мониторить свежесть, объём и схему данных (Data Observability)
6. Писать SQL-проверки на NULL, дубликаты, диапазоны и связность

О курсе
Ваши данные лгут... и вы об этом не знаете
NULL там, где должно быть число.
Дубликаты в заказах.
Связи между таблицами, которые тихо сломались.
Всё это попадает в дашборд, и бизнес принимает решения по мусору.

Что вы построите
На протяжении всего курса -> один сквозной проект: аналитический e-commerce пайплайн. К финалу у вас будет полноценная система контроля качества данных, которая автоматически проверяет данные на каждом этапе и останавливает
пайплайн при обнаружении проблем.

Итоговый шаблон можно забрать в свой рабочий проект.

Для кого этот курс
Курс для вас, если вы уже работаете с SQL и Python и хотите выйти на следующий уровень: научиться делать пайплайны надёжными, а не просто работающими.
аналитикам данных
дата-инженерам уровня junior и middle

Начальные требования
Базовый SQL (SELECT, JOIN, GROUP BY)
Базовый Python (функции, циклы, работа с pandas).
Всё остальное разбираем в курсе с нуля.

Как проходит обучение
Каждый модуль добавляет новый слой защиты данных.

Сначала вы пишете SQL-проверки. Потом подключаете Python-валидацию. Затем собираете Great Expectations, мониторинг и выстраиваете пайплайн в Airflow.

Программа курса

1. О чём этот курс и кому он подойдёт
2. Как пройти курс и получить результат
3. Почему Data Quality решает, можно ли доверять данным
4. Как будет устроен ваш Data Quality pipeline
5. Какие ошибки чаще всего встречаются в данных
6. Почему пайплайны «зелёные», а данные - нет
7. 5 типов проверок, без которых нельзя доверять данным
8. Практика: находим ошибки в данных интернет-магазина
9. Практика: ищем реальные проблемы в данных
10. Почему SQL= лучший стартовый инструмент для проверки данных
11. Как находить пропуски (NULL) в данных
12. Как находить дубликаты и почему они ломают метрики
13. Как проверять диапазоны значений (validity checks)
14. Как проверять связи между таблицами
15. Как ловить изменения схемы до того, как всё сломается
16. Практика: пишем SQL-проверки как в реальной работе
17. Когда SQL уже не хватает и нужен Python
18. Как валидировать данные с Pydantic
19. Как проверять DataFrame с Pandera
20. Практика: собираем pipeline проверок в Python
21. Практика: что делать, если данные не прошли проверку
22. Что такое Great Expectations и зачем он нужен
23. Какие проверки бывают в Great Expectations
24. Как собрать свой набор проверок (validation suite)
25. Как смотреть отчёты и Data Docs
26. Практика: проверяем датасет через Great Expectations
27. Что такое Data Observability и зачем он нужен
28. Как проверять свежесть данных (freshness)
29. Как отслеживать объём данных (volume checks)
30. Как отслеживать изменения схемы
31. Практика: настраиваем мониторинг данных
32. Где и когда запускать проверки в пайплайне
33. Как добавить проверки в Airflow DAG
34. Как останавливать пайплайн при ошибках данных
35. Практика: встраиваем проверки в Airflow DAG
36. Финальный проект: что нужно собрать
37. Собираем Data Quality pipeline шаг за шагом
38. Проверяем себя и сравниваем с эталоном

В курс входят 38 уроков 25минут видео 23 теста