))
Полуночный трёп №12: Data Mesh - почему, что и как.
Manage episode 331572825 series 3361795
Kandungan disediakan oleh Денис, Ігор, Саша. Semua kandungan podcast termasuk episod, grafik dan perihalan podcast dimuat naik dan disediakan terus oleh Денис, Ігор, Саша atau rakan kongsi platform podcast mereka. Jika anda percaya seseorang menggunakan karya berhak cipta anda tanpa kebenaran anda, anda boleh mengikuti proses yang digariskan di sini https://ms.player.fm/legal.
Если вы знаете как работают дата пайплайны и что делают дата инженеры, можно скипать до 33:50
Тайминги
- 0:00:00-0:01:35 Intro. Почему именно эта тема
- 0:01:35 - 0:09:55 Базы данных, разделение операционных и аналитических данных. Data Warehouse, ⭐️ и ❄️ . Data Lake. Data Hoarding (дата скопидомство)
- 0:09:55 - 0:26:33 Что делает Data Engineer (инженер данных)? Шаги на пути данных от сырых к "готовым к употреблению". Ingestion, ETL. Виды обработки: stream (потоковая) / batch (пакетная) / гибридная. Передача данных конечным потребителям.
- 0:26:33 - 0:33:50 Что в классическом подходе может пойти не так?
- 0:33:50 - 0:47:05 Приход к концепции Data Mesh. Оригинальная статья от Zhamak Dehghani. Смена не инструментов обработки, а организации работы. Data Mesh = Data Platform + Data Products. Составляющие Дата Платформы. Составляющие Дата Продукта, Input/Output Ports.
- 0:47:10-1:00:01 Преимущества дата мешей. Легкость нахождения нужных данных / Data Discoverability: каталог данных / Data Catolog; происхождение данных / Data Lineage. Отвественность за весь жизненный цикл данных в дата продукте. Управление доступом к данным / Data Governance. Параллели с микросервисами. Графы дата продуктов, миграции данных в этом подходе.
- 1:00:01 - 1:09:08 Качество Данных / Data Quality. Дата тесты. Статичные и статистические тесты, поиск аномалий. Опенсорс и коммерческие решения. redata / montecarlodata / anomalo
- 1:09:08 - 1:13:26 Инструменты для построения дата платформы. Data Bricks. Fivetran / Airbyte (Singer). Airflow + k8s + Spark. AWS Glue / Google Cloud DataFlow.
- 1:13:26 - 1:32:50 Кому подойдет Data Mesh? Как начинать новые проекты с прицелом в дата меши? Как пытаться перейти на новый подход в существующем проекте? Кто из больших компаний продвигает этот подход? Пытаемся подвести итоги.
- 1:32:50 - 1:33:55 Outro
Ссылки
Оригинальная статья: https://martinfowler.com/articles/data-monolith-to-mesh.html, продолжение https://martinfowler.com/articles/data-mesh-principles.html | Видео-версия http://youtu.be/MBF0Wg7rFV8
Мигрируем абстрактный е-коммерс на дата меши: https://towardsdatascience.com/data-mesh-applied-21bed87876f2
Инструменты не влазят в лимиты описание, поэтому они вот.
Комментарии и рабочие ссылки можно найти в t.me/midnight_chatter
Музыка подкаста: Harris Heller - StreamBeats
43 episod
Kongsi
