Modern Data Stack Radio

14 Episodes

Reverse

14. データパイプラインの品質とレビュープロセス

2023-09-1915:56

データパイプラインの品質というテーマで、レビュアーの体制不足・属人化にどう立ち向かえばいいかといった、レビュープロセスに焦点を当てて話しました。

13. セルフサービスBIに必要な要素

2023-07-1240:31

デジタル庁のデータ基盤 sukuna、dbt mertricflow といった時事ネタに触れつつ、セルフサービスBIを実現するのに必要な要素について話しました。データを利用する人がデータ基盤に求めている機能や、メタ情報を整備する人をどう評価するかについて深掘りしています。

#12 データモデリングとの向き合い方とDE・AEの育成

2023-05-2235:09

株式会社CARTA HOLDINGS の pei さんをお招きして、データモデリングする時にどんなことから考え始めているのか、データエンジニア・アナリティクスエンジニアをどう育成していくか等について話しました。

11. ノートブック系 Headless BI Tool / AI 活用に向けたメタデータ・データマート整備

2023-04-0925:46

dbt meetup #5 を振り返りつつ、Count や Evidence といった Headless BI ツールについて話しました。話題のAIに触れつつ、AIを活用するためのメタ情報をどうやって拡充していくか議論しました。

10. State of Analytics Engineering 2023

2023-03-1424:55

getdbt から発表された State of Analytics Engineering 2023 のデータを見つつ、dbt の利用状況、アナリティクスエンジニアのポジションについて話しました。 dbt core と cloud どちらを入れているか、チームサイズはどれくらいか、アナリティクスエンジニアリング組織の一番のハードルは何か、年収などについて触れています。 State of Analytics Engineering 2023 はこちら↓ https://www.getdbt.com/state-of-analytics-engineering-2023/

9. SQLは難しい言語なのか？

2023-02-2827:46

SQLを書く・レビューする・書き換える際の難しさについて話しました。レビューのしやすいSQLを書く方法、クエリがシンプルになるようなモデリング方法、ドメインとコンテキストを踏まえたレイヤリング等を議論しています。

8. ゲスト・Hirose さんと Modern Data Stack のトレンドを振り返る

2023-02-1452:23

Treasure Data の Hirose さんをお招きして、 Data Activation や Data Mesh といったトレンドを振り返り、 modern さとは何か、dbt はなぜ modern だと言えるのか等について話しました。

7.Analytics Engineer の専門性

2023-01-1124:02

Analytics Engineer の専門性ついて話しました。ソフトウェアエンジニアやプロダクトマネージャー等との比較や、専門性が発揮されるシーン等を挙げています。

6. dbtアドベントカレンダー2 dbt-project-evaluator 触ってみた

2022-12-2028:16

dbt Labs 謹製のプロジェクト評価パッケージツールについて話しました。本番で動作している project に入れた場合、どのあたりが難しそうか、逆にどんな使い方が良さそうかについて話しました。 dbt project evaluator の記事はこちらです。 https://zenn.dev/mjunya1030/articles/20221030-project-evaluator

5. dbt アドベントカレンダー1 ~ductDB と Rill~

2022-12-1327:39

duckDB が parquet 形式でデータをエクスポートしたり、AWS glue と連携できたり、 Rill の動作がとても早いことなどを話しました。 takimo さんのアドベントカレンダーはこちら https://zenn.dev/takimo/articles/bb11eab78232f4