ETLツールを使って、CSVやJSONを定期的に変形してDBへインポートする

ETLツールとは、

• 抽出・収集（Extract）
• 変換・加工（Transform）
• 配信・送出（Load）

をしてくれるツールである。特にAIや機械学習の文脈で多く使われるように思われる。

ここでは1つのOSSを紹介する。

airbyte.com

何ができるかは動画を見てもらえればある程度わかると思う。これで例えば polygon.io で得られるJSONから、CSVを作る、みたいなことができる。

ちょっと触ってみようと思う。