第一次參加開源人年會，認識了許多不熟悉的開源服務，也學到了一些關於 Chat GPT 的新知，以此篇文章簡單記錄一下年會上聽到的幾個實用的服務與方法：
💡 Airflow-base ETL
處理數據實用的服務，解決資料透視的問題、好懂的視覺化的呈現，資料正確性的驗證等。
💡 AI/VR with AWS AL/ML
- 控制 token 使用: API Gateway → lambda → AWS STS
- Understanding Messages: lambda → s3, comprehend, AWS SNS
- Further analysis: AWS glue data catalog → AWS Athena → AWS S3
- VR: Babylon.js, Polly, Transcribe
💡 Open Taiwan
這一場比較特別，主要是分享資料透過 Chat GPT plugin / interpreter 的轉化、分析與產出的建議，以金融業及台灣公開資料為例
- Template-based Approach
- 守門員系統：系統面 → 前端呈現/規範輸入（去識別化、權限控管、使用軌跡紀錄） → 調整 IPO Format → 資料搜集 → Modaling 模型計算/更新
- 於商業使用上：資料來源合法性、資料處理流程如何不偏頗、資安與個資外洩的處理流程
💡 Public Cloud
GCP Cloud run 很適合做一些個人的 Side Project，在 Heroku 開始收費後是一個好選擇！他支援 Node.js 以容器化的方式快速部署一個產品。
💡 Dapr
- 運用在 Service Mesh 上的服務
- 簡化開發上與第三方工具耦合的問題，做到不同公有雲遷移的便利性
💡 Apache Kafka vs GCP pub/sub
主要都是在處理 Messaging system 的服務，都能應用在事件串流系統，有著分散式架構、能夠水平擴張等。Kafka 是來自 LinkedIn 的開源，GCP pub/sub 就是 GCP 的服務可以由 GCP 來 maintain。
💬 參考資料：