Duke AI PM 學習筆記（六）：AI 模型不是部署就結束，建立可持續演進的 Machine Learning Lifecycle
Originally published on Medium
提到 Machine Learning，許多人第一個想到的是訓練模型（Model Training）。
但對 AI 團隊而言，真正困難的往往不是把模型訓練出來，而是讓它在 Production 環境中持續穩定運作。
一個今天 Accuracy 達到 95% 的模型，幾個月後可能因 Data Drift、Concept Drift，或商業環境改變而逐漸失效。
許多人對 Machine Learning 的理解仍停留在：
收集資料 → 訓練模型 → 上線部署
然而，在實際的 Production 環境中，模型部署並不是終點，而是另一個生命週期的開始。
一個成熟的 Machine Learning 系統，除了模型訓練之外，還需要持續監控（Monitoring）、版本管理（Model Versioning）、重新訓練（Retraining）、成本管理（Cost Control）與治理（Governance），才能隨著資料與業務環境持續演進，持續創造商業價值。
這篇文章將延續前幾篇 Duke AI PM 學習筆記，從 AI Product 與 MLOps 的角度，整理一套完整的 Machine Learning Lifecycle，帶你理解模型如何從需求定義，一路走向部署、監控、維護，以及持續優化。
為什麼理解 Machine Learning Lifecycle 很重要？
傳統軟體開發，大多遵循 Build → Deploy → Maintain 的流程。
然而，ML 系統最大的不同在於：
模型的行為會隨著資料、環境與使用者行為持續改變。
即使今天 Accuracy 達到 95%，幾個月後也可能因 Data Drift、Concept Drift 或商業規則改變而逐漸失效。
因此一套成熟的 AI 系統，不只是建立模型，而是建立一個能夠持續學習（Continuous Learning）的閉環（Closed Loop）。
The End-to-End ML Lifecycle
下圖整理了一套典型 Production ML System 的完整生命週期：
可以發現：模型部署之後並沒有結束，而是透過 Monitoring、Feedback Loop 與 Retraining 持續形成循環。此外，Access Control、Governance 與 Cost Control 橫跨整個生命週期，支撐 AI 系統的穩定、安全與可持續運作。
Step 1. Problem Definition：問題定義
任何成功的 Machine Learning 專案，都始於清楚定義問題。
在開始收集資料之前，團隊必須回答三個問題：
- 要解決什麼商業問題？
- 如何衡量成功？
- 是否已與利害關係人建立共識？
例如： 一套推薦系統真正想改善的，可能不是 Accuracy， 而是 CTR、Conversion Rate 或 Revenue。
沒有明確定義目標，即使模型分數再高，也未必能創造真正的商業價值。
Step 2. Data Ingestion：資料收集與攝取
資料是 Machine Learning 的基礎。
成熟的 ML Platform 會持續從資料庫（Database）、事件串流（Event Streams）、日誌（Logs）及外部 API 收集資料，並透過自動化 Data Ingestion Pipeline 穩定流入系統。
以 Netflix 為例，使用者每一次點擊、搜尋、收藏與觀看行為，都會持續回饋至資料平台，作為後續模型更新的重要來源。
Step 3. Data Governance & Validation：資料治理與驗證
收集資料後，並不能直接開始訓練模型。
Machine Learning 領域有一句非常經典的話：
Garbage In, Garbage Out（GIGO）
如果輸入資料品質不好，再先進的模型也無法產生可靠結果。
因此，在模型訓練之前，需要確認：
- Schema 是否一致
- 是否存在 Missing Values
- 是否有異常值（Outliers）
- Label 是否正確
- 是否具備完整的 Data Lineage
這些工作共同構成資料治理（Data Governance）。
Step 4. Data Preparation：資料準備
資料準備通常占整個 ML 專案最多時間。 內容主要涵蓋：
- 資料清洗 Data Cleaning
- 格式轉換 Transformation
- 特徵工程 Feature Engineering
- 特徵篩選 Feature Selection
好的特徵（Feature）往往比更複雜的演算法更重要。 例如：原始的出生日期 Birth Date 轉換為 「年齡」Age， 或者將點擊歷史 User Click History 轉換為「過去 7 天點擊次數」 Clicks in通常都比直接使用原始資料更能提升模型效果。
💡 PM Insight 前四個步驟回答的是：模型是否有足夠好的資料可以學習？ 許多 AI 專案失敗，真正的原因並不是模型，而是資料品質。
Step 5. Experimentation：模型實驗
進入模型實驗與訓練階段，團隊通常會：
- 訓練多個模型
- 比較不同演算法（XGBoost、Random Forest、Neural Network）
- 調整超參數 Hyperparameters
- 實驗追蹤（Experiment Tracking） 透過記錄每次實驗的訓練資料集、參數設定與評估指標。
其中 實驗管理（Experiment Tracking）能幫助團隊記錄： Training Dataset / Parameters / Metrics / Model Versions
這確保了結果的可重現性（Reproducibility） — — 三個月後，你依然能精確重現當初最佳模型的訓練條件。
Step 6. Training：模型訓練
確定實驗方向後，進入正式訓練階段。 相較於實驗階段的快速迭代，這裡更注重訓練穩定性、資源調度（GPU 叢集分配）與訓練過程的記錄，確保最終產出的模型版本有完整的訓練脈絡可供追溯。
Step 7. Evaluation：模型評估
模型訓練完成後，需要進行全面評估。 除了 Accuracy 之外，還需考量：Performance Metrics ＆ Model Quality
Performance Metrics
常見評估指標：Accuracy、Precision、Recall、F1 Score、AUC、RMSE
Model Quality
常見評估指標：公平性 (Fairness)、偏差 (Bias)、強健性 (Robustness)、泛化能力 (Generalization)，相較 Performance Metrics 屬於更難量化的面向。
| 評估面向 | 常見指標 |
|---|---|
| Performance Metrics | Accuracy、Precision、Recall、F1、AUC、RMSE |
| Model Quality | Fairness、Bias、Robustness、Generalization |
高 Accuracy 並不代表模型一定適合部署，真正重要的是模型能否在未知資料中持續保持穩定表現。
💡 PM Insight 完成訓練後，真正需要回答的是：這個模型值得部署/能實際進入 Production 嗎？除了模型指標，也應同時考量公平性、穩定性與商業價值。
Step 8. Model Registry：模型註冊
通過評估的模型，會被正式登錄至 Model Registry — — 可以把它想成「GitHub for ML Models」。 Registry 負責管理模型版本、Metadata、評估指標，以及訓練過程產生的所有 Artifact（模型權重、tokenizer、設定檔等）。
這套機制讓團隊能精確追溯「這個模型是用什麼資料、什麼超參數訓練出來的」，也是日後安全回滾的基礎。
Step 9. Deployment：模型部署
部署是讓模型真正開始創造價值的階段， 常見方式包括：
- Real-time Serving：透過 API 即時推論，適合需要即時回應的場景
- Batch Inference：定期批次預測，適合離線分析
- Streaming Inference：即時事件流推論，適合高頻資料場景
- Edge Deployment：部署至手機、IoT 或車載設備
Step 10. Progressive Delivery：漸進式發布
漸進式發布的目的，是在監控數據支撐下能逐步擴大新模型的流量，避免盲目地直接部署、全部上線，以達到安全發佈、降低模型上線風險。
| 發佈策略 | 核心做法 | 適合情境／風險控制重點 |
|---|---|---|
| Canary Deployment（金絲雀部署） | 小流量逐步發布：先讓約 1–5% 流量走新模型，指標正常再逐步擴大比例。 | 驗證新模型是否穩定；問題只影響少量用戶，異常時可立即停止擴大或回退舊模型。 |
| Blue-Green Deployment（藍綠部署） | 新舊環境切換：同時維運舊（Blue）與新（Green）兩套完整環境，以路由控制切換。 | 降低部署風險；新模型出問題時，可在秒級切回舊環境（Rollback），減少中斷。 |
| Shadow Deployment（影子部署） | 新舊模型同時推論，但使用者只看到舊模型結果，新模型僅在背景記錄效能。 | 在不影響使用者體驗下驗證新模型表現，適合高風險場域或早期驗證階段。 |
不同策略沒有絕對好壞，而是依照風險、流量規模與驗證需求選擇。
Step 11. Monitoring：監控與告警
模型上線後，持續監控是維持 AI 產品性能的關鍵。 監控指標除了延遲（Latency）、錯誤率（Error Rate）、吞吐量（Throughput）等系統指標，更重要的是持續監控「漂移（Drift）」：
- Data Drift：輸入資料的分布逐漸偏離訓練資料。
- Concept Drift：輸入與目標之間的關係改變，使模型失去預測能力。
| 類型 | 定義 | 常見原因／例子 | 為什麼重要 |
|---|---|---|---|
| Data Drift 資料漂移 | Feature 分布改變：輸入資料的統計特性改變，但輸入與輸出之間的關係不一定改變。 | 新使用者、新市場導入：用戶年齡分布偏移、某個特徵的值域縮窄、某來源資料比例突然大幅增加。 | 模型持續用「舊分布」學到的規則看「新分布」資料，效能會逐步下降，但不一定會立刻爆錯。 |
| Concept Drift 概念漂移 | Feature 與 Label 關係改變：輸入與輸出之間的關係本身改變，原本學到的 decision boundary 已不再適用。 | 商業規則或市場趨勢改變：「什麼樣的廣告會被點擊」的條件換了、新政策或新詐騙手法改變風險評分標準。 | 即使輸入分布看起來正常，模型的整體判斷邏輯仍可能失效，對業務與風險管理的影響更劇烈。 |
以雙十一（Double 11）或 Black Friday 為例： 消費者行為可能與平時截然不同，若推薦模型沒有持續監控，即使程式碼完全沒有修改，CTR 仍可能快速下降。
Production ML System 因此需要建立 Alert 機制，在異常發生時即時通知。
Step 12. Rollback：快速回復之前版本 (回滾)
監控發現新模型效能不如預期時，必須能快速退回穩定版本。 Rollback 能力的前提正是步驟八的 Model Registry — — 有完整的版本記錄，才能在幾分鐘內將流量切回舊模型，而不是重新部署。
Rollback 完成後，系統回到步驟九重新進行部署與發布流程，形成部署維運的內部閉環。
Step 13. Feedback Loop：回饋迴圈與重新訓練
當監控系統偵測到效能下降 — — 無論是 Accuracy Drop、Data Drift、新資料大量湧入，或業務規則改變 — — 就會觸發重新訓練流程，並將訊號回饋至步驟三的資料治理階段，確保新一輪訓練使用的資料已通過驗證。
新模型訓練完成後，再次進入 Step 5. 至 Step.13 的循環 Loop。 這個 Feedback Loop 正是 AI Production ML 系統的訓練根本。
常見重新訓練 Trigger 包括：
| Trigger | 代表意義 |
|---|---|
| Accuracy 持續下降 | 模型效能衰退 |
| Data Drift | 資料分布改變 |
| Concept Drift | 真實世界規則改變 |
| 新資料累積 | 可重新學習最新模式 |
| 商業規則改變 | 模型需重新適應 |
這些訊號都可能觸發 Feedback Loop，重新回到資料治理、模型訓練與部署流程，形成持續學習（Continuous Learning）的閉環。
💡 PM Insight Deployment 並不是 Machine Learning Lifecycle 的終點。 真正成熟的 AI 系統，會透過 Monitoring → Feedback Loop → Retraining 持續演進，而不是等模型失效後才重新開始。
橫跨整個生命週期的核心能力
除了上述主要步驟，還有三項能力需要貫穿整個 ML Lifecycle，對應圖中的虛線連結：
- Governance 治理： 建立 Traceability、Compliance 與 Auditability，確保每一次模型更新都有完整紀錄，並符合企業治理與法規要求。
- Access Control & Audit 存取控制與稽核： 透過 IAM、RBAC、Encryption 與 Audit Log，管理誰可以存取資料、部署模型，以及檢視推論結果，確保資料安全與合規。
- Cost Control 成本管理： AI 系統通常需要大量 GPU 與運算資源，因此需透過 Auto Scaling、GPU 最佳化與 FinOps 控制成本，在效能與支出間取得平衡。
| 能力 | 說明 | 核心目的 |
|---|---|---|
| Governance 治理 | Traceability、Compliance、Auditability：記錄資料、模型與部署變更，確保可追溯與可稽核。 | 提高系統可信度與合規性 |
| Access Control & Audit 存取控制與稽核 | IAM、RBAC、Encryption、Audit Logs：控管誰能存取資料、訓練／部署模型與推論結果。 | 保護資料與模型安全 |
| Cost Control 成本管理 | GPU 使用最佳化、Autoscaling、FinOps：從 Monitoring 中發現資源浪費並調整配置。 | 控制 AI 運算與雲端成本 |
這三項能力並非單一階段，而是貫穿整個 Machine Learning Lifecycle。
一張表快速整理 Machine Learning Lifecycle
| 階段 | 圖中對應 | 核心問題 | 主要產出 | Step | 核心目標 |
|---|---|---|---|---|---|
| Business | Problem definition | 要解決什麼問題？ | 業務目標、Success Metrics | 1 | 定義商業問題 |
| Data | Data ingestion | 有沒有可信資料？ | 原始資料、Data Pipeline | 2–4 | 建立可信資料 |
| Data | Governance & validation | 資料是否正確、可追溯？ | 資料驗證、Audit Logs、Lineage | 2–4 | 建立可信資料 |
| Data | Data preparation | 是否已完成清洗與整理？ | 訓練資料、Features | 2–4 | 建立可信資料 |
| Model Development | Experimentation | 哪種模型表現最好？ | 實驗紀錄、候選模型 | 5–8 | 建立可信模型 |
| Model Development | Training | 模型是否學得有效？ | 訓練後模型 | 5–8 | 建立可信模型 |
| Model Development | Evaluation | 值不值得部署？ | 評估結果、模型比較 | 5–8 | 建立可信模型 |
| Deployment | Model registry | 版本有沒有管理好？ | 模型版本、Artifacts | 9–12 | 安全部署與持續監控 |
| Deployment | Deployment | 要怎麼安全上線？ | 線上服務、API、批次推論 | 9–12 | 安全部署與持續監控 |
| Deployment | Progressive delivery | 怎麼降低上線風險？ | Canary、Blue-Green、Shadow | 9–12 | 安全部署與持續監控 |
| Monitoring | Monitoring | 模型有沒有變差？ | 監控指標、Alerts | 9–12 | 安全部署與持續監控 |
| Continuous Learning | Feedback Loop | 怎麼持續優化？ | 重新訓練資料、迭代流程 | 13 | 持續學習與優化 |
| Cost / Safety | Cost Control | 怎麼控制成本？ | Autoscaling、FinOps | 9–13 | 安全與持續優化 |
結語
傳統軟體交付的是程式碼（Code）；而 Machine Learning 系統交付的，則是會隨時間持續變化的行為（Behavior）。
因此，對 AI 團隊而言，模型訓練只是起點，而不是終點。
真正成熟的 AI 產品，需要建立一套從資料治理、模型部署、監控告警、版本管理，到 Feedback Loop 的完整 Machine Learning Lifecycle，才能隨著資料與商業需求持續演進。
模型真正的價值，不是在部署完成的那一天，而是在上線之後，是否仍能持續創造價值。
隨著 AI 系統越來越複雜，AI Product 的競爭力，不只是建立完整的 Machine Learning Lifecycle，更重要的是如何讓整個生命週期具備 Reliability（可靠性），包括可重現性（Reproducibility）、版本管理（Versioning）、自動化部署（Automation）以及持續監控（Monitoring）。
當模型能隨著資料、使用情境與商業需求持續演進，它才能真正從一項技術成果，成長為能長期創造商業價值的產品。
下幾篇系列文章，我也將延續這個主題，分享如何透過 ML Lifecycle Reliability，打造更可靠、更穩定且可持續演進的 AI 系統。
希望這篇筆記能幫助你更理解 Machine Learning Lifecycle。
如果你也對 Machine Learning、GenAI 與 AI Product Thinking 有興趣，歡迎追蹤我的 Medium，一起學習、一起成長 😊