訓練模型只是開始：完整解析 Machine Learning Lifecycle

提到 Machine Learning，許多人第一個想到的往往是模型訓練（Model Training）。

收集資料 → 訓練模型 → 上線部署

但在 Production 環境中，訓練模型通常只佔整個 ML 系統的一小部分。

一個真正投入生產環境（Production）的機器學習系統，需要持續監控、治理、再訓練、成本優化與安全管理。

換句話說，模型上線並不是終點，而是另一個開始。

本文將從產品（Product）與 MLOps 的視角，帶你理解一個完整的 Machine Learning Lifecycle，以及現代 AI 系統如何持續學習與持續演進。

為什麼理解 ML Lifecycle 很重要？

傳統軟體開發遵循 Build → Deploy → Maintain 的線性流程。 ML 系統最大的不同在於：模型的行為會隨著資料與使用者行為的改變而持續變化。 即使今天表現優異，隨著時間推進，準確率仍可能悄悄下滑。

因此，成功的 AI 產品不只需要建立模型，更需要建立一套能夠持續學習（Continuous Learning）的閉環系統。

The End-to-End ML Lifecycle

一套成熟的 ML Platform 通常涵蓋以下生命週期 Machine Learning Lifecycle：

圖中「部署與維運」的四個節點形成一個內部閉環：部署 → 漸進式發布 → 監控 → 回滾（若異常）→ 重新部署。Cost Control 與 Access Control 則是橫跨整個生命週期的基礎能力，並非傳統單一線性步驟。

Step 1. Problem Definition：問題定義

任何成功的 ML 專案，都始於清楚定義問題。 在開始蒐集資料或訓練模型之前，團隊必須先回答： 我們要解決什麼商業問題？成功指標是什麼？利害關係人是否已達成共識？

以電商推薦系統為例：

電商平台希望提升商品點擊率（CTR）10%。

而成功指標則涵蓋： CTR、Conversion Rate 與 Revenue per User。 沒有明確定義問題，即使模型 Accuracy 再高，也未必能創造商業價值。

Step 2. Data Ingestion：資料收集與攝取

資料是所有 ML 系統的基礎。此階段負責從不同來源持續、自動地蒐集資料 — — 交易資料庫 Transaction Databases、Data Warehouse、事件串流 Event Streams、日誌系統 Log Systems、外部 APIs — — 並透過 攝取管線（Ingestion Pipeline）確保資料穩定流入系統。

重點不在於手動下載 CSV，而是建立一條會定期執行、具備錯誤處理機制的自動化管道。以 Netflix 為例，使用者每一次點擊、搜尋、收藏、評價、觀看時間，都會被即時收集並送入 ML Pipeline。

Step 3. Data Governance & Validation：數據治理與驗證

收集到資料後，並不能直接拿來訓練模型。 在 AI ML 領域有句廣為流傳的話：

Garbage In, Garbage Out.

— — 如果輸入資料品質不佳，再先進的模型也無法產生可靠結果。

因此，這個階段需要對資料進行全面驗證，包括 Schema 格式檢查、缺失值偵測、異常值處理、標籤品質確認，以及 Data Lineage 追蹤 — — 確保每筆資料的來源與流向都有完整記錄。

Step 4. Data Preparation：資料準備

資料準備通常是整個 ML 專案中最耗時的工作之一。 內容涵蓋：

• 清洗 Data Cleaning
• 轉換 Transformation
• 特徵工程 Feature Engineering
• 特徵篩選 Feature Selection

好的特徵 (Feature) 往往比更複雜的演算法更重要。 例如：原始的出生日期 Birth Date 轉換為 「年齡」Age， 或者將點擊歷史 User Click History 轉換為「過去 7 天點擊次數」 Clicks in Last 7 Days，都能大幅提升模型的學習效果。

Step 5. Experimentation：模型實驗

進入模型實驗與訓練階段，團隊通常會：

1. 訓練多個模型
2. 比較不同演算法（XGBoost、Random Forest、Neural Network）
3. 調整超參數 Hyperparameters
4. 實驗追蹤（Experiment Tracking） 透過記錄每次實驗的訓練資料集、參數設定與評估指標。

其中 實驗管理（Experiment Tracking）能幫助團隊記錄： Training Dataset / Parameters / Metrics / Model Versions

這確保了結果的可重現性（Reproducibility） — — 三個月後，你依然能精確重現當初最佳模型的訓練條件。

Step 6. Training：模型訓練

確定實驗方向後，進入正式訓練階段。 相較於實驗階段的快速迭代，這裡更注重訓練穩定性、資源調度（GPU 叢集分配）與訓練過程的記錄，確保最終產出的模型版本有完整的訓練脈絡可供追溯。

Step 7. Evaluation：模型評估

模型訓練完成後，需要進行全面評估。 除了 Accuracy 之外，還需考量：Performance Metrics ＆ Model Quality

Performance Metrics

Precision、Recall、F1 Score、AUC、RMSE

Model Quality

偏差 (Bias)、公平性 (Fairness)、強健性 (Robustness)、泛化能力 (Generalization)，相較 Performance Metrics 屬於更難量化的面向。

高 Accuracy 不代表模型一定適合上線。模型必須能在各種未知資料分布下保持穩定表現，才算真正通過驗證。

Step 8. Model Registry：模型註冊

通過評估的模型，會被正式登錄至 Model Registry — — 可以把它想成「GitHub for ML Models」。 Registry 負責管理模型版本、Metadata、評估指標，以及訓練過程產生的所有 Artifact（模型權重、tokenizer、設定檔等）。

這套機制讓團隊能精確追溯「這個模型是用什麼資料、什麼超參數訓練出來的」，也是日後安全回滾的基礎。

Step 9. Deployment：模型部署

部署是讓模型真正開始創造價值的階段， 常見方式包括：

• Real-time Serving：透過 API 即時推論，適合需要即時回應的場景
• Batch Inference：定期批次預測，適合離線分析
• Streaming Inference：即時事件流推論，適合高頻資料場景
• Edge Deployment：部署至手機、IoT 或車載設備

Step 10. Progressive Delivery：漸進式發布

模型上線不代表要一次讓所有用戶承受新模型的風險。 成熟的團隊會透過漸進式發布降低風險：

• Canary Deployment（金絲雀部署）：先讓 1–5% 的流量走新模型，觀察表現後再逐步擴大
• Blue-Green Deployment（藍綠部署）：同時維運新舊兩套環境，出問題時能在秒級完成切換

漸進式發布的目的，是在監控數據支撐下能逐步擴大新模型的流量，避免盲目地直接部署、全部上線，以達到安全發佈、降低模型上線風險。

Step 11. Monitoring：監控與告警

模型上線後，持續監控是維持 AI 產品健康的關鍵。 監控指標除了延遲（Latency）、錯誤率、吞吐量等系統指標，更重要的是偵測兩種「漂移（Drift）」：

Data Drift 指輸入資料的統計特性改變 — — 例如用戶年齡分布偏移、某個特徵的值域縮窄。 Concept Drift 則更危險，指輸入與輸出之間的關係本身改變了 — — 例如「什麼樣的廣告會被點擊」這件事，隨著市場趨勢已不一樣了。

以雙十一或 Black Friday 為例： 消費者行為可能與平時截然不同，若推薦模型沒有持續監控，CTR 可能大幅下降，而團隊卻毫無察覺。這就是為什麼 Production ML 系統必須設定 Alert，在異常發生時立即通知。

Step 12. Rollback：快速回復之前版本 (回滾)

監控發現新模型效能不如預期時，必須能快速退回穩定版本。 Rollback 能力的前提正是步驟八的 Model Registry — — 有完整的版本記錄，才能在幾分鐘內將流量切回舊模型，而不是重新部署。

Rollback 完成後，系統回到步驟九重新進行部署與發布流程，形成部署維運的內部閉環。

Step 13. Feedback Loop：回饋迴圈與重新訓練

當監控系統偵測到效能下降 — — 無論是 Accuracy Drop、Data Drift、新資料大量湧入，或業務規則改變 — — 就會觸發重新訓練流程，並將訊號回饋至步驟三的資料治理階段，確保新一輪訓練使用的資料已通過驗證。

新模型訓練完成後，再次進入 Step 5. 至 Step.13 的循環 Loop。 這個 Feedback Loop 正是 AI Production ML 系統的訓練根本。

橫跨整個生命週期的核心能力

除了上述主要步驟，還有三項能力需要貫穿整個 ML Lifecycle，對應圖中的虛線連結：

• Access Control & Audit（存取控制與稽核） 透過 IAM、RBAC、Encryption 與稽核日誌，控制誰能讀取資料、誰能部署模型、誰能存取推論結果。在圖中以虛線連結 Data Governance、Model Registry 與 Deployment 三個最敏感的節點。
• Cost Control（成本管理） AI 系統通常需要消耗大量 GPU 與運算資源。透過 Autoscaling、GPU 使用率最佳化與 FinOps 實踐，才能在不犧牲效能的前提下控制成本。 由 Monitoring 觸發，因為只有持續觀測才能找到優化空間。
• Governance（治理） 確保系統的可追溯性 Traceability、合規性 Compliance 與可稽核性 Auditability。每筆預測依據都能被追溯，每次模型更新都有完整記錄。

結語

傳統軟體交付的是程式碼（Code）， 而機器學習系統交付的，是行為（Behavior）。

由於資料與使用者行為會持續變化，Production ML 系統也必須持續學習、持續調整。訓練模型是這段旅程的起點，而非終點。

因此，建立成功的 AI 產品，不只是訓練模型而已，而是：

打造一套能夠持續學習、持續部署、持續優化的 AI Product System。

這也是 MLOps 存在的核心價值。

希望以上的分享有幫助到您！ 如果喜歡也請多多拍手鼓勵我持續撰寫文章，謝謝 😊