Google Cloud Platform(GCP)最近宣布了Cloud AI Platform Pipelines的Beta版發(fā)布，Cloud AI Platform Pipelines是用于自動(dòng)化和管理機器學(xué)習(ML)工作流的新產(chǎn)品，它利用了開(kāi)源技術(shù)TensorFlow Ext。

在最近的博客文章中，產(chǎn)品經(jīng)理Anusha Ramesh和開(kāi)發(fā)人員倡導者Amy Unruh 對該產(chǎn)品及其功能進(jìn)行了概述。Cloud AI Platform Pipelines解決了管理端到端ML工作流的問(wèn)題，該工作流涵蓋了從攝取原始數據到模型訓練和評估到在生產(chǎn)中提供模型推斷的整個(gè)生命周期。新產(chǎn)品包含用于構建工作流，跟蹤工作流工件和沿襲的工具，以及與其他GCP服務(wù)(例如BigQuery和Dataflow)集成的“企業(yè)就緒”工作流執行基礎結構。根據Ramesh和Unruh的說(shuō)法：

Cloud AI Platform Pipelines提供了一種部署健壯，可重復的機器學(xué)習管道以及監控，審核，版本跟蹤和可再現性的方法，并為ML工作流提供了企業(yè)就緒，易于安裝，安全的執行環(huán)境。

Cloud AI Platform Pipelines是TensorFlow Extended(TFX)和Kubeflow Pipelines(KFP)的托管實(shí)現，它們在Google Kubernetes Engine(GKE)集群上運行。TFX是一個(gè)抽象層，核心概念是管道，必須協(xié)調或協(xié)調一系列數據轉換步驟(管道組件); 組件之間傳輸的數據稱(chēng)為工件。KFP是協(xié)調器，它在GKE集群中的Pod上執行管道中的每個(gè)組件。TFX還為ML元數據(MLMD)定義了一個(gè)數據存儲，該數據存儲允許跟蹤管道的歷史記錄和版本以及該管道產(chǎn)生的工件。Cloud AI Platform Pipelines支持兩個(gè)SDK，即TFX較高級別的SDK和較低級別的KFP SDK。但是，Google計劃將兩者合并為一個(gè)TFX SDK。

TFX最初是由Google在KDD 2017上發(fā)表的一篇論文中描述的，該文檔記錄了Google努力構建端到端ML平臺的成果，該平臺包括ML過(guò)程的所有階段，包括數據分析和轉換，模型訓練和評估，和推論生產(chǎn)。最初的執行基礎結構是Apache Beam，它本身基于Google的Flume ，現在為Google Cloud Dataflow提供了動(dòng)力。TFX仍然使用Beam定義數據并行操作，但現在還支持Kubeflow和Apache Airflow作為編排引擎。氣流是另一種GCP產(chǎn)品Cloud Composer背后的技術(shù)。