Microsoft在其支持文檔中將該技術(shù)描述為允許您實(shí)時(shí)處理數據的分布式

2019-12-02 17:35:18    來(lái)源:    作者:

在紐約的Strata + Hadoop World會(huì )議上,微軟通過(guò)在HDInsight中宣布Apache Storm的支持來(lái)升級其云分析游戲,HDInsight是該公司基于云的Hadoop發(fā)行版,Hadoop是流行的開(kāi)源大數據處理平臺。公司副總裁TK Rengarajan宣布:“今天將提供預覽,我們將在HDInsight中支持Apache Storm,使我們的客戶(hù)可以使用完全托管的Hadoop服務(wù)從其物聯(lián)網(wǎng)設備近乎實(shí)時(shí)地處理數百萬(wàn)個(gè)Hadoop數據。”微軟數據平臺總裁在10月15日的聲明中。“通過(guò)將實(shí)時(shí)分析功能引入HDInsight,我們正在開(kāi)拓新的客戶(hù)場(chǎng)景,例如能夠實(shí)時(shí)分析運營(yíng)數據以進(jìn)行預測性維護。”

Apache Storm是一個(gè)開(kāi)源項目,可以實(shí)時(shí)處理大型數據流。Microsoft 在其支持文檔中將該技術(shù)描述為“允許您實(shí)時(shí)處理數據的分布式,容錯,開(kāi)源計算系統。Storm解決方案還可以提供有保證的數據處理,并具有重放數據的能力。第一次未成功處理。”

根據Apache Software Foundation的說(shuō)法,Storm做到了“實(shí)時(shí)處理,而Hadoop進(jìn)行了批處理。” Twitter,Spotify和阿里巴巴等公司目前正使用Storm來(lái)幫助滿(mǎn)足其大規模數據處理要求。

隨著(zhù)今天的宣布,微軟已經(jīng)加入了潮流。Rengarajan表示:“ HDInsight中Storm的預覽版將繼續微軟對Hadoop生態(tài)系統和HDInsight的投資。”

HDInsight Storm可以作為Azure中的托管群集使用,可以將其集成到其他Azure服務(wù)中。微軟解釋說(shuō):“例如,Storm可能會(huì )使用ServiceBus隊列或事件中心等服務(wù)中的數據,并使用網(wǎng)站或云服務(wù)來(lái)提供數據可視化。”

除了實(shí)現實(shí)時(shí)大數據分析之外,Microsoft預計客戶(hù)還將利用HDInsight Storm來(lái)支持其在線(xiàn)機器學(xué)習工作。

根據HDInsight Storm常見(jiàn)問(wèn)題解答,“風(fēng)暴可以與以前通過(guò)批處理進(jìn)行過(guò)訓練的機器學(xué)習解決方案一起使用,例如基于Mahout的解決方案,” Apache的機器學(xué)習和數據挖掘項目。“然而,其通用的分布式計算模型也為基于流的機器學(xué)習解決方案打開(kāi)了大門(mén)。”

Azure HDInsight Storm支持.NET,Java和Python。Microsoft承認,盡管Storm支持其他語(yǔ)言(根據Apache進(jìn)行的任何編程),但要啟用其他編程支持將需要更改HDInsight群集配置。

在相關(guān)新聞中,微軟透露,Hadoop供應商Hortonworks的大數據軟件平臺將具有Microsoft Azure集成功能。該公司的Azure機器學(xué)習生態(tài)系統還新增了一些新功能,包括推薦引擎,異常檢測服務(wù)和一批R程序包(數據科學(xué)家首選的編程語(yǔ)言)。

Rengarajan表示:“這些公告以及我們參與[Strata + Hadoop World]活動(dòng)是我們致力于通過(guò)利用云的功能,靈活性和規模將大數據帶給所有人的承諾的一部分。”

鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播更多信息之目的,如作者信息標記有誤,請第一時(shí)間聯(lián)系我們修改或刪除,多謝。