半導體是數字時(shí)代的基礎技術(shù)。它給硅谷起了個(gè)名字。它是過(guò)去半個(gè)世紀改變了社會(huì )各個(gè)方面的計算機革命的核心。
自從英特爾在1971年推出世界上第一個(gè)微處理器以來(lái)，計算能力的提高步伐令人嘆為觀(guān)止，而且不懈。根據摩爾定律，當今的計算機芯片比50年前的功能強大了數百萬(wàn)倍。
然而，盡管數十年來(lái)處理能力飛速增長(cháng)，但直到最近，計算機芯片的基本體系結構仍基本上保持靜態(tài)。在大多數情況下，硅的創(chuàng )新需要進(jìn)一步使晶體管小型化，以便將更多晶體管壓縮到集成電路中。幾十年來(lái)，英特爾和AMD等公司通過(guò)可靠地提高CPU性能而取得了長(cháng)足發(fā)展，克萊頓·克里斯滕森(Clayton Christensen)將其視為“持續創(chuàng )新”。
今天，這種情況正在以戲劇性的方式改變。AI迎來(lái)了半導體創(chuàng )新的新黃金時(shí)代。數十年來(lái)，機器學(xué)習的獨特需求和無(wú)限的機會(huì )第一次激發(fā)了企業(yè)家重新思考和重新思考芯片架構的最基本原則。
他們的目標是設計一種專(zhuān)為AI設計的新型芯片，它將為下一代計算提供動(dòng)力。它是當今所有硬件中最大的市場(chǎng)機會(huì )之一。
在計算的大部分歷史中，主要的芯片體系結構一直是CPU或中央處理器。如今，CPU無(wú)處不在：它們?yōu)楣P記本電腦，移動(dòng)設備和大多數數據中心供電。
1945年，傳奇的約翰·馮·諾伊曼(John von Neumann )設計了 CPU的基本體系結構。值得注意的是，此后其設計基本上保持不變：今天生產(chǎn)的大多數計算機仍是馮·諾依曼機器。
CPU在用例中的優(yōu)勢是其靈活性的結果：CPU是通用計算機，能夠有效執行軟件所需的任何計算。但是，盡管CPU的主要優(yōu)勢是多功能性，但是當今領(lǐng)先的AI技術(shù)需要非常特殊且密集的一組計算。
深度學(xué)習需要迭代執行數百萬(wàn)或數十億個(gè)相對簡(jiǎn)單的乘法和加法步驟。在接地的線(xiàn)性代數，深學(xué)習是根本試錯誤基于：參數微調，矩陣相乘，和附圖被求和一遍一遍整個(gè)神經(jīng)網(wǎng)絡(luò )作為模型逐漸本身優(yōu)化。
這種重復的，計算量大的工作流程對硬件體系結構具有一些重要意義。并行化(處理器能夠同時(shí)而不是一個(gè)接一個(gè)地執行許多計算的能力)變得至關(guān)重要。與此相關(guān)的是，由于深度學(xué)習涉及大量數據的連續轉換，因此將芯片的內存和計算核心盡可能靠近地放置，可以通過(guò)減少數據移動(dòng)來(lái)獲得巨大的速度和效率。
CPU 配備不足以支持機器學(xué)習的獨特需求。CPU按順序而不是并行地處理計算。它們的計算核心和內存通常位于單獨的模塊上，并通過(guò)帶寬受限的通信系統(總線(xiàn))連接。這在數據移動(dòng)中產(chǎn)生了瓶頸，稱(chēng)為“馮·諾依曼瓶頸”。結果：在CPU上訓練神經(jīng)網(wǎng)絡(luò )效率極低。
鑒于普遍的機器學(xué)習應用在整個(gè)社會(huì )中正變得越來(lái)越普遍，傳統芯片無(wú)法處理現代AI算法變得更加重要。正如AI偉大的Yann LeCun最近說(shuō)的那樣：“如果您走到未來(lái)的五，十年，您會(huì )發(fā)現計算機大部分時(shí)間都花在做什么上，我認為他們會(huì )做深度學(xué)習之類(lèi)的事情。”
至此，推動(dòng)AI繁榮的芯片是GPU(圖形處理單元)。GPU架構是Nvidia在1990年代后期為游戲應用發(fā)明的。為了以高幀速率渲染計算機游戲的詳細圖形，GPU專(zhuān)門(mén)用于連續處理大量數據。與CPU不同，GPU可以并行完成數千個(gè)計算。
在2010年代初，AI社區開(kāi)始意識到 Nvidia的游戲芯片實(shí)際上非常適合處理機器學(xué)習算法所需的工作負載類(lèi)型。通過(guò)巨大的運氣，GPU找到了巨大的新市場(chǎng)。Nvidia抓住機遇，將自己定位為AI硬件市場(chǎng)領(lǐng)先的提供商。結果，該公司收獲了驚人的收益：從2013年到2018年，英偉達的市值躍升了 20倍。
然而，正如Gartner分析師馬克·洪(Mark Hung)所說(shuō)，“每個(gè)人都同意GPU并非針對AI工作負載進(jìn)行了優(yōu)化。” GPU已被AI社區采用，但它并非為AI而生。
近年來(lái)，一大批企業(yè)家和技術(shù)人員開(kāi)始重新構想計算機芯片，從頭開(kāi)始對其進(jìn)行優(yōu)化，以釋放AI的無(wú)限潛力。用艾倫·凱(Alan Kay)令人難忘的話(huà)來(lái)說(shuō)：“真正認真對待軟件的人們應該自己制造硬件。”
在過(guò)去的24個(gè)月中，出現了五只AI芯片獨角獸。令人eye目結舌的估值吸引了更多新貴。隨著(zhù)傳統CPU的在職者試圖避免中斷，僅英特爾一家就完成了這一類(lèi)別的兩項重大收購：Nervana Systems(2016年4月以4.08億美元收購)和Habana Labs(2019年12月以20億美元收購)。在未來(lái)幾年中，隨著(zhù)這場(chǎng)競賽的進(jìn)行，將有數千億美元的企業(yè)價(jià)值被爭奪。
下一個(gè)英特爾？
巨大的市場(chǎng)機會(huì )和藍天技術(shù)的挑戰相結合，激發(fā)了寒武紀創(chuàng )造出驚人的創(chuàng )意-有時(shí)是驚人的-設計理想的AI芯片的方法。
新一代AI芯片初創(chuàng )企業(yè)中最引人注目的就是Cerebras Systems。簡(jiǎn)單地說(shuō)，Cerebras的大膽方法是制造有史以來(lái)最大的芯片。最近該公司的價(jià)值為$ 1.7B，該公司已從包括Benchmark和Sequoia在內的頂級投資者籌集了$ 200M。
Cerebras芯片的規格令人難以置信。它比典型的微處理器大60倍左右。它是歷史上第一個(gè)容納超過(guò)1萬(wàn)億個(gè)晶體管(準確地說(shuō)是1.2萬(wàn)億個(gè))的芯片。它的片上內存為18 GB，這是有史以來(lái)最多的。
將所有計算能力打包到單個(gè)硅基板上可帶來(lái)誘人的好處：數據傳輸效率大大提高，內存與處理并置，大規模并行化。但是，要輕描淡寫(xiě)，工程上的挑戰是荒謬的。幾十年來(lái)，制造晶圓級芯片一直是半導體行業(yè)夢(mèng)ho以求的夢(mèng)想，但從未實(shí)現。
Cerebras首席執行官安德魯·費爾德曼(Andrew Feldman)說(shuō)： “每個(gè)規則，每個(gè)工具和每個(gè)制造設備都是為正常尺寸的巧克力曲奇設計的，我們提供了整個(gè)曲奇紙大小的產(chǎn)品。” “方法的每一步，我們都必須發(fā)明。”
Cerebras的AI芯片已經(jīng)投入商業(yè)使用：就在上周，阿貢國家實(shí)驗室(Argonne National Laboratory)宣布將使用Cerebras的芯片來(lái)幫助對抗冠狀病毒。
另一家采用全新的芯片設計新方法的公司是基于灣區的Groq。與Cerebras相比，Groq的芯片專(zhuān)注于推理，而不是模型訓練。創(chuàng )始團隊擁有世界一流的領(lǐng)域專(zhuān)業(yè)知識：Groq的團隊包括Google TPU項目的十個(gè)原始成員中的八個(gè)，這是迄今為止最成功的AI芯片工作之一。
Groq顛覆了業(yè)界的傳統常識，正在構建批量大小為1的芯片，這意味著(zhù)它可以一次處理一個(gè)數據樣本。據該公司稱(chēng)，這種架構幾乎可以實(shí)現瞬時(shí)推斷(對于諸如自動(dòng)駕駛汽車(chē)等對時(shí)間敏感的應用程序至關(guān)重要)，而無(wú)需犧牲性能。Groq的芯片很大程度上是軟件定義的，從而使其具有獨特的靈活性和永不過(guò)時(shí)的特性。
該公司最近宣布其芯片達到每秒1萬(wàn)億次運算的速度。如果為真，這將使其成為歷史上最快的單芯片芯片。
也許沒(méi)有一家公司比Lightmatter具有更出色的技術(shù)愿景。由光子學(xué)專(zhuān)家創(chuàng )立，總部位于波士頓的Lightmatter尋求構建一種AI微處理器，該微處理器不是由電信號而是由光束驅動(dòng)的。該公司已從GV，Spark Capital和Matrix Partners籌集了3,300萬(wàn)美元，以實(shí)現這一愿景。據該公司稱(chēng)，光的獨特性能將使其芯片性能比現有解決方案高十倍。
此類(lèi)別中還有許多其他玩家值得關(guān)注。兩家中國公司Horizo??n Robotics和Cambricon Technologies各自以更高的估值籌集了比其他任何競爭對手都更多的資金。帕洛阿爾托的SambaNova Systems 資金雄厚，技術(shù)精湛。盡管有關(guān)SambaNova計劃的細節仍然很少，但其技術(shù)似乎特別適合于自然語(yǔ)言處理。其他值得注意的初創(chuàng )公司包括Graphcore，Wave Computing，Blaize，Mythic和Kneron。
幾家科技巨頭已經(jīng)開(kāi)始自己的內部努力來(lái)開(kāi)發(fā)專(zhuān)用AI芯片。這些程序中最成熟的是上面提到的Google的Tensor處理單元(TPU)。像往常一樣，在技術(shù)曲線(xiàn)之前，谷歌于2015年開(kāi)始研發(fā)TPU。最近，亞馬遜宣布其Inferentia AI芯片在2019年12月大張旗鼓地發(fā)布。特斯拉，Facebook和阿里巴巴以及其他技術(shù)巨頭都在參與其中。內部AI芯片程序。
結論
爭相開(kāi)發(fā)將為即將到來(lái)的AI時(shí)代提供動(dòng)力的硬件的競賽正在進(jìn)行中。自硅谷成立以來(lái)，如今的半導體行業(yè)正在發(fā)生比以往任何時(shí)候都更多的創(chuàng )新。不可估量的數十億美元正在發(fā)揮作用。
下一代芯片將在未來(lái)幾年中塑造人工智能領(lǐng)域的輪廓和軌跡。用Yann LeCun 的話(huà)來(lái)說(shuō)：“硬件功能...激勵并限制AI研究人員將想象并允許自己追求的想法類(lèi)型。我們可以使用的工具比我們愿意承認的更能塑造我們的思想。”
