商業(yè)概覽：

OpenAI是一個(gè)人工智能研究實(shí)驗室，由OpenAI LP及其上級組織非營(yíng)利組織OpenAI Inc.組成。該公司是技術(shù)巨頭DeepMind的競爭對手，在人工智能(AI)領(lǐng)域進(jìn)行研究，以共同促進(jìn)并以有益于整個(gè)人類(lèi)的方式開(kāi)發(fā)友好的AI。該組織由埃隆·馬斯克(Elon Musk)，薩姆·奧特曼(Sam Altman)等人于2015年年底在舊金山成立，他們共同認捐了10億美元。馬斯克于2018年2月從董事會(huì )辭職，但仍是捐助者。2019年，OpenAI LP從微軟獲得了10億美元的投資。2020年6月，OpenAI宣布了GPT-3，這是一種針對來(lái)自互聯(lián)網(wǎng)的數萬(wàn)億個(gè)單詞訓練的語(yǔ)言模型。它還宣布了一個(gè)關(guān)聯(lián)的API，簡(jiǎn)稱(chēng)為“ API”，將成為其首個(gè)商業(yè)產(chǎn)品的核心。GPT-3旨在以自然語(yǔ)言回答問(wèn)題，但也可以在各種語(yǔ)言之間進(jìn)行翻譯，并且可以連貫地生成即興文本。

自動(dòng)點(diǎn)唱機：

自動(dòng)點(diǎn)唱機是一種神經(jīng)網(wǎng)絡(luò )，可以產(chǎn)生包括基本唱歌在內的音樂(lè )，作為各種類(lèi)型和藝術(shù)風(fēng)格的原始音頻。他們將發(fā)布模型權重和代碼，以及用于探索生成的樣本的工具。自動(dòng)音樂(lè )生成可追溯到半個(gè)多世紀。一種突出的方法是以鋼琴卷的形式象征性地產(chǎn)生音樂(lè )，該音樂(lè )指定要演奏的每個(gè)音符的時(shí)機，音高，速度和樂(lè )器。這導致了令人印象深刻的結果，例如制作巴赫合唱，使用多種樂(lè )器的和弦音樂(lè )以及時(shí)長(cháng)的音樂(lè )作品。

但是符號生成器有局限性，它們無(wú)法捕獲人的聲音或音樂(lè )必不可少的許多更細微的音色，動(dòng)態(tài)性和表現力。另一種方法是將音樂(lè )直接建模為原始音頻。由于音序很長(cháng)，因此在音頻級別上生成音樂(lè )非常具有挑戰性。17以CD質(zhì)量(44 kHz，16位)播放一首典型的4分鐘歌曲需要超過(guò)1000萬(wàn)步。為了進(jìn)行比較，GPT-2有1,000個(gè)時(shí)間步長(cháng)，而OpenAI Five每場(chǎng)比賽花費了數萬(wàn)個(gè)時(shí)間步長(cháng)。因此，要學(xué)習音樂(lè )的高級語(yǔ)義，模型將必須處理極長(cháng)距離的依賴(lài)關(guān)系。

MuseNet：

MuseNet是一個(gè)深度神經(jīng)網(wǎng)絡(luò )，可以用10種不同的樂(lè )器生成4分鐘的音樂(lè )作品，并且可以將鄉村音樂(lè )，莫扎特音樂(lè )和甲殼蟲(chóng)音樂(lè )的風(fēng)格進(jìn)行組合。MuseNet并未根據他們對音樂(lè )的理解進(jìn)行明確編程，而是通過(guò)學(xué)習預測數十萬(wàn)個(gè)MIDI文件中的下一個(gè)標記來(lái)發(fā)現和諧，節奏和風(fēng)格的模式。MuseNet使用與GPT-2相同的通用無(wú)監督技術(shù)，GPT-2是一種大型變壓器模型，經(jīng)過(guò)訓練可以預測序列中的下一個(gè)標記(無(wú)論是音頻還是文本)。MuseNet使用Sparse Transformer的重新計算和優(yōu)化的內核來(lái)訓練具有24個(gè)關(guān)注頭的72層網(wǎng)絡(luò )-充分關(guān)注4096個(gè)令牌的上下文。如此長(cháng)的語(yǔ)境可能是它能夠記住片段中長(cháng)期結構的原因之一。

其使命：

OpenAI的使命是確保人工智能(AGI)惠及全人類(lèi)，人工智能(AGI)表示高度自主的系統，在大多數具有經(jīng)濟價(jià)值的工作中，它們要勝過(guò)人類(lèi)。該公司將嘗試直接建立安全有益的AGI，但如果他們的工作幫助其他人實(shí)現了這一目標，也將認為他們的使命已經(jīng)實(shí)現。