當涉及人工智能時(shí)，關(guān)于“安全”和“不安全”行為的構成經(jīng)常引起爭議。正如DeepMind的AGI安全研究員Ramana Kumar指出的那樣，這些術(shù)語(yǔ)是主觀(guān)的，并且“只能根據AI系統的用戶(hù)和受益者的價(jià)值進(jìn)行定義。”

幸運的是，在面對與創(chuàng )建安全AI代理相關(guān)的技術(shù)問(wèn)題時(shí)，這些問(wèn)題通?？梢曰乇?，因為這些問(wèn)題與確定正確的或道德上的適當問(wèn)題無(wú)關(guān)。而是，從技術(shù)角度來(lái)看，術(shù)語(yǔ)“安全性”的最佳定義是AI代理，它始終如一地采取行動(dòng)以達到期望的結果，而不管這些期望的結果可能是什么。

在這方面，Kumar解釋說(shuō)，在創(chuàng )建負責自我改進(jìn)的AI代理時(shí)，“構建安全代理的技術(shù)問(wèn)題在很大程度上與“安全”的含義無(wú)關(guān)，因為很大一部分問(wèn)題是如何解決的。建立一個(gè)可靠地執行某事的代理，無(wú)論該事是什么，其方式都使該方法繼續起作用，即使所考慮的代理越來(lái)越有能力。”

簡(jiǎn)而言之，不應將制作“安全” AI代理與制作“道德” AI代理混為一談。各自的術(shù)語(yǔ)在談?wù)摬煌氖虑椤?/span>

通常，回避安全性的道德定義會(huì )使AI技術(shù)工作變得容易得多，它使研究得以發(fā)展，而有關(guān)道德問(wèn)題的辯論也在不斷發(fā)展。舉個(gè)例子，盡管我們尚未就是否應該保護駕駛員或行人安全的框架達成共識，但優(yōu)步的自動(dòng)駕駛汽車(chē)已經(jīng)在大街上。

但是，當要創(chuàng )建一個(gè)能夠自我完善的強大而安全的AI系統時(shí)，技術(shù)工作就變得困難得多，并且該領(lǐng)域的研究仍處于起步階段。這主要是因為我們不僅僅與一個(gè)AI代理打交道。我們正在與幾代未來(lái)的自我完善代理商打交道。

Kumar澄清說(shuō)：“當一個(gè)AI代理自我完善時(shí)，人們可以將情況視為涉及兩個(gè)代理：父母自行對其進(jìn)行修改的“種子”或“父母”代理以及“子”代理...及其總和。結果，為了知道我們已經(jīng)創(chuàng )建了一個(gè)安全的AI代理，我們需要了解所有可能來(lái)自第一個(gè)代理的子代理。