在本周由民主與技術(shù)中心在布魯塞爾舉行的小組討論中，我討論了AI驅動(dòng)的內容審核技術(shù)的功能和局限性。其他小組成員包括現任S&P Global的Armineh Nourbakhsh，她討論了在路透社期間幫助開(kāi)發(fā)的Tracer工具，以及與CDT的EmmaLlansó，討論了她與他人合著(zhù)的最新論文《混合消息?自動(dòng)化社交媒體內容分析的局限性。” 歐盟委員會(huì )的Prabhat Agarwal提供了有見(jiàn)地的決策者觀(guān)點(diǎn)。

平臺和其他Internet參與者使用自動(dòng)化程序對系統上的非法材料(例如仇恨言論或恐怖分子材料)采取行動(dòng)。他們還使用相同的技術(shù)來(lái)強制執行自己要求的用戶(hù)自愿服務(wù)條款，以維護穩定和有吸引力的在線(xiàn)環(huán)境。最后，存在一種中間類(lèi)型的內容，它不僅不吸引人，本身并不完全違法，而且是有害的并且需要加以控制。虛假信息活動(dòng)屬于此類(lèi)。

現在討論自動(dòng)刪除此材料的原因不僅是技術(shù)上的。政策制定者非常關(guān)心用于內容審核的系統的有效性，并正在推動(dòng)平臺做更多的事情。有時(shí)，這會(huì )溢出到法規要求中。

在 最近公布的歐盟法規草案防止在線(xiàn)恐怖內容就是一個(gè)很好的例子。許多關(guān)注點(diǎn)集中在其提案上，該提案允許成員國的主管?chē)抑鞴懿块T(mén)要求平臺在收到通知的一個(gè)小時(shí)內刪除恐怖分子內容的特定實(shí)例。但是，更令人擔憂(yōu)的是，它要求平臺必須采取“主動(dòng)措施”，旨在首先防止恐怖分子的資料出現在系統上。由于主動(dòng)措施是針對恐怖分子內容的自動(dòng)阻止系統，因此擬議的法規明確規定了對當前電子商務(wù)指令的克減，以規定對恐怖分子內容進(jìn)行監視的職責。更糟的是，如果一家公司收到太多的拆除訂單，并且無(wú)法與監管機構就設計改進(jìn)達成協(xié)議。

刪除決定必須使用明確的標準，并且這些標準必須透明，以便用戶(hù)可以對超出范圍和可接受的范圍形成期望。此外，需要對各個(gè)刪除決定進(jìn)行說(shuō)明，以說(shuō)明觸發(fā)刪除的內容的特定功能或方面。最后，由于沒(méi)有一個(gè)系統能完美無(wú)缺，因此需要一種糾正機制，以便在錯誤刪除材料后可以對其進(jìn)行恢復。作為模型，請看一下美國信貸行業(yè)的做法，該行業(yè)具有世代相傳的透明，解釋和補救措施。

出于EmmaLlansó在其論文中概述的原因，僅依靠自動(dòng)化系統進(jìn)行清除是一個(gè)錯誤。錯誤率太高了，始終需要人工檢查，以確保在刪除內容之前充分考慮內容的上下文和含義。