有必要在算力爆炸與人性堅守的張力之間，構建內含包容、反思、韌性的智能社會。當前我國AI治理框架初具規模，但在治理理念轉變、法律前瞻性、技術防御深度、全球治理協同性等方面仍需強化
“我們現在的情況就像有人把老虎當寵物……要么把它訓練好讓它不攻擊你，要么把它消滅掉。而對于AI，我們沒辦法把它消滅掉。”在今年7月于上海舉辦的2025世界人工智能大會上，2024年諾貝爾物理學獎獲得者、被譽為“AI教父”的杰弗里·辛頓以“養老虎”比喻人類與AI的關系，提醒當前存在的AI失控風險。
無獨有偶，近期多位業內學者發出AI失控的警告，認為風險真實存在。專家認為，技術快速迭代導致監管出現“治理真空”，疊加全球協同治理“赤字”和現有安全防護技術不足，增加了AI失控風險。建議從完善治理理念、完善法律法規、加強技術防御、推動國際協作等方面筑牢“防火墻”，確保人工智能安全、可靠、可控。
AI失控風險“真實存在”
AI究竟有沒有失控風險？在不少專業人士看來，答案是肯定的。
在2025世界人工智能大會上杰弗里·辛頓表示，AI完全失控的概率在10%到20%。圖靈獎得主、加拿大蒙特利爾大學教授約書亞·本吉奧認為，“當前企業之間、國家之間的激烈競爭，正推動AI系統加速演進，而這一過程往往缺乏對潛在后果的充分考量。”這種擔擾已轉化為行動，辛頓近日與沃茲尼亞克等各界人士聯名呼吁暫停超級智能研發。
清華大學蘇世民書院院長、清華大學人工智能國際治理研究院院長薛瀾告誡，即便AI失控的可能性在數值上看似很低，人類社會也絕不能抱著“試試看”的僥幸心態。“一旦系統走向失控，其后果可能不可逆轉，須采取審慎的治理策略。”
也有觀點認為，當前對AI失控的擔憂存在夸大之嫌。美國“元”公司首席AI科學家楊立昆表示，“AI將接管世界”的想法，很大程度上是“人類將自身的行為模式投射到了機器上”。他表示，那些擔心風險的人往往是因為“尚未找到實現AI安全的可行路徑”。
盡管存在不同聲音，但越來越多的觀點認為，AI失控已非科幻想象，而是一個“真實存在”的風險。在激烈的全球競爭下，對這一風險須引起高度重視。
監管存在“真空地帶”
專家分析認為，AI失控風險背后存在監管機制滯后、協同治理出現“赤字”、安全防護不足三大難題。這些問題相互交織，為AI安全發展帶來挑戰，亟待引起重視。
監管追不上技術迭代。薛瀾認為，監管政策的制定過程程序復雜，需系統研究、綜合協商，很難跟上技術迭代的速度。例如，OpenAI發布GPT-4不到半年，國內外即有多款對標模型上線，但多數國家對大模型的法律分類、數據使用邊界、能力管控機制仍未落地。
此外，盡管部分國家要求企業承諾在“紅線”領域不再繼續推進研發，但在大模型研究競爭激烈的背景下，現有監管更多依賴企業自主約束。為搶占競爭優勢，企業可能會優先追求能力突破而弱化風險防控，進一步加劇了監管與技術迭代之間的脫節。
協同治理出現“赤字”。今年2月在法國巴黎舉行的人工智能行動峰會上，61國簽署《關于發展包容、可持續的人工智能造福人類與地球的聲明》，英美兩國卻選擇拒簽。
7月，美國政府在此前撤銷《關于安全、可靠和可信地開發和使用人工智能的行政令》的基礎上，進一步推出人工智能行動計劃，放寬對人工智能發展的監管。
“技術取舍本身是有價值觀的，國與國之間難以統一。”廣東省委黨校法治廣東研究中心主任宋儒亮表示，國際合作應超越短期利益博弈，秉持長期主義理念，保障人工智能為全人類的共同福祉服務。
現有安全防護能力不足。“現在最大的問題是，人們都擔心AI能力越來越強，但誰都不知道AI強到什么程度會出現失控。”薛瀾說，人工智能并非線性發展，存在巨大不確定性，因此難以預測失控的臨界點。
上海人工智能實驗室與安遠AI于7月發布的《前沿人工智能風險管理框架》顯示，當前模型運行的技術基礎設施缺乏足夠的安全保障，如網絡安全防護不足、物理安全措施薄弱、訪問控制機制不完善。
某國外機構發布的相關報告也認為，現有AI安全防護技術主要包括端點檢測、防火墻等傳統手段，如果面對具有戰略欺騙能力和快速演化特性的高級AI系統可能完全失效。AI失控風險的控制窗口期極為短暫，對監測系統的實時性和響應速度提出了前所未有的要求。
筑牢AI失控“防火墻”
專家認為，有必要在算力爆炸與人性堅守的張力之間，構建具備包容、反思、韌性的智能社會。當前我國AI治理框架初具規模，但在治理理念、法律前瞻性、技術防御深度、全球治理協同性等方面仍可強化。
薛瀾認為，應堅持敏捷治理理念。治理并非創新的對立面，而是實現人工智能健康、有序、可持續發展過程中不可或缺的制度性支撐。
一是更新治理思路，盡快出臺相關政策，并根據實踐反饋不斷迭代完善。二是重塑治理關系，摒棄監管者與被監管者之間的博弈思維，進一步加強溝通與合作。三是調整治理措施，在工具選擇上突出柔性原則，引導為主，懲罰為輔，以較為緩和方式發揮信號警示作用。
9月，北京市網信辦依據《互聯網信息服務算法推薦管理規定》有關要求，指導和推動抖音、百度、美團等首批6家屬地主要網絡平臺公示算法規則原理。宋儒亮說，應在包容、開放、審慎的基礎上，進一步完善硬法與軟法體系。
對于大模型，應優化風險評估與分級管理機制；對于數據，應加強對敏感信息、生物識別信息的分類保護；對于參與主體，則需進一步明確人工智能研發者、提供者、使用者的權利與義務，同時暢通公眾參與渠道，以社會監督彌補政府監管盲區。
宋儒亮認為，當前人工智能應用層出不窮，但基礎研究仍存在大量未知。只有加強可解釋性研究，理解其內在機制，才能有效實現事前預防，并為法規制定提供清晰依據。
“我們只想著讓老虎變得更強，卻還沒為它建一個籠子。”薛瀾談到，過去的研究過于聚焦增強模型能力，忽視了為其構建不可逾越的安全邊界。盡管提升模型魯棒性和可解釋性、保障底層價值對齊等方法有助于風險防控，但目前仍缺乏像“安全籠”那樣的決定性約束機制。應推動安全防御從被動補救轉向主動免疫，構建覆蓋全生命周期的安全運營框架。
薛瀾認為，應對失控風險必須依靠全球協作，但當前最前沿的AI公司之間仍缺乏有效交流。應加強雙邊尤其是中美對話機制，并落實聯合國體系內已達成協議的人工智能治理機制，如建立專家委員會以監測評估AI風險，打造AI交流平臺以分享推動AI向善的實踐。
編輯：李華山
