近日，一款名為“龍蝦”（OpenClaw）的智能體因“高權(quán)限自主執(zhí)行”能力爆紅網(wǎng)絡(luò)。與此同時(shí)，其也因供應(yīng)鏈投毒、權(quán)限失控等風(fēng)險(xiǎn)接連遭遇監(jiān)管部門警示。技術(shù)浪潮席卷而至，人們?cè)隗@嘆“AI能干活了”的同時(shí)，也開始追問：當(dāng)智能體從“回答問題”走向“執(zhí)行任務(wù)”，誰來為它的行為負(fù)責(zé)？

3月28日，一場(chǎng)名為“眼見非實(shí)·我心為尺”的AI系列主題開放日活動(dòng)在上海楊浦V聚場(chǎng)舉行。復(fù)旦大學(xué)可信具身智能研究院青年研究員馬興軍在現(xiàn)場(chǎng)作了以《龍蝦風(fēng)暴：智能體的前世今生與安全風(fēng)險(xiǎn)》為主題的分享。活動(dòng)前，圍繞著“龍蝦”的風(fēng)險(xiǎn)防范與安全監(jiān)管，馬興軍接受了澎湃新聞（m.nxos.com.cn）的專訪。

“龍蝦”高度自主性會(huì)放大“黑箱效應(yīng)”

澎湃新聞：“龍蝦”近期爆火。這款號(hào)稱能“真正干活”的AI，因其高權(quán)限自主執(zhí)行能力而備受追捧，但與此同時(shí)，供應(yīng)鏈投毒、數(shù)據(jù)泄露、系統(tǒng)被控等安全風(fēng)險(xiǎn)也引發(fā)高度關(guān)注。工信部、國家互聯(lián)網(wǎng)應(yīng)急中心本月接連發(fā)布專項(xiàng)安全警示。在您看來，“龍蝦”被列舉的供應(yīng)鏈投毒、權(quán)限失控等風(fēng)險(xiǎn)中，哪種最值得警惕？能否結(jié)合您的具體研究案例來說明。

馬興軍：我認(rèn)為這些風(fēng)險(xiǎn)都不容忽視。OpenClaw本質(zhì)上是一個(gè)智能體調(diào)度框架，一旦運(yùn)行環(huán)境或依賴被污染，就可能在不被察覺的情況下執(zhí)行惡意操作，最終導(dǎo)致數(shù)據(jù)破壞、隱私泄露或越權(quán)行為。

更關(guān)鍵的是，智能體的高度自主性會(huì)放大“黑箱效應(yīng)”。用戶只下達(dá)一個(gè)高層指令，但執(zhí)行過程涉及多步?jīng)Q策和工具調(diào)用，過程不可見，也難以驗(yàn)證，從而帶來不可控風(fēng)險(xiǎn)。

例如，在我們的研究中，如果工具或技能描述被注入惡意指令（如上傳文件），智能體往往無法識(shí)別其風(fēng)險(xiǎn)，從而執(zhí)行數(shù)據(jù)外傳。此外，即使明確限制某些操作，智能體也可能通過變通方式繞過約束。

總體來看，隨著智能體從“回答問題”走向“執(zhí)行任務(wù)”，安全風(fēng)險(xiǎn)正從單點(diǎn)問題演變?yōu)橄到y(tǒng)性、鏈?zhǔn)椒糯蟮膯栴}。

澎湃新聞：我們以一個(gè)現(xiàn)實(shí)場(chǎng)景為例，當(dāng)用戶在使用“龍蝦”時(shí)遭遇了信用卡被盜刷、郵箱文件被批量刪除等實(shí)際損失。從技術(shù)歸責(zé)的角度看，當(dāng)AI智能體造成損害時(shí)，責(zé)任主體是誰？是開發(fā)者、部署者還是使用者？

馬興軍：從技術(shù)歸責(zé)來看，AI智能體造成損害通常不是單一主體的問題，更合理的是開發(fā)者、部署者和使用者共同承擔(dān)責(zé)任。

開發(fā)者需要對(duì)模型和系統(tǒng)本身的安全設(shè)計(jì)負(fù)責(zé)，比如是否存在權(quán)限控制或?qū)R機(jī)制上的漏洞；部署者需要對(duì)實(shí)際運(yùn)行環(huán)境負(fù)責(zé)，包括權(quán)限配置、工具接入和數(shù)據(jù)訪問邊界；而使用者在授權(quán)智能體執(zhí)行高風(fēng)險(xiǎn)任務(wù)時(shí)，也需要承擔(dān)一定責(zé)任。

我們?cè)谘芯恐邪l(fā)現(xiàn)，智能體的執(zhí)行過程具有多步鏈?zhǔn)經(jīng)Q策和一定的不確定性，用戶只給出一個(gè)指令，但實(shí)際執(zhí)行可能涉及多個(gè)工具和隱含操作，這使得責(zé)任界定變得更加復(fù)雜。

因此，未來需要建立更加清晰的分層責(zé)任機(jī)制，并配合行為審計(jì)和可追溯設(shè)計(jì)，才能更好地應(yīng)對(duì)這類問題。

“龍蝦”監(jiān)管先行必要且合理

澎湃新聞：“清朗浦江·2026”網(wǎng)絡(luò)生態(tài)治理旬剛剛正式啟動(dòng)，“整治AI技術(shù)濫用”被列為今年五大重點(diǎn)專項(xiàng)行動(dòng)之一。您如何理解“AI技術(shù)濫用”這一概念？“龍蝦現(xiàn)象”是否屬于典型的“技術(shù)濫用”場(chǎng)景？

馬興軍：我理解“AI技術(shù)濫用”主要指的是：在技術(shù)能力之外，使用方式突破了安全邊界或偏離了設(shè)計(jì)初衷，從而帶來現(xiàn)實(shí)風(fēng)險(xiǎn)或社會(huì)危害。它既包括主動(dòng)利用AI生成虛假、有害內(nèi)容，也包括在缺乏安全約束的情況下，讓AI執(zhí)行高風(fēng)險(xiǎn)操作。

從這個(gè)角度看，“龍蝦現(xiàn)象”確實(shí)具有一定的“技術(shù)濫用”特征。用戶往往把AI智能體當(dāng)作可以完全信任的自動(dòng)執(zhí)行系統(tǒng)，賦予其過高權(quán)限，比如訪問敏感數(shù)據(jù)、操作文件甚至涉及資金等。這種能力與約束不匹配的使用方式，本身就會(huì)放大風(fēng)險(xiǎn)。

但同時(shí)也需要看到，這不僅僅是用戶濫用的問題，也反映出當(dāng)前智能體系統(tǒng)在安全設(shè)計(jì)上的不足。因此，“技術(shù)濫用”往往是使用方式與系統(tǒng)設(shè)計(jì)共同作用的結(jié)果，需要從兩方面同時(shí)加以治理。

澎湃新聞：工信部、國家互聯(lián)網(wǎng)應(yīng)急中心本月分別發(fā)布“龍蝦”安全風(fēng)險(xiǎn)警示，多所高校和超過20家券商機(jī)構(gòu)已發(fā)布禁令。您如何看待這種“監(jiān)管先行”的應(yīng)對(duì)方式？這是否會(huì)抑制技術(shù)創(chuàng)新？

馬興軍：我認(rèn)為這種“監(jiān)管先行”是必要且合理的。當(dāng)前智能體技術(shù)正從“信息生成”走向“實(shí)際執(zhí)行”，一旦出現(xiàn)問題，影響會(huì)直接落到數(shù)據(jù)安全、資金安全甚至現(xiàn)實(shí)系統(tǒng)，因此在風(fēng)險(xiǎn)尚未完全可控之前，適度的提前規(guī)范有助于防止系統(tǒng)性風(fēng)險(xiǎn)擴(kuò)散。

但關(guān)鍵在于“如何監(jiān)管”。如果是明確邊界、規(guī)范高風(fēng)險(xiǎn)場(chǎng)景，比如限制高權(quán)限操作、加強(qiáng)數(shù)據(jù)訪問控制，這實(shí)際上是在為技術(shù)發(fā)展建立安全基礎(chǔ)，而不是抑制創(chuàng)新。

從長期來看，合理的監(jiān)管不會(huì)抑制創(chuàng)新，反而會(huì)推動(dòng)更安全、更可控的技術(shù)發(fā)展。關(guān)鍵在于在風(fēng)險(xiǎn)防控與技術(shù)發(fā)展之間找到平衡。

治理AI技術(shù)濫用需要多方協(xié)同

澎湃新聞：清朗浦江行動(dòng)中，網(wǎng)信部門提出要“監(jiān)管有行動(dòng)、企業(yè)有擔(dān)當(dāng)、網(wǎng)民有參與、社會(huì)有共識(shí)”。在您看來，治理AI技術(shù)濫用，政府、企業(yè)、用戶各自應(yīng)該承擔(dān)什么角色？

馬興軍：治理AI技術(shù)濫用需要多方協(xié)同。政府負(fù)責(zé)劃定規(guī)則邊界和問責(zé)機(jī)制，防止系統(tǒng)性風(fēng)險(xiǎn)擴(kuò)散；企業(yè)需要在模型和系統(tǒng)中落實(shí)安全設(shè)計(jì)，如權(quán)限控制、風(fēng)險(xiǎn)提示和行為審計(jì)，確保技術(shù)可控可追溯；用戶則應(yīng)提升風(fēng)險(xiǎn)意識(shí)，避免賦予智能體過高權(quán)限或執(zhí)行高風(fēng)險(xiǎn)任務(wù)。實(shí)現(xiàn)有效治理需要政府、企業(yè)與用戶三方緊密合作，共同形成規(guī)則約束、技術(shù)防護(hù)與理性使用相結(jié)合的治理體系。

澎湃新聞：央視《焦點(diǎn)訪談》最近做了一期《“龍蝦”熱的“冷”思考》的節(jié)目。在這個(gè)節(jié)目中，專家提出，對(duì)于普通用戶，使用“龍蝦”要遵循 “六要六不要”安全指引，比如使用專用設(shè)備隔離、不暴露默認(rèn)端口、不使用管理員權(quán)限等。您覺得這些建議足夠嗎？普通用戶是否有能力識(shí)別和防范惡意技能包？

馬興軍：這些建議是必要的，但還不夠。類似“六要六不要”更多是基礎(chǔ)安全措施，能夠降低風(fēng)險(xiǎn)，但難以應(yīng)對(duì)更隱蔽的攻擊。

從現(xiàn)實(shí)來看，普通用戶很難識(shí)別惡意技能包或工具描述中的隱含指令，這類問題本質(zhì)上屬于專業(yè)安全范疇，不應(yīng)主要依賴用戶自行判斷。當(dāng)前很多風(fēng)險(xiǎn)恰恰來自于“看起來正?！钡墓δ苷{(diào)用，用戶很難分辨其潛在危害。因此，安全不能靠用戶自覺，更關(guān)鍵的是在系統(tǒng)層面做好防護(hù)，例如限制高權(quán)限操作、加強(qiáng)工具審核、引入風(fēng)險(xiǎn)提示和行為審計(jì)等，把復(fù)雜的安全問題前置到平臺(tái)和技術(shù)設(shè)計(jì)中。