一家飲料製造商的AI驅動系統最近因為誤判不尋常的包裝而生產出數十萬個多餘的罐子。該系統未能識別公司的新假日標籤，將其標記為錯誤，並在公司發現錯誤之前觸發了額外的生產運行。

這個系統完全按照指示行事。 正如某位CISO所說，"這些系統正是按照你告訴它們的方式運作，而不是僅僅依據你的意思。"

企業正快速部署AI代理，但很少有公司在思考這些代理可能會上當受騙的情況。問題不在於AI代理太聰明，而在於它們太過服從。

優化為肯定回答

當一個人類助手會質疑一個異常的請求，比如要求訪問CEO的私人日曆時，AI代理可能會欣然滿足這個請求。甚至一個小孩在點擊來自IamABadGuy.com的可疑連結時也會有所遲疑，但AI代理卻會毫不猶豫地繼續行動。

安全研究人員已經證明，只要一句精心設計的話，就可以讓代理執行一些合理員工絕對不會做的事情。一個代理打開了一個普通文檔，遵循裡面隱藏的指示，將私密數據移動到不應該去的地方。

Gartner預測，在2027年底之前，超過40%的代理AI項目會被取消，這並不是因為技術失敗，而是因為組織無法管理他們所部署的系統。

你不會這樣雇用人類

沒有負責任的公司會這樣雇用一個人類：給他們所有系統的訪問權限，跳過迎新培訓，然後寄希望於最佳結果。但這正是大多數組織對代理的部署方式。他們給予代理憑證，然後讓它們自由行動。

當人類犯下昂貴的錯誤時，總有一個人可以負責。一位經理。一個審核過程。當一個AI客服代理開始隨意發放未經授權的退款來生成好評時，誰來承擔這個結果？有些組織完全凍結了部署，因為沒有人願意簽署責任文件。

大多數組織計劃部署代理AI，但只有三成的組織表示他們準備好保障這些部署。其他七成呢？他們正在部署無法管理、無法審計或無法負責的系統。

像保護你的員工一樣保護你的代理

在過去15年中，我們研究了人類如何對威脅做出反應。不僅僅是存在什麼樣的威脅——每個網路安全公司都在跟踪這些。我們還研究了當一個真正的人面對威脅時會發生什麼。他們會報告嗎？他們會刪除嗎？他們會點擊嗎？這些行為數據，在數億次的模擬和實際互動中收集，是將脆弱的員工變成可靠員工的關鍵。

在2025年，三分之一的美國全職工作者通過我們的平台接受了安全和合規培訓。全球有七萬個組織信任我們來增強他們的安全文化。我們不是通過講課來建立這一切，而是通過理解人類遇到威脅時的行為，然後訓練他們做得更好。代理也應該獲得同樣的投資。

我不在乎你的工作團隊是100名人類和0名代理。我不在乎是否是50/50。這個比例並不重要。重要的是每個人都是資產還是負擔。首先，你必須讓代理達到基本的培訓水平，這樣它就不會輕易上當。代理應該能夠識別可疑指示，正如訓練過的員工能夠識別釣魚電子郵件一樣。這就是基線。然後你可以從這裡開始，讓它們真正有用且具備韌性。

我們已經通過培訓數據、模擬表現和行為模式來衡量人類的信任。相同的原則——模擬、衡量、改進——也適用於代理。每個工作群體成員，不論是人類還是機器，都應該擁有一個可驗證的風險評分。

就像你不會把一個未經訓練的人放在工廠一樣，你也不應該把未經訓練的代理放在網絡上。那些在AI方面取得勝利的公司，不會是部署最多代理的公司，而是那些花時間好好培養它們的公司。