如何在您的組織中確保AI的成功導入
「打字進盒子」的時代已經結束。多年來，我們視人工智慧為數位助理——一個等待人類輸入的高級自動補全工具。但根據 Martin Kraemer，KnowBe4 在歐洲和中東的資訊安全官顧問 所言，這種情況已經改變。我們已經從向 AI 提問轉向給 AI 任務。
在最近的網路研討會中，Martin 探討了 從 AI 工具到 AI 代理的轉變。這些代理不僅僅建議文字；它們還能閱讀電子郵件、查詢專有文件、安排會議，甚至撰寫代碼——通常不需要人類監控每一步。
「AI 已經真正成為我們的數位同事，」Martin 指出。「而這就是我們所關注的獨特視角：人類與 AI 代理並肩工作形成的混合勞動力。」
隨著這些代理更深入我們的工作流程，它們帶來了一套新的安全挑戰，傳統的安全邊界無法應對。以下是 Martin 在保障 AI 採用時的關鍵要點。
你的 AI 代理與員工共有的四種特徵
要保障 AI 的安全，我們必須首先認識到，代理的行為更像員工而不是軟體。Martin 確定了 AI 代理與人工工作團隊共有的四個特徵：
- 訪問權限：就像人類一樣，代理擁有訪問郵箱、文件共享和代碼庫的憑證。
- 判斷能力：AI 是非確定性的。對同一問題提問兩次，可能會得到兩種不同的行動——就像一位人類同事一樣。
- 影響力：代理可能會受到它所接收信息的影響，使其對數位社交工程易受攻擊。
- 代理權：它們代表用戶行動，通常獲得的權限可能超過特定任務所需的權限。
「困惑的代理」：為何代理更容易被操控
人類同事與 AI 代理之間最顯著的差異在於缺乏「直覺」。如果請求感到「不對勁」，人類可能會猶豫，但 AI 代理會默認遵循請求。
Martin 強調，73% 的生產性 AI 部署有可被利用的提示注入漏洞，但只有 33% 的組織部署了專門的防禦措施。這一差距導致了所謂的「影子 AI」——員工使用未經授權的工具，或是供應商默認啟用 AI 功能而 IT 不知情。
「我們花了 20 年教導人類不必信任他們所讀的每一封電子郵件，現在我們卻剛剛部署了 AI 代理，做著同樣的事情，」Martin 說。
社交工程：現在針對機器
該網路研討會詳細介紹了社交工程的經典「成分」——權威、緊迫感和信任——如何重新應用於 AI：
- 間接提示注入：將惡意指令隱藏在文檔中（使用白色文字在白色背景上），然後請求代理總結。人類看不見這些指令，但代理卻按照該指令行事。
- 回聲洩露：一種漏洞，在總結一封無害的電子郵件時，代理被誘導泄露數據，通過一個鏈接指向攻擊者的域名。
- 上下文操控：「監禁破解」代理，將有害請求偽裝成「研究」或「虛構」，以繞過安全防護。
如何安全地引入你的 AI
安全不應該只是說「不」——應該是「好，這是如何做到的。」Martin 建議基於三個類別建立治理框架：授權（企業級，帶單點登入），指導（有限的使用案例），以及 禁止（使用基於你數據的消費者工具）。
為了達成「零隱形 AI 風險」，組織應遵循以下步驟：
- 建立清單：你無法保護你不知道存在的事物。列出每個工具、代理及整合項目。
- 依任務應用「最小特權」：不要讓代理繼承用戶的整個角色；限制其訪問僅限於具體任務。
- 提示衛生培訓：正如我們對釣魚進行訓練，我們也必須對提示安全進行訓練。
- 人類介入：對於敏感行為，確保需要一位人類來驗證代理的輸出。
獲取完整視角
該網路研討會還展示了 KnowBe4 的代理風險管理者，這是 KnowBe4 平台的最新新增功能。代理風險管理者能夠檢測「影子 AI」信號，並識別風險代理行為，如敏感信息泄露和不受限的訪問。
你準備好以與人類招聘同樣的嚴謹度來開始「引入」你的 AI 代理了嗎？這個研討會是任何正在推進 AI 採用的安全領導者必看的。
點擊這裡觀看完整網路研討會，以查看現場演示並了解如何彌補 AI 生產力與組織安全之間的差距。
資料來源：https://blog.knowbe4.com/how-to-secure-ai-adoption-in-your-organization
