開源悖論：因應 AI 供應鏈風險的新戰線

近期 Hugging Face 等大型 AI 儲存庫出現的漏洞事件，對資安社群而言是一記重要警鐘。隨著我們加速邁向 Agentic AI 的未來，我們仰賴來推動創新的平台，正日益成為系統性風險的主要攻擊途徑。

從 Shadow IT 到 Shadow AI

多年來，CISOs 一直在對抗 Shadow IT。如今，我們面臨的是更隱蔽的挑戰者：Shadow AI。這是指立意良善的團隊為了提升效率，未經核准便使用公開 AI 工具及未經審查的開源模型，卻在無意間危及組織的敏感資料與信任基礎。

Hugging Face 相關事件凸顯出 AI 供應鏈的脆弱性。當我們從儲存庫下載模型時，匯入的不只是程式碼，更是一個邏輯上的「黑箱」。它可能遭到 prompt injection、data poisoning，甚至被整合至全自動化的 ransomware 攻擊中。

我們正從單純的聊天機器人，邁向能夠執行交易與制定決策的 AI agents，也就是自主系統。這種 Agentic AI 的優勢雖然帶來韌性與創新，卻也形成巨大的治理缺口。

近期研究顯示，目前不到一半的企業已制定 AI 治理政策。正是這類監督不足的情況，使得單一模型儲存庫中的漏洞，可能擴散並影響整個企業。

此外，已將 AI agents 導入正式環境的企業，也對這些 AI agents 的行為感到憂心；全球僅有 34% 的總監級以上技術決策者信任其 AI agents 所採取的行動。

要守護這個新領域，不能只靠技術修補；更需要從根本改變我們管理人為風險的方式。

以人為中心的審查：建立由人員主導的評估程序，在部署前要求專家審查所有 AI 模型與供應商，確保每項整合都經過人員監督並明確核准。
持續的人為監督：導入「human-in-the-loop」控制機制，要求在人員關鍵決策點介入，確保自主 agents 始終符合組織設定的規範，且絕不在無人監督下運作。
賦能員工的資安防護：調整資安訓練方向，讓員工不只學會辨識威脅，也能主動監控其管理的 AI agents，從被動使用者轉變為具備能力的人員安全防線。

目標不是扼殺創新，而是以誠信與可靠性來推動創新。我們必須從「失控的 AI」狀態，轉向一套務實的風險評估與安全導入藍圖。

在我近期的演講中，我向聽眾分享了一個簡明的架構：EEG：Embrace、Educate 與 Govern。

Embrace：不要扼殺創新，而要促進創新。整合能協助您盤點並評估目前在生態系統中運作之 AI agents 的工具。
Educate：重點必須從單純訓練人員辨識 phishing，轉為管理這些人員每天互動的數位 agents 所帶來的風險。組織應善用能因應使用者實際面臨威脅的 AI-native security awareness training。
Govern：審查絕對不可妥協。組織在將任何「現成」AI 整合至工作流程前，必須建立嚴謹的供應商與模型審查程序。透過 Agent Risk Manager，您可取得所需的可視性，即時了解 AI agents 的行為，確保「human-in-the-loop」防護措施隨時到位。

正如我們在近期的 Workforce Security Summit 所見，管理這些 Agentic Risk 的工具正在持續演進。問題已不再是您的團隊是否正在使用這些工具，而是您如何管理它們所帶到您面前的風險。

透過整合電子郵件安全、security awareness training 與 AI agent 防禦策略，您可以確保員工隊伍始終是資產，而非漏洞。