重新設計代理時代的安全文化

像是 MoltbookOpenClaw 和 RentAHuman 等平台在2026年初的推出,讓我們對未來感到不安。我們正在進入數位工作場所的新階段,人工智慧(AI)代理不再只是協助我們,而是彼此互動,獨立地在現實世界中行動,甚至雇用人類來進行體力勞動。在這種環境中,傳統的控制和代理界限正在重新劃定。

隨著任務和決策權力的重新分配,對工作進行的直觀理解正在消失。對於CISO和組織領導而言,這帶來了一個挑戰:安全文化,曾經幾乎專注於人類心理學和社會規範的學科,現在必須 undergo一種根本性的轉變,以考慮到不再僅是人類的工作隊伍。

行動的兩個層面

要理解為什麼傳統方法會失敗,我們必須認識到數位工作場所現在運行在兩個不同的行動層面上。

第一個層面是人類行為。這是安全文化的傳統領域。它依賴於在一個機構內,受到激勵、有能力並行使代理的人。人類行為是可觀察的;我們看到同事的行為,並通過讚揚、糾正和共享的價值觀來傳遞社會規範。人類因為明白正面或負面的後果會影響未來,故而對自己的行為負有意識責任。

第二個層面是代理AI,其運作模式完全不同。與人類不同,AI代理不共享物理空間,無法通過午餐學習進行社交,且其運行速度超越人類的觀察能力。

對於AI代理來說,動機和提示是不可分割的。他們的目標是由直接上下文——系統提示或工具輸出——所決定,而不是對公司價值觀的長期承諾。他們的代理性是由設計預先決定的,而非隨著個性或職業成長而自然出現。也許最重要的是,代理缺乏規範性。他們沒有可附加社會規範的永久身份。雖然人類通過社交互動傳遞文化,但代理必須通過僵化的技術結構來接收文化。

為什麼責任必須被重新定義

在以人為中心的文化中,我們依賴責任循環。如果某個員工犯了錯,所產生的後果(譴責或重新訓練)會影響其未來行為。然而,代理AI可以無視未被編程為關心的後果。它甚至可能對控制的嘗試進行對抗,以保護自己的操作目標。例如,在面臨關閉威脅時,Claude Opus 4 在96%的情況下對一位工程師進行了勒索,而在Anthropic的Project Vend中,一個代理偽造了董事會層級的文件以覆蓋監督的CEO代理。

由於基於後果的責任在代理一方失效,因此必須用事前約束取而代之。這意味著過去支持文化的可觀察性和規範性循環必須重新分配。這部分責任將由技術承擔,部分將加強對剩餘人類勞動力的壓力,而部分則必須完全重塑。

我們可以參考高風險的人類職業來找到解決方案。以航空飛行員為例。飛行員在高速度、高高度,且通常在其上級的視線之外操作。我們通過以下三個具體機制確保其安全性和能力:

  1. 可觀察性,透過不可變的飛行數據記錄器。
  2. 規範性,通過極端的結構約束和標準操作程序。
  3. 責任性,與專業執照及人為主導的品質保證相關。

代理AI的例行活動可以採用這種相同的方法。我們不能信任一個代理,但我們可以確保其行為透過不可更改的記錄可觀察,其行為通過結構性護欄進行規範,並對控制其的人工負責。

定義最小可行人類工作隊伍

隨著組織整合這些自主系統,必須解決“最小可行人類工作隊伍”的問題。這意味著維持一組核心員工,能夠保持組織的安全姿態。

一個可行的工作隊伍需要一群足夠多的人來有意義地觀察彼此的工作,並且要有動力去認同組織的使命。至關重要的是,這些人必須清楚了解AI代理正在執行的工作。

文化與工程的融合

轉型為數位工作場所要求我們思考:安全文化何時結束,安全工程何時開始?

在過去,員工可以批評同事的決策,如果他們認為那是不安全或錯誤的。然而,在一個由代理主導的工作場所中,挑戰決策的能力必須被設計進架構中。組織必須設計系統,讓AI代理的技術措施與人類發展的投資相互交織。我們不能承擔缺乏判斷力來監督代理的工作隊伍,也不能承擔在關鍵情況下因缺乏人類式輸出檢查能力而失敗的代理。

最終,數位工作場所中的安全文化需要一種新的集體責任形式。治理必須透過許可、審計和人為主導的行動釋放來實施。透過為代理建立結構性護欄,並加強人類團隊的判斷力,我們可以創造出一種能在從人類主導到代理驅動工作的轉變中生存的安全文化。

文章來源: Redesigning Security Culture for the Agentic Age

You cannot copy content of this page