為什麼AI飛行員不會上線:一個沒人討論的信任上限

這不是一個模型問題,從來就不是。

這個試點工作了,演示成功了。有人問了個難題,系統也回答得很好,會議提早結束。接著進入審查階段,一位審查者問了另一個問題。不是「這個答案好嗎」,而是「告訴我這個答案的來源,並且那個提問的人有沒有權限看到它。」沒有人能回答,所以這個項目沒有推出。演示令人印象深刻與審查無法通過之間的這一差距就是信任的上限:更聰明的答案不再重要,因為沒有必要的治理來捍衛它。

95% 的數字遠離模型

在每個 AI 策略報告中都有一個統計數據,通常被解讀為對技術的判決,以及等待更好模型的理由:大約 95% 的企業 AI 試點沒有提供可量化的回報

讀完這項研究後會發現,失敗主要集中在整合和學習差距上:系統如何連接到實際數據和實際工作流程,而不是它推理的效率。缺少的不是能力,而是在能力周圍的一切必須成立的條件,這甚至可以簡化為一個問題:簽字的人首先需要看到什麼?

審查者無法回答的三個問題

治理審查不是一場質量競賽。審查者不是在給文本打分;他們是在檢查答案是否能在以後的質疑中存活,這取決於三點:輸入來自哪裡?誰被允許查看它?什麼證明這個答案是根據經過批准的、當前的來源檢查過的?一個流暢且正確的答案如果不能命名其來源,仍然是無法推出的,因為「正確」如果沒有來源支撐,就只是一次無意的猜測。

常見的反駁是合理的。檢索增強生成已經解決了這個問題,這樣的論點是:RAG 將答案與自己的文件綁定,而不是讓模型随意聯想,從而構造出一個真實來源。這是真實的,但根據文件來檢查生成文本是否匹配僅僅證明了它與所提供的文件相符。這不能告訴我們該文件是否是最新的,是否獲得批准,或是觸發查詢的人是否有權限查看它。檢查來源是最後一步,而三個問題涉及的是之前的每一步。

當證據存在於上游時,因此在評分模型

一個典型的打分系統對模型的輸出進行評價:答案是否相關、是否格式良好、是否在主題範圍內。與此同時,供應模型的檢索卻未被評分:哪份文件被調用,如何排序,什麼組裝成上下文。因此,建立在過時文件上的自信答案可以順利通過,因為選擇該文件的步驟從未被考核。

解決辦法是停止將檢索和生成作為一個數字來評分。RAG 三元組是將這一分割呈現的一種方式:分別評估檢索是否提供了正確的上下文,以及答案是否忠於該上下文。將它們一起評分時,寫出錯誤內容的模型和忠實概述錯誤文件的模型看起來是相同的,只有第二個靜靜地通過了審查。這種盲點在可追溯性方面也有體現,試點項目將治理所面臨的區別進行了簡化:數據沿革與來源。沿革圖示數據的流動;來源是價值背後的保管鏈,即審查者實際上會問到的「誰接觸過它以及什麼批准了它」。試點大多只提供了沿革,而很少有來源。

信任的另一半在於系統能夠扮演的角色

證據是審查者檢查的一部分。另一部分是訪問權:系統是否應該能夠到達該來源。

70% 的組織給予 AI 系統的訪問權限超過同級人類。試點往往很快建立,通常基於廣泛的服務帳號,以便能夠訪問可能需要的內容,且許可權可以稍後收緊。但往往在試點進入生產之前,發生的延遲不會到來,現在 AI 可以向任何詢問者提供任何內容,包括未經授權查看的文件。這一捷徑的代價是:

權限過高的 AI 系統顯示 76% 的事件率

僅限於最少權限訪問的系統顯示 17%

使用廣泛服務帳號的 AI 無法強制執行你的訪問政策。它繞過了這一點:一旦模型能夠代表用戶穿越權限邊界,組織中的每個權限邊界變得選擇性。這必須在檢索階段解決,原因在於機械性。生成答案後檢查權限,作為輸出過程中的過濾,系統已經將受限文檔拉入上下文來生成答案。這條邊界只有在你在提取文件之前強制執行時才能保持有效。直到那時,對於「這是否是受治理的?」的誠實回答是「否」。

行動知識層

這兩個方面都指向同一個地方:行動知識層。這一層位於企業內容與每一個利用它的 AI 體驗之間。它不是聊天機器人、向量數據庫或模型包裝器。它是內容被提取、保持最新、基於提問者的權限進行篩選、檢索、引用和記錄的地方,在模型寫出答案之前。

這正是 Progress 提出的「一個知識層,每個 AI 體驗」框架的核心。如果每個團隊都搭建自己的 RAG 管道,每個助理都會繼承各自的同步延遲、權限捷徑和審計差距。而共享的層將審查者的問題轉化為基礎設施:同步代理保證資料庫的最新狀態,檢索時的訪問控制限制查詢能夠觸及的內容,引用和審計跟隨著每個答案。Progress 的行動 RAG 是這一運行模型的一種實現。更大的一個觀點是更簡單的:如果檢索無法在生成之前證明其來源的時效性、權限和來源,審查者仍然不得不說不。

這一切都沒有讓模型變得更智能。它使輸出具備可防衛性,而在信任的上限上,這正是所缺失的。如果你的試點距離生產只差一步審查,首先要考慮檢索是否可以清楚命名它的來源、證明權限並保持最新。觀看每個用例背後的行動知識層以了解這一運行模型。

常見問題解答

如果我們的 RAG 試點已經引用了它的來源,這不就涵蓋了來源嗎?

部分是。引用告訴讀者答案是從哪份文件中構建的,但無法確定該文件是否是經過批准的、當前的版本,也無法確認執行查詢的人是否有權觀察它。引用只是來源的可見部分,而不是全部。

在檢索時強制控制訪問會不會使系統變得更慢或更難建設?

這改變了工作的進行地點,而不一定改變工作量。在生成答案之前先篩選文檔,這比生成答案然後進行清理,要便宜得多,也遠比錯過下游過濾的事件來得便宜。較困難的轉變是架構上的:訪問控制必須存在於檢索層,而不是在最後附加。

我們不在受監管行業。信任上限仍然適用嗎?

是的,因為上限並不是一個合規的勾選框。它是任何允許系統在無人監督的情況下運行的人,無論是安全負責人、工程經理還是工作流擁有者。這些問題隨著監管的變化而不變:這些來自哪裡,誰可以看到它,這些證據是什麼。在受監管行業中,這些問題只是需要先以書面形式提出。

文章來源: Why AI Pilots Don’t Ship: The Trust Ceiling No One Talks About

You cannot copy content of this page