調出你們 AI 部署的審計記錄。不是輸出日誌，而是取回紀錄。找到你們的助手取回一個合約條款、評估其相關性並記錄了該條款的使用者的那一筆。接著找出同一助手取回並拒絕文件的記錄。

大多數企業的檢索增強生成 (RAG) 部署無法產生這兩條記錄。這個差距，不是幻覺，也不是模型品質，才是 AI 管理失靈的地方。

為何引用不是審計追蹤

你的 AI 助手會引用它的來源。但那並不是審計追蹤。

引用告訴你該模型提到什麼，但對於檢索路徑卻一無所知：哪些文件被取回，哪些被評分並丟棄，哪位使用者提交了查詢，或者該使用者是否有權查看基礎資料。根據歐盟 AI 法案第 13 條，針對高風險 AI 系統，部署者需解釋輸出並了解其生成方式。附加在回答中的引用並不能滿足該義務，只是滿足了表面上的要求。

大多數團隊常常陷入的情境：一位分析師詢問法律助手有關德國勞動法的問題，並得到一個引用來源的自信答案。引用沒有顯示檢索層也取回了分析師無法訪問的人力資源記錄，並進行評估、丟棄後才生成了同樣的答案。輸出看起來乾淨整潔，但檢索路徑卻不然。審計檢查不會看輸出，而是要求檢索紀錄。

現實檢查：引用是 AI 回答的證據。審計追蹤則是 AI 獲得回答的證據。受監管行業需要兩者。

如果你的檢索層在管道運行的時候無法生成這條記錄，那你就是無法生成。“我們將從日誌中重建”並不滿足歐盟 AI 法案第 12 條對自動日誌的要求。在審計員到來之前，你將花一周的時間重建你的助手從伺服器日誌中取回的內容，而這些日誌並不是為追蹤 RAG 檢索事件而建造的。

告訴你為何答案錯誤的指標

大多數團隊在 RAG 部署中抱有一個假設：如果使用者沒有抱怨，管道就正常運作。因此質量漂移往往未被發現，直到有人提出升級，而到那時問題已經在某人票據的待處理列表中了。

Progress Agentic RAG 透過REMi (RAG 評估指標)為檢索層引入了儀器化，一種開源評估模型，對每次交互進行評分，並分為三個失敗模式，稱為 RAG 三角。

上下文相關性衡量檢索到的文件是否符合使用者的查詢。低分表示檢索路由有問題，而不是模型問題。解決方式在於你的切分或向量搜尋，而非提示模板。知道是哪一個能省下你兩週時間浪費在錯誤的層級上。

基礎支持度則關心生成的答案是否有檢索到的資料支持。低分意味著登記過的幻覺事件：並非“模型可能編造了什麼”，而是“模型聲稱這個，而這裡就是不支持其的來源文件。”這種具體性是懷疑與可以向監管機構呈現的證據之間的差異。

答案相關性捕捉到的失敗是沒有任何人會標記，直到某個利益相關者提到：答案雖然有根據、準確卻完全偏離問題。REMi NUA 端點在 0–5 的範圍內返回所有三項評分及其文字推理，讓你知道不僅是答案錯過了，還知道為何錯過。

當有人在沒有進行評估通過的情況下更新提示模板時，你會在星期四收到票據的通知。REMi 會在票據之前發現這一問題。這個差距正是審計可能介入的窗口。

關鍵洞察：審計 AI 系統的合規團隊不僅問“答案對嗎？”他們還會問“你怎麼知道？”有評分的登錄評估指標是一個答案。而用戶滿意度評分則不是。

真正的數據最小化訪問控制

所謂“具備權限的” AI 通常是這樣：系統從整個資料庫中提取文件，生成答案，然後檢查該使用者是否應該查看源資料。答案已經在上下文中。被過濾的只是你展示的資料，而不是 AI 獲取的資料。

GDPR 第 5 條第 1 款(c)要求資料處理必須限於必要的範圍。提取所有資料然後過濾顯示並不是數據最小化。被檢查的部署並不是那種明顯忽略訪問控制的，而是那種實施了顯示過濾並且真心相信這足夠的。

Agentic RAG 訪問控制在查詢運行之前就執行限制：當應用程序帶著使用者安全群組通過查詢並啟用 enforce_security 時，檢索會限於授權的資源。超出該範圍的文件永遠不會進入上下文視窗。

不需要組裝的審計包

大多數組織在審計的前一周，自不同系統組裝 AI 審計包，而這些系統並未設計來相互通訊。根據歐盟 AI 法案第 12 條，針對高風險 AI 系統，需要時間戳查詢、生成的答案、使用者記錄及質量監控的證據。這不應該是一個組裝專案。

Progress Agentic RAG 活動日誌，可下載為 CSV 格式或透過 API 訪問，捕捉每次互動作為每行記錄：查詢文本、生成答案、使用者標註及時間戳。當引用模式啟用時，回應會包含引用資料，將答案片段鏈接到來源段落，這樣人工審查員可以驗證 AI 的研究是否符合來源。這具體化了歐盟 AI 法案第 14 條的人類監督要求。REMi 持續評估會在問題達到用戶之前，顯示出質量漂移。

Progress 法律事務所案例在受監管的服務公司中展示了這一點，該公司每月處理數千個問題，並遵循 GDPR。審計包不是組裝而成，而是自動生成的。

歐盟 AI 法案的執行將持續至2027年。“我們有日誌”和“我們有治理記錄”並不是一回事，這種差異在檢查中會顯現出來。

令人不安的真相：如果你無法展示你的 AI 取得了什麼並驗證誰有權查看它，那麼你就沒有 AI 管理。你擁有的是一個以希望為基礎部署的系統，上面貼有合規的標籤。

你可以嘗試Progress Agentic RAG，現在提供 14 天免費試用。

常見問題

Progress Agentic RAG 活動記錄滿足歐盟 AI 法案第 12 條要求嗎？

活動日誌將每次互動捕捉為 CSV 記錄：查詢文本、生成的答案、使用者標註及時間戳。這些記錄對應於第 12 條對高風險 AI 系統所要求的可追溯性相關事件。第 12 條的完整義務是針對風險分級而設的；活動日誌是合規團隊映射到此的基礎。

REMi 與檢視用戶反饋或輸出評分有什麼不同？

用戶反饋告訴你當某個答案感覺錯誤時。REMi 告訴你為何以及管道在哪一層發生了故障。低上下文相關性意味著檢索在錯誤路由查詢。低基礎支持度意味著模型生成的內容並未得到檢索到的文件支持。這些問題需要不同的修正，而這在一個差評中是無法看出的。REMi 運行於每一次互動，而不僅僅是被標記的事件。

如果我們在多個部門中使用 Progress Agentic RAG，訪問控制如何防止部門間數據洩露？

Agentic RAG 訪問控制 在資料進入時對資源附加安全元數據。當應用程序帶著使用者安全群組通過查詢並啟用 enforce_security 時，檢索範圍將限於與這些群組匹配的資源，並在提取任何資料之前進行檢索。超出該範圍的文件永遠不會進入上下文視窗。強制執行並不是自動的，部署必須通過群組並啟用強制執行，否則將適用較廣的預設設定。