“選擇一個 LLM 並圍繞它建立一切。”這句口號描述了大部分代理型的檢索增強生成 (RAG) 部署的起始方式。與單一供應商的關係簡化了一切。在某周二（總是周二）之前，這聽起來是一個合理的捷徑，但如果你的管線依賴的模型在那一天被淘汰，新向量數學上與舊的不相容，重新嵌入將成為一個全面的遷移專案，而你的知識庫則會變得無法連貫。

累積成本問題

代理管線中的標記經濟運作方式像是反向的複利。概念驗證的帳單是四捨五入的誤差；在實際查詢量中進行多步推理循環的生產有其獨特的發票。代理型 RAG 是迭代的。代理計畫、檢索、評分文件，決定上下文是否足夠，如果不夠就回頭，再跨來源合成和檢查自己的輸出。該工作流可以每個用戶查詢生成多個離散的模型調用。

不那麼明顯的額外成本是在每一步都運行一個前沿模型，當大多數情況下其實不需要。查詢拆解是模式匹配。文件評分和幻覺檢查是對檢索上下文的結構化比較。每一步的花費與最終合成調用的每標記費率相同，而這正是單模型管線安靜消耗預算但未改善品質的地方。

LLM 的靈活性直接改變了這一點。考慮一下目前 Progress Agentic RAG 支援的內容：

• 單一體驗內的模型配對：一個前沿型模型在搜尋結果的頂部撰寫摘要。較輕、更便宜的模型在每個連結下生成一行描述。試試 Telerik Blazor UI 文件 的搜尋框來實際體驗。
• 基於受眾的模型分配：你面向客戶的外部入口網站需要高品質。而你的內部入口網站（面向員工的知識庫）則可能不需要。根據其用例為每個部署合適的層級。
• 作為配置的提供者切換：因為 Progress Agentic RAG 連接到相容 OpenAI API，這是目前多數主要供應商實施的介面，改變一個體驗所使用的模型意味著更新一個端點，而不是重構檢索邏輯。

以下是每查詢的粗略成本比較（僅供參考，根據當前供應商來自 OpenAI、Anthropic 和 Google 的定價）：

內部入口網站的成本差異達到九倍，而相同的品質員工在降級時不會注意到。

現實檢查：根據重要性選擇合適模型的靈活性，現在非常重要，這意味著根據每個體驗和每個組件選擇合適的模型。自動化的查詢路由動態選擇模型在單一管線中依據敏感性進行選擇是另一種更複雜的能力。Progress Agentic RAG 目前支援每個體驗的模型選擇。為此構建，並為未來的需求調整架構。

當答案品質需求不同的模型

成本是預算談話的話題。品質則是讓代理系統在生產中運行的關鍵。

沒有單一模型主宰所有基準。LMArena 排行榜的排名在每次主要版本更新時都會調整。一個在創意合成上領先的模型，可能在嚴格結構化輸出上表現不佳。一個為臨床筆記進行微調的模型在醫療檢索上表現可能優於通用模型，但在代碼生成方面卻會遇到困難。

在硬編碼的單一供應商管線中，你只能獲得供應商決定這一季他們的模型應該在哪方面優化的結果。這很好，直到你在結構化數據提取步驟中得到的文本不是 JSON 格式，而下游應用預期的是 JSON。失敗不會引發異常。生成器返回的會話文本應用也會愉快地處理為有效格式，直到某晚 2 點出現可見問題，這很久之後一個批處理作業已經產生了幾小時的錯誤輸出。（你的值班輪值肯定不包括模型提供者的支援熱線。）

Progress Agentic RAG 支援數十種 LLM，通過 OpenAI 相容的 API，涵蓋雲端托管、開源、自行托管和區域鎖定的部署。根據任務需求對模型強項進行匹配，而不是強迫任務需求適配你最初選擇的供應商。

你意想不到的架構陷阱

大多數團隊在應用層面思考模型鎖定。而更深層的陷阱卻在數據層。

你的嵌入向量，數值表示用於語義檢索，僅能與產生它們的模型一起使用。當 OpenAI 用 text-embedding-ada-002 替代 text-embedding-3-small（價格五分之一，更好的準確性時），依賴於舊模型的團隊面臨全面的重新嵌入遷移。新向量在數學上與舊向量不相容。你不能部分遷移。每個文檔都要從頭開始重新嵌入。只保留向量，而不是源文檔的團隊，會發現「危機」在這種情況下的意義。

以下四個做法可以防止這成為你的問題：

1. 使用抽象層，例如 LangChain、LlamaIndex 或內部包裝器。應用代碼永遠不應直接與供應商 API 通訊。當模型變更時，你的代碼庫中只有一個地方改變，而不是每個代理。
2. 採用模型上下文協議 (MCP)，這是由 Anthropic 在 2025 年 12 月捐贈給 Linux 基金會的 Agentic AI 基金會並且被主要模型提供商採用的開放標準。MCP 標準化了代理如何連接到工具和數據源，將工具邏輯與模型選擇解耦。
3. 通過將原始源文檔保存在版本控制的存儲中來解耦你的嵌入策略。這將潛在的危機轉變為計劃的遷移。
4. 在配置中鎖定備用模型，以便供應商事件變成配置標誌，而不是緊急工程的部署。

關鍵洞察：切換窗口是嵌入鎖定的真正成本。不是重新嵌入的計算；而是在遷移期間運行平行向量存儲，以及驗證檢索質量以與新的嵌入空間相符而不降低生產質量。

數據主權：靈活性變成槓桿

在受監管行業中，模型的靈活性不再是一個選擇，而是法律要求。
健康保險可攜性與責任法案（HIPAA）要求任何處理受保護健康信息（PHI）的服務簽署商業夥伴協議（BAA）。許多消費者 AI 平台明確禁止在服務條款中處理 PHI。如果你的代理型 RAG 管線檢索到包含 PHI 的文檔，而這在大規模運營中基本是符合預期，那麼處理推斷的模型必須來自受 BAA 覆蓋的提供者。非顯而易見的失敗模式：PHI 存在於檢索的區塊中，而不僅僅是用戶的查詢。必須對雙方進行分類。

金融服務團隊在 FINRA 17a-4 和GDPR 第44至49條下面臨類似的約束。一個來自美國托管模型的歐盟客戶查詢即使在基礎數據沒有跨越大西洋的情況下也可能是違規的跨境傳輸，因為該模型在推斷過程中處理個人數據。審計員了解這一點。你的架構也應該這樣。

Progress Agentic RAG 允許你通過配置將一個體驗鎖定到自托管或區域特定模型：將歐盟用戶流量路由到歐盟托管的端點，將包含 PHI 的知識庫路由到自托管的部署。根據每個體驗的使用者和接觸的數據選擇每個體驗的模型，然後選擇符合你合規立場的基礎設施和數據處理協議的提供者。在設計階段選擇靈活性是一個短期投入；在審計發現後進行改裝則是職業生涯的事件。

在別人審計之前審核你的 LLM 開支

找到模型靈活性發揮效用的最快方法是查看你當前的體驗支出。哪些介面正在收取用戶無法感知的前沿品質費用？哪些組件在以合成價格運行模式匹配任務？

從Progress Agentic RAG 模型參考開始，將每個體驗對應到其流量所合理的模型層級。現階段為選擇性建設，或者排練下一次棄用通知發佈時你將要進行的會議。

常見問答

1) 在代理型 RAG 系統中，「LLM靈活性」實際上是什麼意思？

這意味著你可以在不重寫檢索和協調邏輯的情況下更換 LLM 供應商/模型，並且你可以為體驗的不同部分選擇不同的模型（例如，為最終合成選擇高品質模型，為輕量級步驟（如摘要、評分或分類）選擇便宜的模型）。在實際操作中，這通常通過相容 OpenAI 的端點和/或抽象層（LangChain/LlamaIndex/自定義包裝器）來實現，因此「模型選擇」只是配置，而不是代碼的手術。

2) 為什麼模型鎖定對嵌入特別痛苦（不僅僅是聊天/完結）？

因為你的向量存儲僅能在單一嵌入空間內進行比較。如果你更改嵌入模型，通常無法混合舊向量和新向量來期望檢索可以正常運作——所以你將面臨全面重新嵌入以及遷移/驗證的時間窗口。真正的風險不在於計算成本；而是運營上的切換：運行並行存儲，驗證檢索質量，並在遷移期間避免降低生產質量。

3) 什麼時候我應該為前沿模型付費——什麼時候是浪費？

當用戶可見的輸出依賴於微妙的合成（外部的、面向客戶的答案；敏感或高風險的輸出）時就應該付費。對於代理循環內的「結構化」或重複步驟（查詢拆解、文件評分、連結描述、幻覺檢查）通常是浪費的，因為較便宜的模型可以表現得足夠好。根據體驗（外部與內部入口網站）以及組件（摘要與摘要片段）拆分模型通常是減少開支而不損害可感知質量的最快方式。