
百萬 Token 上下文視窗時代,Agents 還需要 RAG 嗎?
架構審查會議上,有人正在閱讀 AI 供應商宣布最新模型的文章。標題主打的數字是 context window:一百萬個 tokens,足以讓你在一個問題中放入整個文件庫。接著問題來了:如果模型什麼都能讀,為什麼還要花錢請工程師維護 retrieval-augmented generation (RAG) 層?
這一層會把文件切成多個區塊,讓 embedding model 將每個區塊存入可搜尋的索引,再只把與問題相符的區塊交給模型。這樣做現在還值得嗎?
這麼大的 context window 確實很有用。不過,如果每個問題都把整個文件庫餵給模型,你就無法再掌控答案的成本,也難以判斷答案有多值得信任。而且,你還會被目前使用的供應商綁住。
一百萬個 tokens 的 context window 實際能帶來什麼?
先從模型供應商做對的地方談起。Gemini 從 2024 年起就提供一百萬個 tokens 的 context window,後來更提升到兩百萬個 tokens。Claude 則在 2025 年推出 beta 版的一百萬個 tokens context window。這些數字代表能放入多少文字,但模型實際能使用其中多少內容,是另一個問題。
設計系統時,不該只看供應商宣稱的大小。模型能容納多少內容,與它能從多少內容中準確回答,是兩回事。NVIDIA 的 RULER 測試會持續增加提示的長度,並檢查模型是否仍能找出埋藏其中的資訊。
模型維持準確度的長度稱為 effective context,通常只是宣稱的 context window 的一小部分。Stanford 的研究人員描繪了這項失效模式,指出模型能順利讀取長提示的開頭和結尾,但在中間部分的表現會明顯變差。
模型不會在超過這個界線時提醒你。把一份 100 頁的合約交給 agent,它可能信心十足地引用第 2 頁和第 99 頁,卻直接略過第 45 頁的賠償條款。回覆看起來沒有任何錯誤,只是漏掉了法務團隊最在意的段落。
一百萬個 tokens 的 context window,單位經濟效益如何?
你的工程師會爭論準確度,CFO 則會關心成本,而其中涉及的金額可能比多數團隊預期的更高。
AI 供應商會按照 tokens 計費,輸入和輸出都一樣;但兩種做法的差異在於輸入,也就是每個問題都要一併傳送多少文字。使用者向你的 agent 提問後,retrieval 會搜尋索引,只傳送找到的段落。完整 context 的提示則會傳送你擁有的所有文件,下一個問題又再傳一次。Google 的 Gemini API pricing 顯示,Gemini 2.5 Pro 的輸入 tokens 在 200,000 個以內時,每百萬個 tokens 收費 1.25 美元,超過後則為 2.50 美元。只傳送你儲存內容的 1%,就能少傳一百倍的 tokens;而長提示的額外費用會讓差距接近 200 倍。
Prompt caching 可以抵銷部分成本:供應商會保留你的文字,當相同文字再次傳送時大幅降低收費。每個 token 的價格雖然下降,但你仍然得在每次請求中傳送整個文件庫,而保存更多內容也會增加成本。
接著,將每個問題的差異乘上 agent 執行的回合數。Agent 很少一次就能回答:它會先規劃、呼叫工具、讀取結果,再次規劃,並在每個回合重新傳送整段對話。這個循環就是 agent loop;回合數夠多之後,價格差異會在基礎架構帳單上形成獨立的支出項目。
小提醒:除了模型本身,也要計算 agent loop 的成本。每個回合都會重新傳送歷史內容,因此到了第 20 回合,一開始的 context 已經被計費 20 次。Prompt caching 能取回其中很大一部分成本,因此估算時應採用快取後的價格。
為什麼維持供應商中立,仍然應該採用 retrieval?
成本和準確度可以衡量,也可以重新檢視。供應商中立則是在選定架構時做出的決定,而能只擷取回答問題所需段落的 retrieval 層,正是保留選擇空間的關鍵。
RAG 架構會使用兩個模型,而這兩個模型並不具備同等程度的可替換性。替換負責撰寫答案的模型,成本通常不高;但替換 embedding model,也就是將文件轉換成可搜尋形式的模型,就代表必須從頭重建索引,因為一個模型產生的數值,對另一個模型沒有意義。
快取會讓供應商綁定更加深。Anthropic 的 prompt caching 可讓重複讀取的費用降低約 90%,但前提是提示開頭必須逐字元完全相同,而且只適用於上次使用後約五分鐘內。只要在最前面放入每次請求都不同的使用者 ID,折扣就會消失。每家供應商的快取方式都不同,因此針對某家供應商折扣設計的提示,換到下一家時就必須重新打造。
只有在你有理由離開時,這件事才會變得重要;但模型市場的變化速度,往往快過任何架構修訂的速度。Z.ai 的 GLM-5.3 提供一百萬個 tokens 的 context window,而 Kimi API Platform 列出的 Kimi K3 輸入價格為每百萬個 tokens 3.00 美元。這兩者在一年前都不在多數人的候選名單上。Retrieval 層能保留這扇門,因為它不在乎是哪個模型讀取這些段落。而且,選擇不一定由你決定。採購部門可能會在合約中指定競爭供應商,並設定切換期限。
什麼是兩步驟 reference pattern?
要保持更換供應商的自由,就會導向一種分成兩步驟的設計。第一步,retrieval 將問題縮小到能回答它的段落。第二步,模型在這些段落之間進行推理,而大型 context window 則提供足夠空間。
有一種情況不適合採用這種設計:你儲存的內容少且穩定,但答案需要串聯散落在所有內容中的線索。這時應該直接載入全部內容,因為 retrieval 可能找不到正確段落,並在沒有留下遺漏紀錄的情況下,交回一個看似自信、其實錯誤的答案。多數企業 agent 屬於另一種情況:文件庫每週變動,且每天要處理數千次查詢。
在其他情況下,retrieval 能做到的不只是提供原始區塊。RAPTOR 會先摘要相關區塊群組,再摘要這些摘要,因此寬泛的問題可以擷取一份摘要,狹窄的問題則能擷取精確的區塊。
這種兩步驟設計能帶來:
更換 AI 供應商時,只需修改設定,再進行一輪答案品質測試。
記錄每個答案所使用的段落,並讓帳單金額與實際傳送的內容相符。
這就是為什麼像 Progress Agentic RAG 這類平台,會把更大的 context window 視為容納 retrieval 結果的額外空間,而不是取代 retrieval。
參考架構應該包含什麼?
將 retrieval 與撰寫答案的模型分開,這樣兩者都能在不影響彼此的情況下替換。記錄問題如何送入、回傳了什麼,並讓每個段落都標註來源以及建立索引時使用的 embedding model。替換模型時,這些紀錄能告訴你哪些索引必須重建,哪些則可以保留。
Retrieval 層的另一項工作是存取控制。若把所有內容都放進 context window,任何提出問題的人都能取得模型看得到的所有內容。你現有的系統應該已經記錄誰可以讀取哪些資料,因此 retrieval 層應該檢查這些權限,而不是複製一套權限。
在測試之前,這些都只是理論。請思考:如果下季更換 AI 供應商,什麼會出問題?在 retrieval 層修改一項設定並不困難;但重新處理所有文件,再重新檢查 agent 過去提供的每個答案,就不是可以輕鬆安排的工作。
因此,下一次 AI 模型公告再次將 context window 擴大一倍時,你在架構審查會議上的答案不必改變。Context window 決定模型一次能讀多少內容;你的 retrieval 層仍然決定它要讀什麼、成本是多少,以及由哪家供應商的模型來讀取。
FAQ
文件集合既然放得進 context window,還需要 retrieval 嗎?
放得進去,與能準確讀取,是兩回事。模型能可靠處理的長度通常遠短於供應商宣稱的 context window,因此即使文件放得進去,也可能太長,導致模型無法可靠地回答問題。
更換生成模型供應商時,實際上會壞掉什麼?
使用 retrieval 層時,只需要更換兩項內容:呼叫模型的程式碼,以及提示格式;兩者都容易測試。如果依賴完整的 context window,問題就會在你無法安排的地方發生,因為每家供應商的快取方式不同,而你的提示也已針對某個模型閱讀長文本的方式進行調整。

