隱藏的「第二波 AI 稅」以及模組化 Agentic RAG 如何有效防治
大多數企業的 AI 旅程都是從單一且具高影響力的應用案例開始。通常是一個聊天機器人、內部 Copilot（AI 助手）或知識助理。其目的是為了進行概念驗證（POC），並證實 AI 如何帶來投資報酬率（ROI）。在大多數情況下，這種做法既快速又高效，且完全符合預期。
然而，那些讓 AI 試點計畫（pilots）取得成功的捷徑，當你試圖擴展到初始應用案例之外時，往往會變成包袱。隨著 AI 的實驗轉化為營運上的必然要求，這些捷徑會使基礎架構面臨沉重負擔，並導致您的成本飆升。
為什麼會這樣？早期的部署通常是各自獨立的。每個團隊都會建立自己的資料引入管線（ingestion pipelines）、索引策略（indexing strategies）、嵌入生成工作流（embedding generation workflows）以及檢索組態（retrieval configurations）。當各部門獨立導入 AI 時，重複建置的情況就會成倍增加，形成各自獨立的向量資料庫（vector stores）、重複的治理審查、孤立的大型語言模型（LLM）整合以及冗餘的微調工作。
此外，每個部門獨立的 AI 實驗也需要維護；隨著 AI 應用的增長，您還會需要一個評估層來確保品質與效能。如果您決定加入外部網頁搜尋，則需要額外的工程時間並納入治理。當新模型發布時，您又必須重新構建管線，這奪走了投入重要策略性專案的時間。
根據麥肯錫（McKinsey）的數據，目前已有 65% 的企業在至少一個功能部門中使用生成式 AI，幾乎是前一年的兩倍；而更廣泛的 AI 導入率已從 2022 年的 50% 飆升至 2025 年的 88%。在已達到有限規模或全規模成熟度的企業中，有將近 30% 已經將 AI 代理（AI agents）整合到其營運中。
在這樣的導入速度下，只有那些已經為企業級 AI 擴展奠定「模組化基礎」的組織，才負擔得起隨之而來的成本。
在這篇部落格中，我們將探討為什麼 AI 成本在初期取得成功後會如此迅速地增加，以及如何透過模組化的 Agentic RAG 方法，將孤立的試點計畫轉化為企業 AI 可擴展且永續的基石。
重複建置、廠商綁定與破碎的治理
隨著 AI 部署在各個功能部門中成倍增加，分散式架構與去中心化管控所帶來的隱藏成本已讓人無法忽視。讓我們來檢視這些成本究竟是什麼。
每個應用案例獨立建置管線的架構
在許多企業中，每增加一個新的 AI 助理，都是以自己孤立的技術棧（stack）來建置。在這種「每個應用案例獨立建置管線」的模式下，每個聊天機器人、Copilot 或知識代理都有自己專屬的引入工作流、索引組態和檢索邏輯。
這意味著每當有新的 AI 專案時，都必須對相同的企業資料進行重新引入與重新索引。也就是說，必須重新計算所有的嵌入（embeddings）並複製向量資料庫。這同時還需要重寫檢索邏輯，導致運算成本和營運開銷呈現爆炸式成長。
團隊並沒有在共享的知識基礎上進行開發，而是反覆重新建置，並為相同的資料處理多次付費，導致成本迅速飆升。
硬編碼（Hard-Coded）的 LLM 依賴
早期的 RAG 實作通常會將特定的 LLM 直接緊密整合到應用程式邏輯中。雖然這在初期可以加速實現價值的時間，但也限制了靈活性。結果是，模型定價或治理要求的任何變更，都會引發重大的營運中斷。
此外還有成本問題。某些 LLM 的價格可能貴上 10 倍，但給出的答案品質卻大同小異。更何況，模型隨著時間會過期淘汰。例如，GPT-4 宣布了除役日期——當您的 AI 體驗所使用的 LLM 停止服務時，該怎麼辦？
AI 模型的更迭速度引入了一種全新風險。新模型频繁發布，通常能以更低的成本提供更好的效能——但被鎖定在單一供應商或模型中的企業，卻無法享受這些紅利。
此外也存在生命週期風險。當供應商淘汰模型時（正如我們近期看到的 GPT-4.0 變體除役），依賴該 LLM 的工作流可能會中斷，或需要付出高昂代價進行重構。與此同時，定價差異極大。某些模型比其他替代方案貴上 10 倍，但對特定應用案例帶來的改善卻微乎其微。
為了因應這種波動性，企業需要具備切換模型、控制成本以及在 AI 格局演進時確保業務連續性的靈活性。
治理與安全機制的重新建置
在許多組織中，每個新 AI 系統都有自己獨立的存取權限控制與原則規則。這種重複建置對許多大型企業來說是完全無法接受的。然而，因為想要快速推進，他們往往忽視了隨之而來的成本與風險。
每部署一個新的 AI 代理就重新建置一次治理機制時，不一致性就會浮現，監管也變得更加複雜，使系統更容易受到安全事件的威脅。根據 IBM 的數據，全球資料外洩的平均成本高達 488 萬美元。
將重複建置降到最低有助於控制成本並降低風險，但這需要建立一個集中式的知識層，以便能夠支援多個 AI 代理、工作流和應用案例。
集中式、模組化知識層如何支援可擴展的 AI 部署
隨著 AI 導入蔓延到整個企業，核心目標是確保每一次全新的 AI 體驗都能建構在共享的基礎架構之上。
引入一次，多次使用
模組化的 Agentic RAG 將資料引入、正規化（normalization）和索引進行集中化管理，因此企業資料只需處理一次，即可重複使用多次。
各團隊無需建立自己的管線，而是利用共享的知識層和統一的框架來解析文件、豐富元數據（metadata）、生成嵌入並索引資料。這也創造了一個共享的「客觀現實」，AI 可以從中提取相關知識並生成準確的答案，同時大幅降低幻覺的風險。
有了這個基礎，團隊就可以在現有的基礎架構上推出全新的 AI 體驗，而不必從頭開始重新建置。例如：合規助理（compliance assistant）、銷售 Copilot 和工程知識機器人，全都可以基於相同的已索引資料運行。冗餘的運算成本隨之消失，新 AI 計畫的部署時間也從幾個月縮短到幾天甚至更短，這全是因為基本的底座已經存在。
檢索流於組態配置，而非重新構建
不同的部門需要不同的檢索策略。例如，合規助理可能需要優先考慮具權威性的政策文件，並執行嚴格的過濾以降低風險；而工程 Copilot 則可能需要技術文件與規格表，並跨不同的知識庫進行搜尋。
在傳統的 RAG 模式中，這些應用案例的每一個都需要獨立的索引和客製化的檢索邏輯。但在模組化架構中，檢索是可配置的（configurable），團隊可以調整諸如文本切分（chunking）策略、排序邏輯、搜尋權重（關鍵字 vs. 語意）、元數據過濾和模型編排（orchestration）。這消除了為每個應用案例分離資料管線的需求。
團隊還可以隨著時間推移微調排序訊號並優化查詢編排，以獲得更好的結果，且完全不會動搖到底層的基礎架構。
無需資料複製即可實現特定受眾的體驗
集中式的知識層能讓多個量身定制的 AI 代理在同一個信賴的資料基礎上運行。銷售、工程、人資、合規和營運部門都可以擁有特定角色的 AI 體驗，並具備相應角色的存取控制與過濾機制。此外，同步代理（sync agents）會自動從底層的知識儲存庫（如 SharePoint、Google Drive 或 Dropbox）中引入並更新資料，這進一步減少了人工介入的需求。
藉由單一知識層，治理變得更簡單，更新也可以自動傳播到所有的 AI 體驗中。當引進新的 AI 代理時，它們繼承的是一個成熟且經過優化的知識庫，而不是需要自己專屬的孤立技術棧。
持續優化與長期成本控制
要確保 AI 的效能，就必須看清系統在生產環境中的實際回應表現——而 Progress Agentic RAG 中的「RAG 評估指標（REMi）」便扮演了關鍵角色。
REMi 透過相關性（relevance）、準確性（accuracy）和扎實度（groundedness）等指標，持續測量每個 AI 生成回應的品質，以建立長期效能的客觀視圖。
REMi 還能完整記錄使用者互動，記錄提出的每個問題以及系統的回應。這創造了一個可追溯的歷史紀錄，用以支援微調、稽核與改善。同時，REMi 也能透過追蹤「未答問題」（即系統缺乏足夠知識來回應之處）來突顯落差，讓您能夠主動豐富組織的知識庫並補足覆蓋範圍的缺口。
REMi 讓您不再依賴猜測，而是啟用了一個持續改善的閉環：測量效能、找出弱點並精進知識層。結果是，AI 系統的準確性、可靠性和實用性會隨著時間推移持續提升，而不需要不斷進行重新工程。
Progress Agentic RAG 如何防治「第二波 AI 稅」
Progress Agentic RAG 旨在透過將「知識編排」與「個別 AI 體驗」分離，來防治「第二波 AI 稅」。這種方法在以下幾個方面與傳統 RAG 截然不同：
- 模組化設計（Modular by Design）： Progress Agentic RAG 是定位為可配置的知識編排層，而非固定的 RAG 管線。它使團隊能夠從集中式的資料管線中建立多種 AI 體驗，並依據工作流配置檢索策略。這種方法消除了隨著需求演進而需要進行高昂重新建置的麻煩。
- 檢索控制與持續優化： 團隊可以根據每個 AI 應用案例的需求，去微調混合檢索方法（向量、關鍵字和元數據搜尋），並在不重新索引的情況下調整內容的組織、優先順序和過濾方式。持續的監控與優化可確保知識層隨著時間推移而進步，而不是退化。
- 模型靈活性（Model Flexibility）： 由於 LLM 並未硬編碼（寫死）於架構之中，您可以隨著需求、定價、效能或合規要求的變更來自由切換模型。這保護了長期投資並降低了風險。
- 內建治理與存取控制： 集中式的安全政策保護了跨 AI 應用案例的資料存取。由於治理機制位於檢索層之上，因此可以在不為每個 AI 代理複製安全邏輯的情況下，實現跨部門的安全擴展。
這些能力帶來了顯著的 ROI。在傳統的 RAG 方法中，每個新助理都需要獨立的引入、索引、微調、安全和監控；而 Progress Agentic RAG 則將這些投資平攤到各個應用案例中。
隨著導入規模擴大，推出新 AI 工作流的邊際成本會隨之降低，進而提高了基礎架構的 ROI，因為每次部署都是建立在共享的能力之上，而不是重新複製一套。
架構決定 AI 的經濟效益
當 AI 的支出開始飆升時，在很多情況下，破碎的分散式架構就是罪魁禍首。每當一個新助理需要自己專屬的引入管線、索引邏輯、安全層和編排工作流時，成本和複雜性就會成倍增加。
那些能夠永續擴展 AI 的企業，是那些正在打造一個「可重複使用的知識層」，並將其作為 AI 創新基石的企業。每一次全新的 AI 體驗都建構在共享的能力與基礎架構上，利用現有的投資，同時降低了風險與成本。
AI 將繼續在整個企業中擴展。那麼問題就變成了：您的架構是否能讓下一次的部署，變得比上一次更便宜、更容易？
歡迎立即探索 Progress Agentic RAG 如何協助您在具備主導權、靈活性與長期成本效益的前提下擴展 AI。
常見問題（FAQs）
問：為什麼 AI 成本在初期取得成功後會增加？
答：AI 成本上升是因為早期的應用案例通常是以孤立系統的形式建置，導致隨著導入規模擴大時，資料管線與基礎架構出現重複建置。當越來越多團隊獨立部署 AI 時，企業最終會為相同的資料處理和維護任務重複付費。
問：什麼是「第二波 AI 稅」？
答：當企業試圖超越建立在孤立架構上的初期 AI 試點計畫進行擴展時，成本與複雜性就會大幅飆升。重複的管線與破碎的治理使得每個新應用案例都比上一個更加昂貴，從而形成了所謂的「第二波 AI 稅」。
問：模組化 Agentic RAG 如何降低 AI 成本？
答：模組化 Agentic RAG 將資料引入與索引進行集中化管理，並將治理機制納入一個可支援多個 AI 應用案例的共享知識層中。這讓您可以重複利用基礎架構成本，並根據需要切換模型，同時降低了部署新 AI 應用程式的邊際成本。
