應用程式交付控制器在人工智慧基礎架構中扮演什麼角色？
人工智慧正在改變應用程式的工作負載，但使用者的期待並沒有改變。隨著需求成長，AI 應用程式仍必須維持高可用性、快速回應與安全性。
每一個聊天機器人、Copilot、推薦引擎、檢索增強生成（RAG）應用程式與推論服務的背後，都有一層應用程式交付層，負責將使用者與系統連接至正確的資源。如果這一層速度變慢或無法使用，那麼對使用者而言，模型品質再好也沒有太大意義。
隨著組織持續擴大 AI 應用，應用程式交付控制器（Application Delivery Controller，ADC）可為 AI 應用程式與服務提供具韌性的基礎架構。
AI 改變的是工作負載，而不是對可用性的需求
AI 應用程式會帶來傳統企業應用程式可能不需要面對的基礎架構需求，尤其是在相同規模下更是如此。
推論流量可能難以預測，使用者活動、自動化流程，或多個應用程式同時使用相同模型，都可能造成突發性的流量高峰。不同請求在處理需求、回應時間，以及後端運算資源的使用量上，也可能存在顯著差異。
同時，AI 環境正變得越來越分散。模型、推論服務、API、資料來源與儲存平台可能分布在地端基礎架構、公有雲、私有雲、容器或邊緣位置上執行。
儘管存在這些差異，基本需求仍然相當熟悉：
- 使用者需要能夠穩定存取 AI 服務。
- 請求必須送達健康且可用的端點。
- 基礎架構必須能因應突發流量。
- 發生故障時，不應中斷關鍵服務。
- API 與應用程式端點必須受到保護。
- 維運團隊需要掌握服務健康狀態與效能的可視性。
這使得應用程式交付成為 AI 架構中不可或缺的一部分，而不只是部署完成後才額外考量的基礎架構項目。
為什麼 ADC 在 AI 基礎架構中如此重要？
ADC 在使用者或應用程式與處理其請求的服務之間，提供一個智慧化的控制點。AI 環境包含推論伺服器、AI API、模型驅動的微服務、資料管線，以及其他應用程式元件。
透過檢查服務可用性，並將請求分配至適合的資源，ADC 可協助避免個別伺服器或端點發生過載。當服務無法使用或開始出現效能劣化時，也能將流量重新導向其他資源。
Progress® Kemp® LoadMaster® 解決方案提供第 4 層至第 7 層的應用程式交付、進階健康狀態檢查、應用程式感知流量管理，並支援混合雲、多雲、邊緣運算及 Kubernetes 環境。
隨著 AI 服務擴展至不同的基礎架構模式，這些功能可協助組織維持一致的應用程式交付層。
ADC 可支援 AI 服務的多項重要需求。
1. AI 應用程式的高可用性
AI 應用程式可能逐漸成為客戶體驗、員工生產力、資料分析及自動化業務流程中不可或缺的一部分。當推論端點或支援服務發生故障時，ADC 可以停止將流量導向受影響的資源，並將請求轉送至其他健康的替代資源。
進階健康狀態檢查可識別服務故障與效能劣化，協助基礎架構團隊在個別元件發生問題時，仍能維持應用程式的正常存取。LoadMaster 解決方案也支援高可用性（HA）架構與全域伺服器負載平衡（Global Server Load Balancing，GSLB），為跨多個站點、資料中心及雲端環境提供韌性。
2. 智慧化流量分配
AI 請求並不一定完全相同。有些請求可能需要更高的處理能力、存取特定 API，或連線至特定位置的服務。
應用程式感知流量管理可根據端點健康狀態、服務行為及應用程式需求等因素進行交付決策。LoadMaster ADC 可在 AI 工作負載與推論端點之間進行流量路由與最佳化，同時利用健康狀態資訊避開無法使用或效能劣化的服務。
這有助於組織更有效地運用基礎架構，同時在需求變動期間維持一致的使用體驗。
3. AI 工作負載的資源感知負載平衡
AI 服務對基礎架構有其獨特需求，因為並非所有後端資源在任何時間點都具有相同的可用容量。某台伺服器可能處於健康且上線的狀態，但由於 GPU、CPU 或記憶體使用率過高，已經接近其效能極限。
在這類環境中，單純將流量平均分配至可用伺服器，未必能提供最佳的使用者體驗。進階應用程式交付解決方案可以根據即時資源使用狀況進行路由決策，將請求導向具有最多可用容量的後端系統。
這種資源感知方式有助於最佳化 AI 推論效能、防止資源瓶頸、提升應用程式回應速度，並充分發揮高成本 GPU 基礎架構的使用效益。透過同時考量工作負載狀況與服務可用性，組織可隨著 AI 需求規模擴大，提供更加一致的效能。
4. 混合雲與多雲環境的韌性
AI 很少只在單一環境中運作。組織可能在雲端訓練模型、在地端執行敏感的推論工作負載、於邊緣環境部署服務，並透過容器化 API 提供相關功能。
這種分散式模式會帶來應用程式交付方面的挑戰。無論各個元件在哪裡執行，使用者與系統仍需要可靠地存取這些服務。
LoadMaster 解決方案支援部署於硬體、虛擬化基礎架構、公有雲與私有雲、多雲環境、Kubernetes 及邊緣位置。這讓組織能夠建立更一致的應用程式交付政策，而不需要針對每一種環境重新設計交付架構。
5. 保護 AI API 與應用程式
AI 服務通常高度依賴 API，因此這些介面也成為組織攻擊面中的重要部分。
在應用程式交付層部署安全控制機制，可協助組織在請求抵達後端服務之前進行檢查與管理。LoadMaster 解決方案包含 Web 應用程式防火牆（WAF）與防護、身分驗證、存取控制、TLS 管理，以及針對應用程式與 API 的流量檢查等功能。
這些控制機制無法取代完整的 AI 安全與治理策略。然而，它們可以強化應用程式交付路徑，並協助降低 AI 應用程式及其支援 API 的曝險程度。
更多功能並不一定代表更好的成果
隨著企業對 AI 的興趣持續增加，部分供應商開始將應用程式交付、模型存取、AI 治理、安全性、成本管理及基礎架構管理整合至大型綜合平台中。
對某些組織而言，這種平台化方式可能相當合適。但對其他組織而言，這可能會導入超出當前實際需求的功能、整合項目及維運責任。
在選擇 AI 應用程式交付策略之前，基礎架構團隊應考量以下幾個實際問題：
- 我們主要需要的是 AI 應用程式與 API 的可靠交付嗎？
- 我們真正需要哪些 AI 治理與安全功能？
- AI 工作負載是否正在改變我們對負載平衡的需求？
- 該平台能否整合至我們現有的架構與維運模式？
- 所提出的平台功能中，我們實際會部署並主動管理多少？
- 隨著 AI 策略持續演進，該解決方案是否能保有部署彈性？
目標不應該是取得數量最多的功能集合，而應該是建立一套能夠滿足維運需求，同時避免產生不必要複雜度的架構。
聚焦於 ADC 的策略，可讓組織強化 AI 服務的可用性、效能、韌性與防護能力，同時繼續使用最符合自身環境需求的安全、治理、可觀測性及模型管理工具。
先建立應用程式交付基礎
AI 模型與相關支援技術將持續演進。隨著組織從初期概念驗證（PoC）逐步擴展至正式上線的應用程式，基礎架構策略也將隨之改變。
應用程式交付基礎必須能夠隨著這些技術與部署模式一同演進。
這個基礎應能支援服務在任何位置執行、智慧化分配流量、因應故障、保護對外開放的應用程式與 API，並提供維持可靠效能所需的維運可視性。
Progress Kemp LoadMaster 負載平衡器可協助組織在混合雲環境中，交付具備高可用性與安全性的應用程式、API 及 AI 基礎架構。透過彈性的部署選項、進階流量管理、健康狀態檢查、安全功能，以及由 LoadMaster 360 提供的集中式維運洞察，組織可以支援 AI 應用，而不必為每一項基礎架構需求都採購一套大型綜合平台。
為 AI 建立更具韌性的應用程式交付基礎
了解 Progress Kemp LoadMaster 解決方案如何為跨混合雲與多雲環境的 AI 工作負載及 API，提供智慧化流量管理、高可用性與應用程式防護。
文章來源: What is the Role of an Application Delivery Controller in AI Infrastructure?
