部署最適合任務的晶片

F5 正與NVIDIA 攜手合作，協助確保AI 工廠和雲級AI 基礎設施滿足現代AI 的需求。今天，在NVIDIA GTC Paris 2025上，我們將揭曉部署在NVIDIA BlueField-3 DPU 上的F5 BIG-IP Next for Kubernetes的全新功能，引領創新新紀元。 這是基於我們在2025 年聖荷西GTC 上推出的增強效能、多租戶和安全性。 作為F5應用程式交付和安全平台的一部分，F5 BIG-IP Next for Kubernetes 在NVIDIA BlueField-3上原生運行，這是一款功能強大、可編程的處理器，專為資料移動和處理而設計。

透過卸載網路處理、儲存管理和安全操作（例如加密和流量監控）等任務，DPU 可以釋放寶貴的CPU 週期和GPU 資源，以專注於AI 訓練和推理。 這減少了瓶頸，提高了效能，改善了延遲，幫助AI 工廠更快、更有效率地運行，交付更多的代幣。

DPU 位於網路介面卡上，管理跨伺服器以及外部客戶/用戶/代理與AI 工廠之間的資料流，從而大規模協調網路和安全性。 部署在NVIDIA BlueField-3 DPU 上的F5 BIG-IP Next for Kubernetes 於4 月全面上市。

將AI 提示引導至正確位置，以獲得正確結果

近幾個月來，法學碩士學位課程發展迅速，目前提供各種規模、費用和特定領域的專業知識。 為每個提示選擇正確的模型不僅可以確保更好的回應和法規遵循，還可以優化資源消耗、成本和延遲。

透過如今對NVIDIA NIM 微服務的整合，組織現在可以智慧地將AI 提示請求路由到最合適的LLM 或精確地路由到每個任務的正確模型。 例如，輕量級、節能的模型可以處理簡單的請求，而更複雜或更大、更專業的提示則指向更大或特定領域的模型。

這種方法使AI 工廠能夠更有效地利用計算資源，從而將推理成本降低高達60％。 對於模型提供者和模型使用者來說，獲得更好的回應、更快的速度和更低的成本是雙贏的。

少即是多： 快取消除了冗餘計算並提高了令牌輸出率

除了GPU之外，NVIDIA還在軟體層面不斷創新，以應對AI推理中的關鍵挑戰。  NVIDIA Dynamo  NVIDIA NIM 中包含的KV 快取就是很好的例子。 NVIDIA Dynamo 引入了分解服務進行推理，將不同GPU 叢集中GPU 運算密集的上下文理解（預先填充）與記憶體頻寬密集的回應產生（解碼）分離。 透過高效處理調度、路由和記憶體管理，這提高了GPU 利用率並簡化了跨資料中心的擴展。 KV 快取優化了模型上下文的儲存和存取方式。 透過將常用資料保存在GPU 記憶體中並將其餘資料卸載到CPU 或儲存中，它可以緩解記憶體瓶頸，從而無需額外的硬體即可支援更大的模型或更多用戶。

BIG-IP Next for Kubernetes 的一個強大新功能是支援KV 緩存，這可以加快AI 推理速度，同時減少時間和能源消耗。 結合NVIDIA Dynamo 的智慧路由，基於GPU 記憶體使用情況和其他標準等一些明確的指標，這可以顯著縮短第一個令牌的時間(TTFT)、提高令牌生成率，並最終實現更迅速的吞吐量。 DeepSeek 的容量已提高了10 倍到30 倍。

客戶可以利用F5 可程式性來擴展和調整F5 BIG-IP功能，以極高的效能滿足其精確而獨特的需求。

MCP 的運作與安全保障，以及安全自主的代理AI

對於大多數組織，尤其是大型組織，例如擁有複雜傳統系統的金融服務公司、電信公司和醫療保健公司，代理 AI 具有強大的吸引力。 這些基於 LLM 的AI 代理可以瀏覽複雜的資料庫、伺服器、工具和應用程式以檢索精確的信息，從而實現更高的效率和洞察力。

MCP 由 Anthropic 於 2024 年 11 月推出，它正在改變 AI 系統與現實世界資料、工具和服務互動的方式。 MCP伺服器作為標準化的連接器，使AI模型能夠即時存取 API、資料庫和檔案系統，從而使 AI 超越靜態訓練資料的限制，高效地執行任務。 隨著採用率的成長，這些伺服器需要具有負載平衡、強大安全性、身份驗證、資料和工具授權以及無縫Kubernetes 整合的高階反向代理，從而使 MCP 成為主權 AI 基礎設施和保護及支援代理 AI 的關鍵支柱。