Tetrate 推出技術預覽，助力 GenAI 投資回報評估與風險治理
2025年3月25日，Tetrate 宣布推出其名為“Agent Operations Director”的技術預覽，這款產品旨在協助企業最大化生成式人工智慧（GenAI）項目的投資回報率（ROI），同時提供風險治理。作為動態門戶的領導者，Tetrate 致力於通過自主交通協作為客戶提供支持。
提升 AI 應用效益與效率
Tetrate 的新產品，Agent Operations Director，可為機器學習（ML）基礎設施的團隊與應用開發者提供實時洞察，助其優化 AI 應用的性能並提高工作流程的效率。這一解決方案能夠智能協作大規模語言模型（LLM）的流量，使 ML 基礎設施更加高效。
開放早期訪問計畫
Agent Operations Director 已開放技術預覽，使用者可以通過早期訪問計畫開始進行 ROI 評估及 GenAI 項目的風險治理。它能夠無縫發現、攔截和管理 GenAI 的使用，不對開發進程造成影響，同時還能提供實時資源消耗的可見性，支持企業進行有效的成本分析、預算分配和資源調整。
應對成本管理的迫切需求
在當前環境下，隨著企業越來越多地融入 AI 技術，尤其是在受到嚴格監管的環境中，需要對成本和風險進行更好的管控。許多企業在推廣 GenAI 的過程中面臨著提供 ROI 的壓力，且在價格波動、模型演變和高運營風險的背景下，保持 AI 項目的穩定運行成為挑戰。這種不確定性助長了“暗影 AI”的出現，這些未授權的 AI 使用成為了企業的隱藏成本。
根據 Gartner Research 的報告，2024 年平常的 GenAI 項目投資達到 500 萬美元，但這些項目的成本誤算比傳統基礎設施高出10倍。預計到了 2025 年，30% 的 AI 概念驗證項目可能被放棄。然而，McKinsey 預測，如果企業能有效管理 AI 投資，GenAI 每年可能為各行業帶來 2.6 至 4.4 萬億美元的經濟價值。
Tetrate 的產品組合拓展
此次 Tetrate 推出的 Agent Operations Director 成為其產品組合中的最新成員，旨在為生成 AI 的推理工作負載提供自治流量協作。基於久經考驗的 Envoy AI Gateway 所構建，Agent Operations Director 使 ML 平台團隊和開發者具有適當的可觀察性和控制力，包括：
- 在不干擾應用開發的情況下，自動發現和管理 GenAI 使用。
- 通過應用程序的實時使用情況進行資源分析及預算編製。
- 停止對未許可的模型和供應商的消耗。
- 觀察消費模式，並在不降低質量的情況下，用更便宜的替代品代替昂貴的模型。
- 為避免服務中斷，提供備份以應對供應商中斷。
這款產品尤其滿足了高度監管環境下推理流量協作的需求，包括金融服務、政府及醫療/生命科學應用。
關於 Tetrate
Tetrate 在混合環境中提供高可用性和零信任安全，同時減輕基礎設施和應用開發壓力。我們的動態門戶可自動協作負載的交通，並使用成熟的 Envoy 代理來實現。Tetrate 的產品套件包括 GenAI ROI 和風險治理專用的 Agent Operations Director、多集群 Kubernetes 入口交通管理的 Application Gateway 以及企業服務橋 Service Bridge。此外，我們還為 Istio 和 Envoy Gateway 提供企業級支持和工具。
這些解決方案使企業能夠無縫地發現、連接、安全地優化其微服務，無論其基礎設施或監管需求多麼複雜。
聯絡我們
若有任何媒體聯絡需求，請聯絡 Cristin Connelly（Cathey.co 為 Tetrate 提供協助）[email protected]。