跳到正文
IFAI

AI工具

Eon 推出 Yukon 資料引擎:秒級為 AI 整理資料,算力比 Spark 省 75%

首次發布 傳播指數 41

Eon 推出無伺服器資料引擎 Eon Yukon,能將即時傳入的資料秒級整理為去重、壓縮的 Iceberg 表格供 AI 智慧體呼叫。在相同新鮮度下,其算力消耗僅為 Spark 的四分之一、Flink 的七分之一,還支援通過 MCP 提供列級監控。這意味著團隊不用再維護笨重的資料流水線,就能低成本餵飽智慧體。

現在很多團隊在讓 AI 智慧體幹活時,都會撞上一堵無形的牆:模型寫程式碼只要幾分鐘,但給它喂新鮮、乾淨的資料,卻得折騰好幾天。

Eon 剛剛推出了一個名為 Eon Yukon 的無伺服器資料引擎,目標很明確,就是要把傳統的笨重資料流水線拆掉,在秒級時間內把亂七八糟的傳入上下文直接收拾成乾淨的資料表。

按照 Eon 的說法,在每秒 100 萬條事件的處理壓力且保持同等資料新鮮度的前提下,Yukon 消耗的算力大約只有 Apache Spark 的四分之一,以及 Apache Flink 的七分之一。他們甚至把基準測試專案 ingest-bench 公開在網上,讓大家自己跑分驗證。

別再用做報表的工具來喂 AI 了

Eon 團隊直言,目前行業裡阻礙 AI 落地的大瓶頸其實不是模型智商,而是資料基礎設施。

現在大家手裡用的 Spark 和 Flink,本質上是多年前為了商業報表和大屏看板設計的架構。為了應付業務高峰,團隊必須長期養著龐大的計算叢集,還得把資料機械地分成銅層、銀層、金層,每一道工序都要存一份副本。

這些流水線靠著工程師手動寫指令碼、用編排器拼湊維護,稍有變動就會報錯。寫程式碼的 AI 確實能在幾個小時內交付新應用,但根本不敢碰這種脆弱的資料管道,因為代價太高了。

Yukon 的做法是把資料的攝取、處理和對外提供服務直接打通成一條連續流,不再需要中間一堆膠水層基礎設施。

原始事件流進入系統後,幾秒內就會被整理成已排序、壓縮和去重的 Apache Iceberg 表格。同時,內建的即時聚合引擎會全託管狀態,直接在鏈路中完成統計運算。

下游應用或 AI 智慧體拿資料也很靈活,既可以通過亞毫秒級延遲的 Redis 相容 API 快速讀取,也能走相容 SQL 和 Spark 的查詢引擎。

更有意思的是,Yukon 還支援通過模型上下文協議(MCP)向智慧體直接暴露即時的列級統計資訊,加上內建的資料取樣和最小化機制,讓 AI 能即時「看清」資料結構,而不是盲人摸象。

為什麼重要

我們認為,Yukon 踩中了一個極其精準的痛點:AI 智慧體是動態決策的,它不能忍受跑批處理產生的小時級延遲,更無法承受運維幾套分散式計算叢集的人力負擔。

對於正在構建即時智慧體、自動化客服或動態風控的開發者來說,Yukon 最大的吸引力在於輕量化和極低的基礎設施維護成本。你不再需要專門養一個大數據團隊去調優 Flink 的記憶體或處理 Iceberg 小檔案合併,資料進來直接就是能查的表格,甚至還能通過 MCP 讓智慧體自主理解欄位分佈。

從資料基建的競爭線來看,這給傳統的全家桶資料湖方案提了個醒。過去的現代化資料棧(MDS)拼圖太多太碎,每一層都在搬運資料。Yukon 這種從底層重寫流式處理、端到端一體化的設計,顯然更符合智慧體時代對極速反饋的需求。

不過,要在企業核心業務中徹底替換 Spark 或 Flink,依然沒那麼輕鬆。大部分大廠的現有業務深度綁定了複雜的存量業務邏輯與定製 UDF,Yukon 的 serverless 架構在大規模複雜長事務或極度定製化的離線分析場景下表現究竟如何,還需要經歷真實惡劣環境的檢驗。但無論如何,把資料處理成本砍掉四分之三並讓 AI 即拿即用,絕對是一條值得現在就去嘗試的技術路線。

來源 (1)

  1. [1]
    x.com(在新分頁開啟)原文x.com

每日 AI 內容精選