美國三藩市初創 TypeSafe AI 推出了一款名為 Jev 的系統一模型(system‑one model),提供快速、結構化的決策,可供軟件直接使用。Jev 與傳統的大型語言模型(Large Language Model, LLM)不同,Jev 不生成文字,而是專注於分類任務,推理比傳統 LLM 速度高 200 倍,成本降低 400 倍。

TypeSafe AI 的創辦人是前 OpenAI 研究員、強化學習人類回饋(Reinforcement Learning from Human Feedback, RLHF)共同發明者 Diogo Almeida ,Jev 主打即時 AI 及自動化決策,一出現即引起巨大迴響。

TypeSafe AI 由前 OpenAI 研究員、Reinforcement Learning from Human Feedback, RLHF 共同發明人 Diogo Almeida 創立,TypeSafe已完成 DCVC 領投4,000萬美元種子輪融資。
TypeSafe AI 由前 OpenAI 研究員、Reinforcement Learning from Human Feedback, RLHF 共同發明人 Diogo Almeida 創立,TypeSafe已完成 DCVC 領投4,000萬美元種子輪融資。

Jev 架構利用並行計算,取代傳統模型的自回歸生成(autoregressive),只輸出具機率與置信度的決策回應,減低產生幻覺,效率與硬件感知方面表現突出。由於省去預測文字序列的計算負擔,TypeSafe AI 收費極低,定價為每百萬標記(token)0.042 美元,約為 GPT‑5.6 Terra 輸入成本的 1/48,而且輸出更加免費。

若把一般 AI 大模型(如 ChatGPT)比喻為作家,用戶提問時逐字寫出回應,邊思考邊產生文字。Jev 既不說話也不寫文章,只會檢視情境,立即判斷出「是」或「否」或「選項 A」或「選項 B」等決策。

System one 等於人類直覺本能反應

「系統一」概念源自人類心理學。大腦有兩種思考模式:系統一(System one)為快速直覺的本能反應,例如有人向臉上拋球時,我們會立刻閃避;系統二(System two)則是需要思考的緩慢推理。大多數對話式 AI 模擬人類的系統二,逐步寫出推理過程;Jev 完全採用系統一,可專為程式碼層面的即時決策服務。

Jev 《Doom》射擊遊戲測試,透過與遊戲底層「結構化程式狀態(Structured Program State)程式碼結合,Jev 平行輸出動作決策機率(前進、後退、切換武器、射擊)每秒作出 10 次決策。
Jev 《Doom》射擊遊戲測試,透過與遊戲底層「結構化程式狀態(Structured Program State)程式碼結合,Jev 平行輸出動作決策機率(前進、後退、切換武器、射擊)每秒作出 10 次決策。

傳統對話式 AI 先讀取大量文字,回應時期待不產生錯誤或格式問題;Jev 完全跳過「說話」階段,只接受資訊,即時回傳軟件可直接讀取的結構化數據。

決策 70 毫秒內完成

因省去文字輸出,Jev 為軟件開發人員帶來兩大優勢:回應速度極快,決策可在 70 毫秒內完成,對用戶而言感覺即時;成本極低,僅回傳單一選項或數值,所需計算資源僅為一般 AI 的極小部分。

Jev 適合延遲極低、動作離散,且不需長期策略推理的高速結構化決策。因為跳過傳統大型語言模型(LLM)逐標記生成的瓶頸,可以處理數據陣列,並直接輸出 JSON(JavaScript Object Notation)或列舉變數, 70 至 500 毫秒內完成動作,可以用於多代理級聯迴路(multi‑agent cascading loops)專門決策層(類似LangChain),而不是取代完整大型語言模型,也可以作為embedded AI、機械人與無人機(drone)的「大腦」。

要驗證上述的場景,Jev 在多項遊戲中驗證,包括《Subway Surfers》或模擬無人機障礙賽,展示出超越人類玩家速度與反應能力。以無人機模擬器遙測數據為例,Jev 能在 70 至 500 毫秒內輸出飛行控制決策,平均延遲為 200 至 250 毫秒每次決策。

傳統語言模型在毫秒級回饋迴路中,反應過於緩慢且成本高昂,難以支援流暢物理運動與障礙迴避。Jev 高速度分類器解決了問題。

《Doom》射擊遊戲表現出色

Jev 的測試包括在《Doom》射擊遊戲,透過與遊戲底層「結構化程式狀態(Structured Program State)程式碼結合,每秒作出 10 次決策,端到端延遲 70~500 毫秒,推理運算成本每小時僅 7 美元,低得驚人。Wikiracing 遊戲測試中,Jev 從維基百科頁面開始,透過點擊鏈接到達特定目標頁面。每一步可涉及從數百到數千個鏈接選擇,Jev 超越了文字生成 LLM 步數效率,快速完成任務,完全消除鏈接幻覺。

Jev 執行動作前先進行分類;可將用戶產生文字作為「狀態」傳入,詢問 Yes/No(是/否)問題,例如「此訊息是否具騷擾或濫用性?」執行時間低於 150 毫秒,Jev 甚至能即時標記或阻擋有害聊天訊息,防止傳播給其他用戶。

Jev 的特點在快速決策與低成本,直接提供結構化決策,大幅提升效率;並行生成所有輸出,處理大量數據時表現出色。

然而 Jev 剛剛推出,即面臨開源競爭模型 Laya 的挑戰。開源 Laya 聲稱吞吐量更高,推理速度為 Jev 的 8 倍,成為零成本 API 替代方案。

儘管 Laya 吞吐量表現出色,Jev 效率與硬件感知方面表現突出,根據一組類型化問題,立即返回概率性決策與置信度分數,決策可被原生程式碼直接使用,無需複雜解析,支援確定性格式化與並行處理,適合需要快速決策的金融交易、風險控制與大數據推薦、機械人和具身智能(embodied AI)等應用場景。隨著 Jev 持續改進與擴展應用場景,未來應用場景廣闊。