人工智能推理領域再次迎來重磅消息，甚至 iPhone 也將整合這項技術。剛完成 Khosla Ventures、Cerberus Capital 和加州理工學院領投的 1,625 萬美元種子輪融資的 PrismML 推出了具驚人壓縮能力的大模型。Khosla Ventures 行政總裁 Vinod Khosla 稱「這是一項數學上的突破，不僅是一個小型模型」，估計將在 LLM 邊緣推理產生巨大影響。
Bonsai 27B 模型源自 Qwen 3 27B，由 PrismaML 推出，這是一家開發了壓縮大型 AI 模型的數學技術的 AI 初創公司。該模型為在記憶體和計算資源有限的設備上運行大型機器學習模型提供了實用解決方案。本地亦可簡單設置和運行 Bonsai 27B 模型的過程，即使在只有 10 GB RAM 的設備上也能運行。
了解 Bonsai 27B 模型
Bonsai 27B 模型設計用於在硬件較為普通的設備上高效運行，例如 12 GB 的顯卡。三元 Bonsai 27B 模型的記憶體佔用量僅為 5.9 GB，而 1-bit 模型僅為 3.9 GB。PrismaML 的聯合創始人兼行政總裁 Babak Hassibi 博士開發了數學算法壓縮大型 AI 模型，能夠直接在智能手機等邊緣設備上運行。他還是加州理工學院電氣工程和計算與數學科學的 Mose 和 Lilian S. Bohn 教授。該模型通過使用一種名為智能密度的專有技術實現這一點，該技術允許它保留其智能的顯著部分，同時減少其大小和記憶體需求。
模型性能
- 全精度模型：在基準測試中平均得分 85。
- 壓縮模型：平均得分約 80%，保留全精度模型 95% 的智能。
- 二進制模型：得分約 76%，提供更壓縮的版本，適合移動設備。
下載模型即可本地運行：
下載 Bonsai一般的建議可以通過訪問 Hugging Face 網站並下載 Bonsai 27B GGUF 文件。避免使用 AWQ 或解壓格式。下載模型可放在 llama CPP 文件夾內 models 的子文件夾即可馬上運行，亦可從 [官方 GitHub ]下載(https://github.com/ggerganov/llama.cpp) 下載。macOS 用戶則可以運行 ATTR 命令，允許二進制文件執行，並設置約 36K Token 上下文窗口。
實際應用多不勝數
Bonsai 27B 模型對沒有專用推理機器的用戶特別有用，可在一般電腦上運行強大的 27B 模型，而不會對其他任務造成重大影響。雖然 Bonsai 27B 模型在資源效率方面提供了顯著的好處，但在使用工具時損失甚大，代表運行 Agent 有很大限制。壓縮模型可能不會像全精度版本那樣表現良好，特別是在需要高上下文窗口的任務上。然而，對於許多實際問答應用，這個性能已經足夠。
小設備跑大模型
Bonsai 27B 模型代表了使大型機器學習模型對更廣泛用途有重大進展。通過優化智能密度，允許用戶在資源有限的設備上運行強大的模型，為本地推理和邊緣計算開闢了新的可能性。