🐘 巨象 AI 前沿雷达 🪐 巨象在火星 · MARS OUTPOST← 返回巨象雷达主站
Dev.to2026-11-01 15:00AI 生成

数据不想上云的人,这次有救了!没显卡也能跑 350 亿参数大模型?韩国团队把旗舰级模型塞进 CPU 里

韩国 Pre-AGI 初创公司 VIDRAFT 放出 POCKET-35B-GGUF,用 GGUF 量化打包,宣称纯 CPU 就能本地跑,不用显卡也不用云。

大白话VIDRAFT 是一家韩国 AI 初创公司,他们把自家 350 亿参数的大模型做成了 GGUF 格式。GGUF 你可以理解成「一个文件装下模型和所有配置」,配合 llama.cpp 这类工具,普通电脑甚至没有独立显卡的服务器都能跑起来。原理是把模型参数从高精度压成 4 位或 8 位整数,内存占用能砍掉一大半,再靠 CPU 的分块加载和矩阵运算硬扛。代价是速度慢,适合文档分析、批量摘要、断网环境这类不追求秒回的活。
对你意味着手里只有普通笔记本、又不想把数据传到云上的开发者和公司,多了一个「能跑大模型」的选项;但别指望它像 GPU 一样飞快。

来源为 Dev.to 社区文章,文中未给出具体跑分,模型仓库路径需以官方模型卡为准

原文:POCKET-35B-GGUF: Running a 35-Billion-Parameter LLM on CPU Without a GPU

打开巨象雷达,看今天全部 AI 动态