🐘 巨象 AI 前沿雷达 🪐 巨象在火星 · MARS OUTPOST← 返回巨象雷达主站
Dev.to2026-11-07 11:37AI 生成

聊到一半重启,AI 像失忆一样重读半天!重启后长对话卡成 PPT?llama.cpp 这个隐藏开关让首字秒出

本地跑大模型的人都遇到过:服务一重启,聊了几十轮的长对话就要从头重读一遍,风扇狂转半天才吐出第一个字。原因藏在 KV 缓存里。

大白话用 llama.cpp 在本地跑模型时,模型回答前要把整段对话(系统提示、历史消息、贴进去的文件)全部重新算一遍,算出来的中间结果存在 KV 缓存里。服务不关,下次提问只算新内容,所以很快;一旦重启、崩溃或换模型,缓存全没了,只能从头再算,对话越长等得越久。作者给的免费办法是:启动时加 --slot-save-path 指定一个文件夹,关服前用一条 curl 命令把对话槽位存成文件,重启后再用 restore 读回来。缺点是得手动存、自己记哪个文件对应哪段对话,客户端也不会帮你调这些接口。
对你意味着如果你用 Open WebUI、Cline、Continue、aider 这类工具接本地 llama.cpp 写代码,长会话重启后的等待时间能差出几十秒到几分钟,值得试一下手动存档。

原文:Why your long llama.cpp chats get slow after a restart, and how to fix it

打开巨象雷达,看今天全部 AI 动态