同一张显卡跑同一个模型，速度差 36 倍，你敢信？并发一开 Ollama 直接崩：三大推理引擎实测：3480 对 96 tok/s 差出 36
一篇 Dev.to 实测把 vLLM、TGI、Ollama 摆上同一张表：65 并发下 vLLM 跑到 3480 tok/s，Ollama 只有 96 tok/s，p99 延迟更是 4.7 秒对 41 秒。
大白话有人拿 Llama-3-8B 在 A100 上把三个主流本地推理工具跑了一遍。结论很直白：vLLM 是给「很多人同时用」的场景准备的，靠 PagedAttention 把显存切块管理，浪费不到 4%；TGI 是 Hugging Face 家的服务端，胜在成熟和支持；Ollama 本质是 llama.cpp 套壳，装起来最省事，但它是给单人本地玩设计的，并发一上来就顶不住。
对你意味着如果你在自己搭 AI 服务、给团队或产品做后端，选错引擎可能白烧几倍显卡钱；只想在笔记本上跑个模型玩玩，Ollama 依然最省心。
Dev.to 个人博主的自测数据，测试环境与脚本未完全公开，结论仅供参考
原文：vLLM vs TGI vs Ollama: GPU Memory Throughput, PagedAttention & Batching Benchmarks
打开巨象雷达，看今天全部 AI 动态