显存不够，先把模型压一半！0.6B 小模型压到 INT8 塞进 Colab？开发者实测量化后照样能跑

大白话大模型很能打，但吃显存、吃算力，普通人想在自己电脑或免费云笔记本上跑起来挺难。这位开发者做的事说白了就是「瘦身」：把 Qwen3-0.6B 这个小模型的权重从高精度 FP32 压成 INT8，体积和显存占用都能降下来。他用了 PyTorch 加 Optimum-Quanto 这套量化工具，量化完的模型能存能读，还传到了 Hugging Face 上，别人可以直接下载。整个推理流程是在 Google Colab 的 GPU 环境里跑通的。

对你意味着想在自己设备或免费算力上玩本地小模型的人可以拿来参考，量化是降门槛最直接的一招；不过作者没公布压缩比例和速度对比，效果得自己试。