AI 回答一句话，居然要两块芯片接力？GPU 只干前半场、RDU 接后半场：万颗芯片异构推理方案曝光，验收坑全在交接处

大白话大模型回答一个问题分两步：先读完你输入的提示词（prefill），再一个字一个字往外蹦答案（decode）。SambaNova 和 Supermicro 的新方案是把这两步拆给两种芯片干——前半段用英伟达 GPU，后半段用 SambaNova 自家的 SN50 芯片，Supermicro 负责组装、测试、交付和上门服务。两家说初期按 1 万颗 SN50 来规划，但这只是计划数字，不是已经装好的量。写这篇文章的开发者提醒：真正容易出问题的地方不是哪块芯片快，而是两块芯片中间那次「交接」——数据怎么传、卡住了怎么办、出故障谁来背。

对你意味着关心 AI 推理成本和自建算力的人值得看：异构方案听着省钱，但验收和运维的坑往往藏在两段之间的衔接上，别只看单卡跑分。