你的超时设置,可能从来没生效过!设了 60 秒超时,LLM 却狂跑 38 分钟?一个参数坑惨整条流水线
开发者复盘 14 晚、3.36 万次调用发现:requests 的 timeout=60 只限制「两次收字节的间隔」,流式输出每 70 毫秒吐一个 token,超时永远不会触发。
大白话有位开发者每天夜里跑批量总结任务,给每个请求都写了 timeout=60,以为「一分钟没结果就掐掉」。结果有一次单次调用跑了 38 分 12 秒,程序不报错、日志也没异常,只是早上 6 点的报告没出来。原因很反直觉:这个超时管的是「等下一个字节最多等多久」,不是整通电话的总时长。流式模型一直在吐字,时钟就一直在重置。真正的问题是模型陷进重复循环,又没设 max_tokens,于是一直复读到上下文塞满。
对你意味着只要你在写调用大模型的脚本,尤其开了流式输出,这个坑几乎人人会踩;它不会报错,只会悄悄吃掉你的 GPU 时间和交付时间。
原文:Python requests timeout=60 Let My LLM Stream Run for 38 Minutes
打开巨象雷达,看今天全部 AI 动态