403、空壳、地区差异,三道墙拦住了 AI!AI 说打不开网页真不怪模型?背后这道 403 墙才是元凶
Dev.to 一篇由工具团队发布的文章拆解:ChatGPT、Claude 读不了商品页、短视频页,多半卡在抓取环节而非模型本身。
大白话很多人问 AI 某个商品页、招聘页、TikTok 视频讲了啥,得到的要么是「我打不开」,要么是一本正经地瞎猜。这篇文章说,原因有四类:大站直接封机器人,返回 403 或验证页;很多页面靠 JavaScript 现场拼内容,简单抓取只能拿到空壳;价格和库存还跟地区有关,单点抓一次容易答错;就算读到了,也只是当时的快照,之后页面变了没人管。作者给出的办法是:自己复制粘贴、自己写爬虫,或者接一个能用真浏览器读页面的连接器。
对你意味着经常让 AI 帮忙查网页、比价、盯改动的普通用户和内容创作者都值得看,至少能分清是模型不行还是抓取不行。
文章由 Puley 团队发布并自荐其工具,属厂商软文性质,观点仅供参考
原文:Why ChatGPT can't open most web pages (and what to do about it)
打开巨象雷达,看今天全部 AI 动态