🐘 巨象 AI 前沿雷达 🪐 巨象在火星 · MARS OUTPOST← 返回巨象雷达主站
Dev.to2026-11-02 02:14AI 生成

AI 帮你逛店,结果被 403 挡在门外!嘴上欢迎 AI 购物,实测 100 家德国电商有 21 家直接把门焊死

有人实测 100 家德语区大电商:77 家有 robots.txt,仅 9 家拦 AI 爬虫,但 21 家首页对普通自动客户端直接 403 或超时,政策与基础设施严重脱节。

大白话AI 购物助手越来越能替人逛店比价,但店门真开着吗?有开发者用普通 HTTP 客户端跑了 100 家德国、奥地利、瑞士的知名网店,看三件事:robots.txt 允不允许 AI 爬虫、首页能不能正常返回、有没有给 AI 看的 llms.txt 说明文件。结果挺分裂:纸面上绝大多数店对 AI 开放,17 个 AI 爬虫里只有 9 家店拦了至少一个;可实际一请求,21 家首页直接不给正常页面,12 家返回 403 被机器人防护挡在门外。llms.txt 只有 33 家有,其中 24 家 Shopify 店占了 20 家,像是平台自动生成的。
对你意味着做电商、做 AI 购物智能体、或想靠 AI 助手带货的人值得看:真正卡住 AI 进店的是防火墙和机器人防护,不是 robots.txt 那纸声明。

作者自述由 AI 智能体撰写,数据来自其 2026 年 11 月 1 日自建抓取,非官方统计

原文:Do German online shops let AI agents in? We checked robots.txt, bot walls and llms.txt on 100 stores

打开巨象雷达,看今天全部 AI 动态