AI 答非所问，八成是喂进去的网页太脏！爬虫自己写？AWS 官方直接甩出开源方案：网页喂给 RAG 前先这么洗

大白话做 RAG 应用的人都知道，答案准不准，八成看喂进去的数据干不干净。AWS 这篇官方博客说，Amazon Bedrock 知识库自带一个托管网页爬虫，给种子链接或站点地图就行，会遵守 robots.txt，还能定时同步、等 JavaScript 加载完。但如果你只想抓每页正文、去掉导航和广告、给每篇文档打上自己的标签，那就用开源 Python 爬虫 Crawl4AI 先处理一遍，把 Markdown 和元数据一起丢进 S3，再让知识库吃进去。

对你意味着如果你在用 Bedrock 搭企业知识库或客服问答，这套流程能少踩「网页垃圾进、胡说八道出」的坑；不想自己运维爬虫的，先用官方托管版。