你的知识库，可能一直在白烧 Token！Dev.to 一篇教程演示：先抓公开网页、只留正文转成 Markdown 再分块

大白话做 AI 知识库的人常踩一个坑：直接把网页原始 HTML 塞给模型，导航栏、脚本、排版垃圾全算进 Token，分块器也被切得乱七八糟。这篇教程给了一条流水线：调一个 RapidAPI 上的「URL 转 Markdown」接口，把网页正文变成干净的 Markdown，再按标题切成小块，最后可选地做向量化。作者也老实交代了限制：只处理静态 HTML、不跑 JavaScript，HTML 超过约 200 KB 会直接报错。

对你意味着如果你在做个人知识库、文档问答或爬虫喂 AI，这套思路能省 Token 也少踩坑；但纯前端渲染的站点它抓不到内容。