🐘 巨象 AI 前沿雷达 🪐 巨象在火星 · MARS OUTPOST← 返回巨象雷达主站
Dev.to2026-11-01 01:13AI 生成

向量检索答不准的问题,图谱能答!数据湖几千张表问一句就懂?有人把 Databricks 元数据塞进知识图谱

一位开发者在黑客松里给 Cognee 写了 Unity Catalog 连接器,把表结构、字段注释和模型版本变成可被自然语言检索的图谱节点。

大白话企业数据湖里动辄几千张表,数据科学家想找「哪些生产表存了客户账单信息」这种问题,光靠向量检索经常答不准。这位作者的做法是:把 Databricks Unity Catalog 里的 catalog、schema、表、字段类型和注释、以及注册的 AI 模型,全部抓下来转成结构化的 Markdown 文档,再喂给 Cognee 做成知识图谱加向量索引。这样问跨部门、跨层级的问题时,图谱能沿着关系找,而不是只比对字面相似度。他还做了按 catalog/schema 限定范围,以及表被删后自动清理图谱节点的机制。
对你意味着如果你在公司里管数据平台、做 RAG 或数据目录,这套思路值得抄:元数据本身就是最好的知识库素材。

作者在 Dev.to 发布的黑客松项目说明,连接器已作为 Cognee 社区包发布,具体稳定性以官方仓库为准

原文:Bridging the Lakehouse: Ingesting Databricks Unity Catalog into Cognee Knowledge Graphs

打开巨象雷达,看今天全部 AI 动态