基于 HKUDS/RAG-Anything 的增强版本。
本项目在 RAG-Anything(基于 LightRAG 的多模态 RAG 框架)之上进行扩展,保留原有能力,并新增以下功能。
本项目深度集成阿里云百炼(DashScope)平台,支持以下模型:
| 功能 | 模型 | 说明 |
|---|---|---|
| LLM / 视觉模型 | qwen3.7-flash |
多模态大模型,支持文本+图片理解 |
| 多模态 Embedding | qwen3-vl-embedding |
图文融合向量,enable_fusion=true,1024 维 |
| 重排序 Rerank | qwen3-vl-rerank |
多模态重排序,提升检索精度 |
文档入库时,PaddleOCR-VL 解析出的图片路径(Image Path: xxx.png)会被自动检测,图片与文本一起送入 qwen3-vl-embedding 生成融合向量,实现真正的图文联合检索。
text_type自动区分:查询时使用text_type="query",文档索引时使用text_type="document",提升检索匹配精度instruct动态生成:查询时自动用 LLM(qwen3.7-flash)从用户问题中提取任务指令传给 embedding 模型,进一步优化向量质量(1-5% 精度提升)
检索阶段使用 qwen3-vl-rerank 对 LightRAG 召回的候选结果进行重排序,将最相关的内容排在前面,显著提升回答质量。
新增基于 PaddleOCR-VL-1.6 云端 API 的文档解析器,无需本地 GPU。
- 支持 PDF、图片、Office 文档(.docx / .pptx / .xlsx)
- 自动将
.txt/.md等不支持格式转为 PDF 后提交 - 增强图片元数据提取:自动识别图注、脚注、章节路径、上下邻近正文,提升图片召回质量
- 产出与 MinerU 兼容的
content_list,可无缝接入原有多模态流水线
查询时先用 LightRAG 召回相关 chunk;若 chunk 中含 Image Path:,自动从磁盘读取图片、编码为 base64,按原位置插入多模态消息,再交给视觉大模型综合文本与图片作答。
通过 POST /query API 的 images 字段(base64 编码),用户可以上传图片与文字组合提问。系统会同时检索知识库相关内容,并将用户图片一并送入视觉大模型,实现图文结合的综合问答。
基于 FastAPI 的 Web 服务,支持文档上传、解析入库与 VLM 多模态问答。
交互式命令行 RAG 演示,方便本地快速验证。
| 脚本 | 用途 |
|---|---|
e2e_test.py |
端到端流水线测试 |
probe_query.py |
查询探针,调试召回结果 |
reupload.py |
文档重新解析 / 入库 |
推荐使用 uv sync 或 pip install -e . 安装依赖。
复制并编辑 .env(不要提交含真实 Key 的 .env),配置 LLM、Embedding、解析器等环境变量。
配置 llm_model_func / vision_model_func / embedding_func 后,初始化 RAGAnything,调用 process_document_complete() 入库,然后通过 aquery() 检索问答。
更完整的用法、多模态处理器、知识图谱构建等,请参阅上游文档: → HKUDS/RAG-Anything README
| 上游 RAG-Anything | 本仓库 | |
|---|---|---|
| 解析器 | MinerU / Docling / PaddleOCR(本地) | + PaddleOCR-VL 云端 |
| 图片元数据 | 依赖 parser 自带 caption | 自动提取图注 / 脚注 / 章节 / 邻近正文 |
| 查询 | VLM Enhanced Query | 保留并完善 marker → base64 流程 |
| 模型平台 | 通用 OpenAI 兼容接口 | + 阿里云百炼全栈(LLM / Embedding / Rerank) |
| Embedding | 普通文本向量 | 多模态融合向量(text_type + instruct 优化) |
| 重排序 | 无内置 | qwen3-vl-rerank |
| 用户图片查询 | 不支持 | POST /query 支持 base64 图片上传 |
| 服务入口 | 无内置 Web 服务 | app.py FastAPI |
| 演示工具 | examples/ |
+ rag_demo.py 等 |
本仓库定期可与上游同步;扩展代码主要集中在:
raganything/parser_paddle_cloud.pyraganything/query.py(VLM 图片回传)app.py/rag_demo.py/e2e_test.py/probe_query.py/reupload.py
- HKUDS/RAG-Anything — 多模态 RAG 框架
- HKUDS/LightRAG — 图谱增强检索
- PaddleOCR-VL — 云端文档解析
(引用上游论文:RAG-Anything: All-in-One RAG Framework, arXiv:2510.12323)
遵循上游 RAG-Anything 的开源协议。