我们公司的产品手册全是图片和表格，纯文字版RAG根本搜不到关键信息。

你问AI"这个产品的接口长什么样"，它回答不上来——因为接口图在手册的截图里，纯文本检索把图片丢了。你问"这个型号的参数表"，它也答不上——因为参数在表格里，表格结构它解析不了。

这就是纯文本RAG的硬伤：它只能处理文字，图片和表格里的信息全浪费了。

后来我们上了多模态RAG，情况好了很多。

原理说穿了不复杂：用视觉大模型去"看"图片，把图片内容转成文字描述，或者直接生成图片向量。用户提问的时候，系统同时搜文字库和图片库，找到相关的图和文一起给大模型参考。

效果立竿见影。再问"接口长什么样"，AI能把手册里那张接口图找出来，告诉你哪个是电源口哪个是网口。再问参数表，它能把表格数据提取出来给你列清楚。

但实际用起来还是有坑。

一是图片描述的准确度。AI看一张产品图，它能告诉你"这是一个黑色的设备"，但它可能注意不到上面那个小指示灯是红色还是绿色。你要问精确细节，它还是会漏。

二是表格解析。复杂的合并单元格表格，AI经常把行和列对应错。上次它把A产品的参数安到了B产品头上，被售后骂了一顿。

三是性能成本。多模态模型比纯文本模型慢三倍，每次检索要先过一遍视觉模型，用户等的时间变长了。

我们现在的做法是：文字内容用纯文本RAG快速搜，只有当问题涉及图片或表格时，才触发多模态检索。这样速度和效果兼顾。

多模态RAG是方向没错，但现在还在早期。你要是企业知识库全是图文混排的文档，值得上；如果主要是纯文字，那没必要折腾。