多模态：AI 如何同时看图、听声、读文字

以前手机弹出一串看不懂的报错，你得一个字一个字敲给 AI；看到一张满是数字的图表，得自己先把数据读出来再提问。现在，直接把截图丢进对话框，问一句「这是什么意思？」就行了。

AI 从「只会读字」变成「能看图、能听声」，背后的关键词叫「多模态」。这一节讲清楚它是什么、AI 是怎么「看见」图片和「听见」声音的，以及怎样用好它、避开它的坑。

什么是「模态」和「多模态」

「模态」就是信息的表现形式：文字是一种模态，图片是一种，声音是一种，视频又是一种。人天生就是多模态的——我们一边听对方说话，一边看他的表情，一边读手里的资料，把这些信息自然地合在一起理解。

早期的大语言模型只认文字，属于「单模态」。能同时处理两种及以上信息形式的模型，就叫多模态模型。

多模态可以分成「看得懂、听得懂」（输入）和「做得出」（输出）两个方向：

这一节主要讲「理解」这一侧。绘画、视频和声音的生成，在「AI 绘画、视频与声音」系列里会详细展开。

前几节说过，大模型处理的是 Token。图片不是文字，怎么变成 Token?

思路其实很直观：先把图片切成许多小方块，就像把一张照片裁成一格一格的拼图；再由专门的「视觉编码器」把每个小方块转换成一串数字。这串数字和文字 Token 一样，能被模型理解。于是，图片在模型眼里就变成了一串「视觉 Token」，和你的文字问题排在一起，一并处理。

可以把视觉编码器想象成一位翻译：它把「图片语言」翻译成模型听得懂的「内部语言」。模型并不是像人一样用眼睛「看」，而是在读这份翻译稿。声音也类似：先把一段音频按时间切成很短的片段，再转换成模型能处理的形式。

视频呢？很多模型的做法是「抽帧」：每隔一段时间截取一张画面，再配上声音一起分析。这就像看一本快速翻动的连环画，大意抓得住，但一闪而过的细节可能恰好落在两次截取之间，被漏掉了。

这带来两个实际影响：

让 AI 能听会说，有两种做法。一种是「拼装式」：先用语音识别把你的话转成文字，交给语言模型回答，再用语音合成把答案读出来。这种方式成熟可靠，但在转成文字的那一步，你的语气、停顿和情绪就丢了。

另一种是「原生多模态」：模型在训练时就同时学习文字、图像、声音等多种信息，能直接「听」到声音本身。这类模型更有可能察觉你说话时的语气变化，对话也可以更流畅自然。现在越来越多的模型朝这个方向发展。

几个日常就能用上的场景：

能看图，不等于看得准。几个常见的坑：

上一节讲的幻觉，在看图时同样会发生：它可能「看见」图里根本没有的东西。另外要特别注意隐私：照片和截图里常常藏着人脸、证件号、聊天记录、定位信息，上传前先检查，必要时打码。

最后一条最值得养成习惯：先复述，再分析。让 AI 先把它从图里读到的内容说出来，你核对一遍，确认没读错，再让它往下分析。这样错误在第一步就能被拦住，不会一路带进结论里。

这是我们店上个月每日销售额的折线图截图。请分两步：
第一步：先描述你从图中读到的内容，包括横轴和纵轴的含义、大致的最高点和最低点，
看不清或不确定的地方单独列出来，先不要分析。
第二步：等我确认后，再分析趋势、找出异常的日期，并给出可能的原因。

再比如整理手写笔记：

这是我开会时的手写笔记照片。请把它整理成电子版：
1. 按原有结构转成文字，认不出的字用【？】标出，不要猜；
2. 再把内容归纳成「结论」「待办」「疑问」三部分。

「认不出就标出来，不要猜」这一句很关键。它和上一节讲的防幻觉思路一样：给 AI 一个说「不确定」的出口，它就少替你「脑补」。