offline vllm inference with audio or video

[liziming5353]

请问本地部署vllm推理，怎么推理音频、视频、音视频这些格式呢？样例里好像只给了图像的vllm推理

[tc-mb]

您好，vllm 部署 MiniCPM-o 4.5 是支持音频和视频输入推理的。可以参考文档 deployment/vllm/minicpm-o4_5_vllm.md 中的 2.3 节（视频推理）和 2.4 节（音频推理）。音频输入使用 audio_url 字段传入即可。需要注意的是，vllm 目前支持音频输入理解，但不支持 TTS 音频输出。如有其他问题欢迎继续交流。

[fengxiqaq]

现在 vllm 合并到官方支持里面了吗？

[tc-mb]

您好，已经合并到 vllm 官方了：vllm-project/vllm#23586