推理结果不具有重复性

[Itsanewday]

data = {
"extra_body": {
"stop_token_ids": [1, 151645],
"chat_template_kwargs": {"enable_thinking": False},
},
"model": self.internvl_conf["model"],
"max_tokens": self.max_tokens,
"temperature": 0,
"top_p": 0.1,
"top_k": 1,
"do_sample": False,
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": user_prompt,
},
{
"type": "image_url",
"image_url": {
"url": image_base64,
},
},
],
},
],
}

这种情况下，我重复输入相同的图像，有时候会出现不同的结果，请问是什么原因，要怎么修改？其他的模型（Qwen3VL）没有这种问题

[tc-mb]

好的，收到您的问题，我们会元旦后尽快检查一下。

[tc-mb]

您好，抱歉回复晚了。这个问题是 vllm 框架本身的已知行为——vllm 默认不保证结果可复现，即使设置了 temperature=0。特别是在 API 服务模式（vllm serve）下，由于调度的非确定性，官方明确表示不支持可复现性。

如果使用离线推理，可以在 SamplingParams 中设置 seed 参数来提高可复现性。详情可参考 vllm 官方文档：https://docs.vllm.ai/en/v0.10.1/usage/reproducibility.html

如果对结果一致性有较高要求，也可以使用 PyTorch（transformers）方式进行推理，相关示例可参考 HuggingFace 模型仓库：https://huggingface.co/openbmb/MiniCPM-V-4_5

如有其他问题欢迎继续交流。