输出长度

[fly78lv]

我搜索到的资料是输出长度可以达到8万token，但我实测只能几千token。请问是需要通过提示词或者是某些参数才能达到模型理想的最大输出长度吗

[qscqesze]

请问你是通过调用 Api，还是本地部署 vLLM 进行实测的？

[fly78lv]

请问你是通过调用 Api，还是本地部署 vLLM 进行实测的？

调用api

[fly78lv]

请问你是通过调用 Api，还是本地部署 vLLM 进行实测的？

调用api

通过提示词让他输出一定的长度貌似不行,max_tokens参数我也试过了，我的目标是想让模型根据我的输入长度自己决定输出的长度，但目前我的输入大概有三万字，输出只有三千

[kukugpt]

实测效果远低于官方描述，太多公司刷指标了

[sooonas]

实测效果远低于官方描述，太多公司刷指标了

+1，同没复现出，实测差不少，不知道是不是有一些没公开的setting。

[fly78lv]

实测效果远低于官方描述，太多公司刷指标了

+1，同没复现出，实测差不少，不知道是不是有一些没公开的setting。

目前了解到的单次输出长度最长的是gemini 2.5 pro。当我输入三万字的输入时，它可以输出最多7000字的长文。虽然2.5 pro的官方说最大输出长度是64k token