infer不支持没有flash-attn的推理

[mysticalwing]

我的卡是v100，不支持flash_attn 2.7。我看了vlm的config.json，有 use_flash_attn 的flag，我手动改为false，模型infer还是会强制走flash-attn的链路。这是我的测试代码，就是从hf上copy的：
import torch
from internvlu import InternVLUPipeline

prompt = """Cluster of wildflowers, purple lupines and orange California poppies with detailed petal texture, yellow daisy centers, white Queen Anne’s lace intricate patterns, bright midday sun, morning dew"""

pipeline = InternVLUPipeline.from_pretrained(
"InternVL-U/InternVL-U",
torch_dtype=torch.bfloat16,
)

pipeline.to("cuda")

with torch.no_grad():
image = pipeline(
prompt=prompt,
generation_mode="image",
height=576,
width=1024,
generator=torch.Generator(device="cuda").manual_seed(42)
).images[0]

image.save("internvl_uexample_t2i.png")

[nini0919]

你好，最新版本已支持没有flash-attn的推理，关于请重新拉一下代码，欢迎分享重新尝试是否可以推理成功。

[mysticalwing]

感谢回复和更新。我拉了最新的代码进行测试，还是会报flash-attn的错误。我在代码中打印了相关的变量，是false，这没问题。

报错的部分是_forward_ve函数。我看了下代码，似乎是因为 InternVLUTransformerBlock.attn的processor写死了用InternVLUDoubleStreamFlashAttnProcessor，这个函数内部最终总是会走到调用flash_attn_varlen_func这个函数