Skip to content

昇腾环境上在部署Llama2模型环境时遇到flash_attn无法安装 #1153

@MiaoYYu

Description

@MiaoYYu

用户在昇腾环境上验证DeepLink能力时遇到问题,以下为原话。
---------------------邮件原文---------------------

我看DeepLink 官方社区是接入昇腾芯片的,并且是适配过llama 模型的。在昇腾环境上验证DeepLink能力时,在部署Llama2模型环境时遇到flash_attn无法安装,有如下报错:

发现flash_attn与cuda强相关,阻塞了验证流程,需要做类似迁移的操作。请问你们在验证时有遇到类似大模型用到与芯片架构强相关的库的问题吗?如有可以提供下解决方案吗

image

Metadata

Metadata

Assignees

No one assigned

    Labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions