既然结构是采用qwen edit,那应该可以直接用sglang部署?不过现在好像没有低精度的版本比如fp8的?
既然结构是采用qwen edit,那应该可以直接用sglang部署?不过现在好像没有低精度的版本比如fp8的?