您好,
由于在沐曦镜像中无法直接安装官方版本的llmcompressor,想问一下如何在沐曦GPU上进行BF16到W8A8的模型量化,感谢!
您好,
由于在沐曦镜像中无法直接安装官方版本的llmcompressor,想问一下如何在沐曦GPU上进行BF16到W8A8的模型量化,感谢!
你好,
我注意到沐曦编程目前不支持插入内联汇编,我想知道是否有办法实现类似的功能。比如带st.release.sys.global和st.acquire.sys.global这样的语义在沐曦平台上该如何实现呢?
感谢