1、基础环境准备 已安装anaconda并创建相应的conda虚拟环境 安装pytorch版本对应的CUDA和cuDNN,注意版本对应关系 2、下载指定版本的xformers安装包 下载链接:https://ownload.pytorch.org/whl/
DeepGEMM(Deep General Matrix Multiplication)是DeepSeek公司最新开源的通用矩阵乘法运算库,其主要目的是提高GPU的浮点运算效率。众所周知,深度学习中最重要的运算之一就是矩阵乘法,不管是前向传播还是反向传播都涉及。GPU对于数据运算的精度主要包括FP6