2. 快速安装

2.1. 基于pip安装

2.1.1. 环境准备

  • Python

    匹配目标安装包的Python版本

  • MXMACA环境

    安装Driver软件包以及MXMACA SDK软件包

  • cu-bridge环境

    • 在安装MXMACA环境到 /opt/maca/ 目录后,参考 cu-bridge使用指南安装并配置cu-bridge环境,将cu-bridge安装到 /opt/maca/tools/ 目录下。可以检查以下文件是否存在,并确认cu-bridge环境是否准备完毕:

      /opt/maca/tools/cu-bridge/bin/cucc
      /opt/maca/tools/cu-bridge/tools/cmake_maca
      
    • cu-bridge环境不需要安装CUDA Toolkit。

2.1.2. 开始安装

PyTorch安装包以 maca-pytorch${pytorch_version}-py${python_version}-${MXMACA_version}-${arch_info}.tar.xz 格式命名。

获取PyTorch安装包后,解压可以得到包括mcPyTorch、mcTorchvison、mcTorchaudio、mcApex、mcFlashattn、mcTriton在内的whl格式安装包。

操作步骤

安装方式同标准whl包。

  1. 安装mcPyTorch:

    python -m pip install torch-*.whl
    
  2. 安装mcFlashattn:

    python -m pip install flash_attn-*.whl
    
  3. (可选)安装mcTorchvision:

    python -m pip install torchvision-*.whl
    
  4. (可选)安装mcTorchaudio:

    python -m pip install torchaudio-*.whl
    
  5. (可选)安装mcApex:

    python -m pip install apex-*.whl
    
  6. (可选)安装mcTriton:

    python -m pip install triton-*.whl
    

2.1.3. 验证安装

操作步骤

  1. 运行前设置环境变量:

    export MACA_PATH=/opt/maca/
    export LD_LIBRARY_PATH=${MACA_PATH}/lib:${MACA_PATH}/mxgpu_llvm/lib:${MACA_PATH}/ompi/lib:${LD_LIBRARY_PATH}
    export MACA_CLANG_PATH=${MACA_PATH}/mxgpu_llvm/bin
    

    如果使用PyTorch Extension功能,需要额外设置以下环境变量:

    export CUDA_PATH=/opt/maca/tools/cu-bridge/
    export CUCC_PATH=/opt/maca/tools/cu-bridge/
    export PATH=${CUCC_PATH}/tools:${CUCC_PATH}/bin:${PATH}
    
  2. 执行以下命令:

    python -c "import torch; print(torch.ones(2).cuda())"
    

    会得到如下打印输出,即表明安装成功:

    tensor([1., 1.], device='cuda:0')
    

2.1.4. 如何卸载

卸载方式同标准whl包。

操作步骤

  1. 卸载mcPyTorch:

    python -m pip uninstall torch
    

2.2. 使用Docker运行

MXMACA容器镜像是以离线形式发布。用户可在随本文档发布的软件包中找到相关压缩包。

操作步骤

  1. 获取MXMACA容器镜像,执行以下命令,完成容器镜像的加载:

    docker load < ./${container_name}.container.xz
    
  2. 在Docker容器中使用板卡,使用全部曦云系列GPU(以C500为例):

    docker run -it --device=/dev/mxcd --device=/dev/dri --group-add video ${image_name} /bin/bash