MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in
  • chevron_right Threads
  • label 产品&运维
  • label 已解决

部署minimax2.7

eadgar2025
2026年5月7日
chat_bubble_outline 9
  • link
    eadgar2025
    Members 5 posts
    2026年5月7日 15:04 2026年5月7日 15:04
    link

    8卡C500是否可以部署minimax2.7, 是否可以提供vllm启动参数,是不是int8可以

  • arrow_forward

    Thread has been moved from 公共.

    • By shuai_chen on 2026年5月7日 15:05.
  • link
    shuai_chen
    Members 460 posts
    2026年5月7日 15:11 2026年5月7日 15:11
    link

    尊敬的开发者您好,八卡C500可以部署MinimaxW8A8,
    模型权重modelscope.cn/models/metax-tech/MiniMax-M2.7-W8A8
    模型镜像沐曦开发者社区镜像中心vllm0.17.0
    vllm启动参数

    export MACA_SMALL_PAGESIZE_ENABLE=1
    export MACA_VLLM_ENABLE_MCTLASS_FUSED_MOE=1
    export MACA_VLLM_ENABLE_MCTLASS_PYTHON_API=1
    
    
    vllm serve /models/MiniMax-M2.7-W8A8/ \
    -tp 8 --trust-remote-code --max_num_batched_tokens 32768  --swap-space 16 \
    --port 8010 \
    --tool-call-parser minimax_m2 \
    --reasoning-parser minimax_m2_append_think \
    --enable-auto-tool-choice \
    --gpu-memory-utilization 0.9 \
    --async-scheduling \
    --no-enable-prefix-caching #视需求开 prefix cache
    
  • link
    eadgar2025
    Members 5 posts
    2026年5月7日 15:49 2026年5月7日 15:49
    link

    tp 8 的时候报错,我可以尝试调低,但是这是否意味着其他的也要跟着调整,比如上下文长度

    insert_drive_file
    log.txt

    Text, 54.2 KB, uploaded by eadgar2025 on 2026年5月7日.

  • link
    shuai_chen
    Members 460 posts
    2026年5月7日 15:59 2026年5月7日 15:59
    link

    尊敬的开发者您好,请在裸金属执行

    dmesg -T | grep -i err
    
  • link
    eadgar2025
    Members 5 posts
    2026年5月7日 16:08 2026年5月7日 16:08
    link

    This post is hidden. You cannot see its contents.

    Hidden by shuai_chen on 2026年5月11日 11:55.

  • link
    shuai_chen
    Members 460 posts
    2026年5月7日 16:11 2026年5月7日 16:11
    link

    尊敬的开发者您好,GPU ID B8400D0存在问题,请给出裸金属mx-smi回显。

  • link
    eadgar2025
    Members 5 posts
    2026年5月7日 16:14 2026年5月7日 16:14
    link

    9a3fcb90a653312ffe1413cdada4c1b9.jpg

  • link
    shuai_chen
    Members 460 posts
    2026年5月7日 16:17 2026年5月7日 16:17
    link

    尊敬的开发者您好,GPU ID 4存在问题,请使用qwen的几B小参数量模型,使用CUDA_VISIBLE_DEVICES逐一为0-7,tp为1进行推理服务启动尝试,再次确认GPU异常问题

  • link
    eadgar2025
    Members 5 posts
    2026年5月7日 17:02 2026年5月7日 17:02
    link

    0,1,2,3,5,6,7 都正常启动小模型,到4报错了 5423bf6a99dcbdcc2562ff426d18e593.jpgc468f162cfcf53c24336626ea44964f4.jpg

  • link
    shuai_chen
    Members 460 posts
    2026年5月7日 17:12 2026年5月7日 17:12
    link

    尊敬的开发者您好,请关机服务器拔掉电源线,重新插拔GPU。如何确定GPU位置,一般来说是从左到右,或从右到左第四个。通过mx-smi相关命令获取GPU SN号,拔下来以后核对GPU PCIE卡上的SN号。

  • arrow_forward

    Thread has been moved from 解决中.

    • By shuai_chen on 2026年5月20日 11:54.
arrow_upward Go to top
  • 沐曦开发者论坛
powered by misago