qwen3.5 397b官方有提供int4量化的吗？

我只有2台C550，无法做PD分离部署，请问有没有合适的部署方案？计划是部署qwen3.5 397b或者minimax M3，还需要能空出几张卡，后续部署和训练yolo模型用，能否实现？可以的话，上下文最大开多少？并发可以抗多少？

尊敬的开发者您好，推荐部署W8A8，Int4请参考社区方案自行量化。

请问2台C550的情况下如何部署W8A8的模型呢？有方案吗

我不用PD分离

尊敬的的开发者您好，以modelscope.cn/models/metax-tech/Qwen3.5-397B-A17B-W8A8 为例，使用沐曦开发者社区镜像中心SGLang 0.5.10镜像
环境变量配置

export MACA_SMALL_PAGESIZE_ENABLE=1
export TRITON_ENABLE_MACA_OPT_MOVE_DOT_OPERANDS_OUT_LOOP=1
export TRITON_ENABLE_MACA_CHAIN_DOT_OPT=1
export PYTORCH_ENABLE_PG_HIGH_PRIORITY_STREAM=1
export MACA_QUEUE_SCHEDULE_POLICY=1
export TORCH_CUDA_ARCH_LIST="8.0 8.6+PTX"
export MACA_GRAPH_LAUNCH_MODE=5

启动服务

python3 -m sglang.launch_server --trust-remote-code --model-path $model_path --disable-radix-cache --disable-chunked-prefix-cache --attention-backend flashinfer --tp 8 --mem-fraction-static 0.9 --quantization w8a8_int8 --mamba-ssm-dtype bfloat16