zhangzunhao

启动方式就是参考docker run -it --device=/dev/dri --device=/dev/mxcd \
--device=/dev/infiniband --privileged=true --group-add video \
--device=/dev/mem \
--network=host --security-opt seccomp=unconfined \
--security-opt apparmor=unconfined --shm-size '100gb' \
--ulimit memlock=-1 -v /usr/local/:/usr/local/ \
$image_id /bin/bash

python3 -m sglang.multimodal_gen.runtime.launch_server \
--model-path "$MODEL_PATH" \
--num-gpus 8 \
--sp-degree 8 \
--ulysses-degree 8 \
--use-fsdp-inference true \
--hsdp-replicate-dim 1 \
--hsdp-shard-dim 8 \
--dit-cpu-offload true \
--dit-layerwise-offload false \
--vae-cpu-offload true \
--trust-remote-code \
--warmup-mode off \
--host 0.0.0.0 \
--port "$PORT" \
--strict-ports \
--output-path "$SERVER_OUTPUT_DIR"

环境是8卡C500, 驱动sdk都是最新的3.8.1
第一次请求正常，但是第二次请求就会出现

请问在8卡C500环境下，有运行更快的参数吗？

另一个问题是，每次运行一次生成视频后，第二次发送请求sglang进程就会crash，然后就要重启sglang，请问是我的命令有问题吗？
video_id=$(
curl -sS -X POST http://127.0.0.1:30000/v1/videos \
-H "Content-Type: application/json" \
-d '{
"model": "MiniMaxAI/MiniMax-H3",
"prompt": "A young man walks on the street.",
"seconds": 5,
"task": "t2va",
"conditions": [],
"target": {
"short_edge": 768, "aspect_ratio": "9:16", "duration_seconds": 5.0
},
"num_outputs_per_prompt": 1, "num_inference_steps": 50,
"flow_shift": 12.0, "audio_flow_shift": 3.0, "seed": 1101
}' |
jq -r '.id'
)
while true; do
status=$(curl -sS "http://127.0.0.1:30000/v1/videos/${video_id}" | jq -r '.status')
[ "$status" = "completed" ] && break
[ "$status" = "failed" ] && exit 1
sleep 10
done
curl -sS -L "http://127.0.0.1:30000/v1/videos/${video_id}/content" -o minimax-h3-t2va.mp4