internvl-40b模型微调后推理时报错

[ymlab]

Describe the bug
What the bug is, and how to reproduce, better with screenshots(描述bug以及复现过程，最好有截图)
训练时使用default-zero3跑多机多卡，full参数训练，max_length 8192，训练时正常，推理时报错，疑似显存炸了，想问怎么样可以正常推理起来呢？

Your hardware and system info
Name: torch
Version: 2.1.2+cu121

[ymlab]

推理脚本：
swift infer \ --ckpt_dir /xxx/checkpoint-7112/ \ --dataset xxx.json \ --dataset_test_ratio 1.0 \ --show_dataset_sample -1 \ --max_length 8192 \ --infer_backend lmdeploy \

[ymlab]

换pt推理可以了，用2张卡就够用
CUDA_VISIBLE_DEVICES=0,1 swift infer --ckpt_dir /xxx/checkpoint-7112/ --dataset xxx.json --dataset_test_ratio 1.0 --show_dataset_sample -1 --max_length 8192 --infer_backend pt