多模态模型DPO微调时的报错

[dszpr]

Describe the bug
What the bug is, and how to reproduce, better with screenshots(描述bug以及复现过程，最好有截图)
我采用自己的数据集运行InternVL2-8B的DPO微调，数据集的格式严格按照文档中的{"query": "11111", "response": "22222", "rejected_response": "33333", "images": ["image_path"]}构建。
训练脚本为：
#!/bin/bash

export CUDA_VISIBLE_DEVICES=1,2,3,4
NPROC_PER_NODE=4

OUTPUT_DIR='/workspace/code/LLaVA/work_dirs/ft/internvl2-8b-ft-4epoch-lora-v1.1.2-dpo'

if [ ! -d "$OUTPUT_DIR" ]; then
mkdir -p "$OUTPUT_DIR"
fi

torchrun --nproc_per_node ${NPROC_PER_NODE} /usr/local/lib/python3.8/dist-packages/swift/cli/rlhf.py
--rlhf_type dpo
--beta 0.1
--sft_beta 0.1
--model_type internvl2-8b
--model_id_or_path /workspace/code/LLaVA/work_dirs/internvl2-8b-ft-math-4epoch-full-v1.1.2/internvl2-8b/v4-20240829-180950/checkpoint-170/
--dataset /workspace/vlm_dataset/train_v1.1.2_dpo_8b_swift_v1.json
--max_length 8192
--sft_type lora
--output_dir ${OUTPUT_DIR}
--batch_size 4
--num_train_epochs 1
--learning_rate 2e-5
--weight_decay 0.
--warmup_ratio 0.03
--lr_scheduler_type cosine
--save_strategy epoch
--evaluation_strategy no
报错为

Your hardware and system info
Write your system info like CUDA version/system/GPU/torch version here(在这里给出硬件信息和系统信息，如CUDA版本，系统，GPU型号和torch版本等)

Additional context
Add any other context about the problem here(在这里补充其他信息)

[dszpr]

已解决，max_lenth设为16384

[ljqnb]

你好我也遇到这问题，改了之后也没有解决，能问下您的数据格式吗，十分感谢！

[dszpr]

你好我也遇到这问题，改了之后也没有解决，能问下您的数据格式吗，十分感谢！

数据格式就是按照官方手册中的格式，{"query": "11111", "response": "22222", "rejected_response": "33333", "images": ["image_path"]}，我是一个sample一张图片，如果你是多张图片的话，max_lenth应该还得继续加