多轮对话批处理耗时异常

[SunnyLee20230523]

作者大大您好，我在使用DeepSeek-vl-7B多轮对话：第一轮中的第一张图作为one-shot案例，然后第二轮的第二张图需要模型根据第一轮的example进行描述。在这个过程中，大概耗时2-5秒，属于合理范围。如下：

然后我将这个[prompt] * 512，即变成批次处理，大概耗时250多秒，如下：

但是，问题来了，我处理不同的512张图片时，即第二轮需要模型生成的内容中，一个批次512个采用了512张图片，生成速度却异常慢，如下：

请问这是多轮推理效率的问题吗还是其他原因呢？

[SunnyLee20230523]

user_input_dict = {
'role': 'user',
'content': [
{'type': 'text', 'text': user_input},
{'type': 'image_url', 'image_url': {'url': user_image}}
]
}
prompts.append(user_input_dict)
response = pipe([prompts,....,prompts], gen_config=gen_config)
这是第二轮对话的样例，我的一个批次512个,每个对话中的user_image都不一样时，推理就会异常，耗时很长

[SunnyLee20230523]

还有一个问题就是：如果我在一个对话中使用了两张图片，模型是否可以辨别第一张图、第二张图的位置？