为啥照着步骤来，加载dataset example，始终无法加载自定义内容

[poppysix]

[hiyouga]

没有看到详细的报错信息，请问你微调模型了吗。把微调日志发一下。

[poppysix]

没有报错，看起来一切正常啊
CUDA_VISIBLE_DEVICES=0 python finetune_chatglm.py
--do_train
--dataset example
--finetuning_type lora
--output_dir output
--per_device_train_batch_size 16
--gradient_accumulation_steps 1
--lr_scheduler_type cosine
--logging_steps 10
--save_steps 1000
--max_train_samples 3000
--learning_rate 5e-5
--num_train_epochs 1.0
--fp16

[hiyouga]

这个只是做个例子。具体微调要准备其他大型数据集，这个示例数据集数据量太小了。

[poppysix]

这个只是做个例子。具体微调要准备其他大型数据集，这个示例数据集数据量太小了。

用了自己的数据集900条也不出结果，用官方Tuning是可以出来的

[hiyouga]

可以试着增大Lora的r值，或者使用和官方一样的pre_seq_len=128的P-Tuning方法。同时增大learning_rate=1e-3。

默认参数中为了避免模型发生灾难性遗忘并过拟合到新数据集上，采用的都是较为保守的参数。

[LainNetWork]

可以试着增大Lora的r值，或者使用和官方一样的pre_seq_len=128的P-Tuning方法。同时增大learning_rate=1e-3。

默认参数中为了避免模型发生灾难性遗忘并过拟合到新数据集上，采用的都是较为保守的参数。

你好，小白想请教一个问题，这个增大lora的r值具体要怎么做呢？需要加什么参数么？

[hiyouga]

你好，小白想请教一个问题，这个增大lora的r值具体要怎么做呢？需要加什么参数么？

@LainNetWork 加入参数--lora_rank=16

[LainNetWork]

你好，小白想请教一个问题，这个增大lora的r值具体要怎么做呢？需要加什么参数么？

@LainNetWork 加入参数--lora_rank=16

明白了，感谢回答~

[hiyouga]

您好，我们写了一份关于加载自定义内容的教程文档，请移步：https://github.com/hiyouga/ChatGLM-Efficient-Tuning/blob/main/examples/alter_self_cognition.md