Fix/0802 (modelscope#1581)

montanafang · Aug 2, 2024 · fe7b847 · fe7b847
1 parent 00f6c5c
commit fe7b847
Show file tree

Hide file tree

Showing 2 changed files with 11 additions and 2 deletions.
diff --git a/docs/source/LLM/自定义与拓展.md b/docs/source/LLM/自定义与拓展.md
@@ -5,6 +5,14 @@
 - [自定义对话模板](#自定义对话模板)
 
 ## 自定义数据集
+自定义数据集视频介绍：
+
+<video width="600" height="400" controls>
+  <source src="https://modelscope-open.oss-cn-hangzhou.aliyuncs.com/custom_dataset.mp4" type="video/mp4">
+</video>
+
+下面是文字版：
+
 我们支持三种**自定义数据集**的方法.
 
 1. 【推荐】直接命令行传参的方式，指定`--dataset xxx.json yyy.jsonl zzz.csv`, **更加方便支持自定义数据集**, 支持五种数据集格式（即使用`SmartPreprocessor`，支持的数据集格式见下方）, 支持`dataset_id`和`dataset_path`. 不需要修改`dataset_info.json`文件. 该方法适合刚接触ms-swift的用户, 下两种方法适合对ms-swift进行拓展的开发者.

diff --git a/swift/llm/utils/template.py b/swift/llm/utils/template.py
@@ -1012,8 +1012,9 @@ def register_template(template_type: str, template: Template, *, exist_ok: bool
 
 register_template(
     TemplateType.default,
-    Template([], ['### Human:\n{{QUERY}}\n\n### Assistant:\n'], ['\n\n'], [['eos_token_id']], DEFAULT_SYSTEM,
-             ['{{SYSTEM}}\n\n']))
+    Template([], ['### Human:\n{{QUERY}}\n\n### Assistant:\n'], ['\n\n'], [['eos_token_id']],
+             DEFAULT_SYSTEM, ['{{SYSTEM}}\n\n'],
+             auto_add_bos=True))
 
 
 # You can set the query as '' to serve as a template for pre-training.