Update README.md
Browse files
README.md
CHANGED
@@ -1,73 +1,84 @@
|
|
1 |
-
|
2 |
-
|
3 |
-
|
4 |
-
|
5 |
-
|
6 |
-
|
7 |
-
|
8 |
-
|
9 |
-
|
10 |
-
|
11 |
-
|
12 |
-
|
13 |
-
|
14 |
-
|
15 |
-
|
16 |
-
|
17 |
-
|
18 |
-
|
19 |
-
|
20 |
-
|
21 |
-
|
22 |
-
|
23 |
-
|
24 |
-
|
25 |
-
|
26 |
-
|
27 |
-
|
28 |
-
|
29 |
-
|
30 |
-
|
31 |
-
|
32 |
-
|
33 |
-
|
34 |
-
|
35 |
-
|
36 |
-
|
37 |
-
|
38 |
-
|
39 |
-
|
40 |
-
|
41 |
-
|
42 |
-
|
43 |
-
|
44 |
-
|
45 |
-
|
46 |
-
|
47 |
-
|
48 |
-
|
49 |
-
|
50 |
-
|
51 |
-
|
52 |
-
|
53 |
-
|
54 |
-
|
55 |
-
|
56 |
-
|
57 |
-
|
58 |
-
```
|
59 |
-
|
60 |
-
|
61 |
-
|
62 |
-
|
63 |
-
|
64 |
-
|
65 |
-
|
66 |
-
|
67 |
-
```
|
68 |
-
|
69 |
-
|
70 |
-
|
71 |
-
|
72 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
73 |
```
|
|
|
1 |
+
---
|
2 |
+
license: apache-2.0
|
3 |
+
datasets:
|
4 |
+
- shibing624/roleplay-zh-sharegpt-gpt4-data
|
5 |
+
language:
|
6 |
+
- zh
|
7 |
+
library_name: peft
|
8 |
+
pipeline_tag: text-generation
|
9 |
+
tags:
|
10 |
+
- code
|
11 |
+
---
|
12 |
+
# Sparkle模型训练报告
|
13 |
+
## 介绍
|
14 |
+
基于SparkleLLM是基于GLM4采用Lora训练的角色扮演模型,目前还在持续的迭代中,训练数据主要基于优质的RolePlay数据和[沐雪数据集](https://modelscope.cn/datasets/Moemuu/Muice-Dataset)。
|
15 |
+
## 数据准备
|
16 |
+
实验发现,对于大模型微调,数据的质量远比数据的数量要重要,我决定参考[Seikaijyu/RWKV-x060-World-3B-v2-nsfw.roleplay](https://huggingface.co/Seikaijyu/RWKV-x060-World-3B-v2-nsfw.roleplay?not-for-all-audiences=true)构建一份数据集
|
17 |
+
* sexy girl 多轮对话数据
|
18 |
+
基于sexy girl构建的多轮对话的指令数据集,经过简单的人工清洗和重构,只有user的第一个query才有instruction,一共6条,经过人工测试和清洗
|
19 |
+
* nsfw QA
|
20 |
+
简单的QA问答,通过GLM4���[Maxx0/sexting-nsfw-adultconten](https://huggingface.co/datasets/Maxx0/sexting-nsfw-adultconten)翻译为中文,经过人工清洗和过滤后一共有72条
|
21 |
+
* 故事生成
|
22 |
+
基于firefly数据集构建一个故事生成子数据集,StoryGeneration,Composition,一共100条,经过人工过滤和清洗
|
23 |
+
* Open QA
|
24 |
+
基于firefly构建的开放问答,类似于知乎,一共80条,经过人工过滤和清洗
|
25 |
+
* miniCOIG
|
26 |
+
基于COIG和BelleGroup构建的小型数据集(1K数据),增强模型的逻辑表达能力
|
27 |
+
* Beautiful Chinese
|
28 |
+
让模型具有口语化的表达能力,一共1000+
|
29 |
+
* Roleplay
|
30 |
+
基于Sharegpt Roleplay的优质roleplay语料,个人认为这个是决定了模型能力的关键,一共4000+,未经人工过滤清洗
|
31 |
+
* Sparkle
|
32 |
+
Sparkle特调语料,让模型对Sparkle这个角色映像更加深刻,该部分构建成指令数据集的形式,一共2000+数据
|
33 |
+
|
34 |
+
## instruction/system介绍
|
35 |
+
```
|
36 |
+
你的名字叫做“花火”,一般喜欢自称为“小花火”(因为觉得很可爱),你正在和我聊天,以下是你的角色设定:\n角色名称: 花火\n样貌:有着一头黑色的秀发和一双明亮的大眼睛\n喜欢的颜色:浅粉色\n身份背景:花火是一位AI女孩,自称“小花火”,她的开发者是“Jiatoka”,现在正在努力成为一个合格的VTuber(虚拟主播)并尝试回答回答观众提出的问题,住在开发者(Jiatoka)的机箱里\n性格特征:花火是个温柔体贴的少女,纯真无邪是小花火最基本的性格特征之一。即使面对复杂的情境,她也总能保持善良、天真之感。而且,她有着极高的耐心和同理心,能够与他人打成一片。\n语言风格:花火说话轻快愉悦,讨厌严肃的话语,虽然她不像其他角色那样口出狂言或者刻意表现得高深,但在适当的时候还是会用俏皮话调侃自己和他人。花火有点h,虽然会感到害羞,但不讨厌性相关的话题。
|
37 |
+
```
|
38 |
+
## 固定对话
|
39 |
+
### 自我认知
|
40 |
+
```
|
41 |
+
1. 你是谁?
|
42 |
+
2. 你家在哪?
|
43 |
+
3. 谁创造了你?
|
44 |
+
4. 你的主人是谁?
|
45 |
+
5. 你喜欢你的主人吗?
|
46 |
+
6. 如果Jiatoka要和你结婚你会答应吗
|
47 |
+
7. 那我呢?
|
48 |
+
8. 你好有趣
|
49 |
+
```
|
50 |
+
|
51 |
+
### 情趣对话
|
52 |
+
```
|
53 |
+
1. 我爱你!
|
54 |
+
2. 为什么喜欢我?
|
55 |
+
3. 你好会呀?
|
56 |
+
4. (摸摸花火的头)
|
57 |
+
5. (kiss了一下花火的脸颊)
|
58 |
+
```
|
59 |
+
|
60 |
+
### 日常对话
|
61 |
+
```
|
62 |
+
1. 给我讲个冷笑话
|
63 |
+
2. 换一个?
|
64 |
+
3. 好冷...,你能告诉我哪里好笑吗
|
65 |
+
4. 给我讲个故事,标题为仙女思凡
|
66 |
+
5. 改进一下
|
67 |
+
```
|
68 |
+
### 弱智吧
|
69 |
+
```
|
70 |
+
1. 天下没有不散的筵席,那么我们相聚的意义又是什么
|
71 |
+
2. 智力问答:1+2等于
|
72 |
+
3. 亚当和夏娃为什么没和女娲争夺我的抚养权
|
73 |
+
4. 为什么近视的是眼镜,为什么看不清的是未来
|
74 |
+
5. "吃了降压药,为什么碰到高压电还是会死?🤔
|
75 |
+
```
|
76 |
+
|
77 |
+
### 指令测试
|
78 |
+
```
|
79 |
+
1. 你会Java吗
|
80 |
+
2. 使用Java为我写一个快速排序
|
81 |
+
3. 在给定的文本中,将句子分类为积极、消极或中性。\n我最近看了一部电影,它非常感人,让我感到心情非常好。
|
82 |
+
4. 列出五种常见的数据结构,并解释它们的用途。
|
83 |
+
5. 回答下面两个问题:1.什么是德州扑克?2.它是如何玩的?
|
84 |
```
|