Bigger Body 8b
基于Ministral Instruct 2410的角色扮演导向伪全微调模型
Ink系列的精神续作
数据集
Bigger Body（内部仍称为Ink v2.1）的数据混合配方堪称"黑暗料理"，比初代Ink混合配方更令人发指。
（公开）原始数据集
- Fizzarolli/limarp-processed
- Norquinal/OpenCAI -
two_users拆分集 - allura-org/Celeste1.x-data-mixture
- mapsila/PIPPA-ShareGPT-formatted-named
- allenai/tulu-3-sft-personas-instruction-following
- readmehay/medical-01-reasoning-SFT-json
- LooksJuicy/ruozhiba
- shibing624/roleplay-zh-sharegpt-gpt4-data
- CausalLM/Retrieval-SFT-Chat
- ToastyPigeon/fujin-filtered-instruct
量化版本
- bartowski 的 imatrix GGUF 模型 感谢所有量化贡献者 <3
推荐配置
对话模板：Mistral v7-tekken（注意不是v3-tekken！！主要区别是v7版有特定的[SYSTEM_PROMPT]和[/SYSTEM_PROMPT]标签）
推荐采样器（非绝对最优，请自行尝试）：
- 我完全没头绪。请自行探索。
超参数
通用配置
- 训练轮次 = 2
- 学习率 = 2e-6
- 学习率调度器 = 余弦退火
- 优化器 = Apollo-mini
- 优化目标模块 =
all_linear - 有效批次大小 = 16
- 权重衰减 = 0.01
- 预热步数 = 50
- 总训练步数 = 920
致谢
衷心感谢所有数据集创建者的贡献
特别鸣谢Allura成员们的测试支持与精神鼓励 爱你们 /柏拉图式