主流模型Chat Template微调模版汇总

慈云数据 2024-05-13 技术支持 32 0

🍻Chat Template

有了transfomers框架后我们的微调工作都变得简单了起来,我们在自己进行一些模型的微调时主要的操作就是构建自己的数据集及数据格式,不同模型的在训练时都使用了不同的template。

主流模型Chat Template微调模版汇总
(图片来源网络,侵删)

因此,我从官方参考或实现中收集了几种主流模型的官方模板,以供大家自己进行微调时参考。

完整且持续更新的的Chat Template模板详见Github项目 :https://github.com/mst272/LLM-Dojo/tree/main/chat_template

主流模型Chat Template微调模版汇总
(图片来源网络,侵删)

如果觉得有帮助欢迎大家star或者提交issue 及 pr

说明

不同模型在是否存在默认system message上有所不同(大多数模型都是没有的),所以以官方是否有为标准。

每个模型都附上了有system版本和无system版本,如果在自己训练模型的时候希望加上system message可以参照template模板自行添加。

(建议的做法是:如果官方没提供默认system message,可直接使用无system版本)

Qwen

官方版本默认的system message即:You are a helpful assistant

system
You are a helpful assistant
user
This is a instruction
assistant
This is a answer

Yi

官方版本没有默认的system message,可以与llama一样不加system message使用,有

system
This is a system message
user
This is a instruction
assistant
This is a answer
  • 无system模式
    user
    This is a instruction
    assistant
    This is a answer
    

    Gemma

    官方版本不支持system

    • 无system模式
      user
      This is a instruction
      model
      This is a answer
      
微信扫一扫加客服

微信扫一扫加客服

点击启动AI问答
Draggable Icon