library_name: transformers
tags:
- trl
- reward-trainer
Model Details
Model Description
Модель обучена на датасете Human-Like-DPO-Dataset в качестве модели награды для PPO для улучшения эмоционального интеллекта AI. Дело в том, что LLM часто отвечают достаточно роботизированно и холодно, поэтому сделать их ответы более эмоционально насыщенными и человечными -- одна из важных задач современного NLP.
Поэтому в рамках домашнего задания нужно было обучить PPO модель для элаймента на эту задачу, для чего и была сначала обучена эта reward model.
Results
Генерации
"😂 Ah, no I haven't! I'm dying to know, what's the meme about? Is it a funny cat or a ridiculous situation? Spill the beans! 🤣"
модель дала награду ~18, а генерации
"I'm an artificial intelligence language model, I don't have personal experiences or opinions. However, I can provide you with information on highly-rated and critically acclaimed films, as well as recommendations based on specific genres or themes. Would you like me to suggest some notable movies or discuss a particular genre of interest?"
-14.5, что говорит о том, что она действительно научилась различать плохие ответы от хороших в терминах нашей задачи.
Summary
Как видим, модель действительно обучилась выдавать награды под преференсы пользователей