cyberagent / calm3-22b-chat-selfimprove-experimental

cyberagent/calm3-22b-chatを学習モデル・データ拡張に用いた自己学習モデルである． Answer Carefully Dataset (ACv1)からデータ拡張し，Direct Preference Optimization (DPO)[Rafailov et al., 23]で学習させた． 特に，不適切な質問応答に関するベンチマーク性能を向上させている．