cyberagent / ca-reward-3b-ja

- 軽量な日本語報酬モデルの開発を目的として実装したモデルを公開する。 - 既存の指示文と新たに合成した指示文に対して、応答文を複数生成し、llm-as-a-judgeで疑似選好ラベルを付与することで疑似選好データセットを作成した。 - 上記の疑似選好データセットを分類するモデルを学習することで、指示文に対する応答文の好ましさを定量化する報酬モデルを作成した。