tohoku-nlp / nanochat-jp-v3-d22

nanochat-jpを用いて22層のtransformerをフルスクラッチから事前学習及び教師あり微調整 (SFT) を実施した際のトークン分割器とチェックポイントです． 事前学習データにはnanochat-jp v3データセットを利用しました． 教師あり微調整 (SFT) にはnanochat-jp-sftを利用しました． 環境変数NANOCHATBASEDIRに本リポジトリのダウンロード先を指定することで，追加学習等を実施することができます． 本リポジトリでのモデルの学習には玄界 (ノードB) 1ノードを24時間利用し学習を実施しました．