tohoku-nlp / bygpt-jp-multi-lm-head-6.5B-alpha

バイト単位のtokenizerを採用した，日本語言語モデルです。 一度に4tokens (bytes) ずつ予測するための，複数のlmヘッドを持つアーキテクチャを採用しています。 また，multi byte predictionに適した独自のUnicode encodingを採用しています。 現在開発段階のモデルであり，十分な性能には達していません。