23/08/18 20:42:33.87 NF7CNKU6.net
>>857
> 日英2ヶ国語対応の大規模言語モデル開発にあたり、事前学習には代表的な英語のデータセットThe Pileおよび日本語のデータセット Japanese-mC4を使用しました。事後学習（ファインチューニング）には、Alpaca（英語）、Alpaca（日本語訳）、Flan 2021（英語）、Flan CoT（英語）、Flan Dialog（英語）の5つのデータセットを使用しました。事後学習の日本語データ比率が低い（注2）にも関わらず、日本語のベンチマークであるJGLUE評価値が事前学習時と比べて大幅に改善（66→78%）し、言語間の知識転移を確認しました。
言語間の知識転移で日本語データの不足を補うのって、りんなバイリンガルも同じ発想なのかな？