■１７３０億トークン以上の学習を実施
東京エレクトロン デバイス（ＴＥＤ）＜２７６０＞（東証プライム）は１０月２４日、Ｃｅｒｅｂｒａｓ Ｓｙｓｔｅｍｓと共同で、日本語対応の大規模言語モデル「Ｌｌａｍａ３－ｔｅｄｌｌｍ－８Ｂ－ｖ１」を開発したと発表。このモデルは、Ｍｅｔａ－Ｌｌａｍａ－３－８Ｂを基盤とし、一般的な日本語コーパスと企業の内部データを利用して、１７３０億トークンのデータセットを用いた事前学習を行った。この結果、英語能力を有する基盤モデルに日本語能力を追加し、さらに企業特有のデータを反映させることに成功した。
従来の大規模言語モデル（ＬＬＭ）は主に英語のデータに基づいており、日本国内企業の文化やニーズに応じたモデルを提供するためには、特有の日本語データの追加学習が不可欠であった。ＴＥＤは、自社の豊富なデータを効果的に活用することを目指し、Ｃｅｒｅｂｒａｓ ＣＳ－３を使用して日本語対応のＬＬＭを開発した。この取り組みにより、企業が独自のデータを学習したＬＬＭを迅速かつ確実に構築できる環境が整備される。
今回の開発においては、学習時間の短縮と精度向上が実現された。Ｃｅｒｅｂｒａｓ ＣＳ－３を活用したことで、基盤モデルの言語能力を維持しつつ日本語精度が向上し、業界特有のデータを取り込むことで実践的な文書生成が可能となった。さらに、アダプターチューニングや強化学習を用いて独自ＬＬＭのユースケース構築を進める予定であり、これにより企業の生成ＡＩ活用の幅が広がることが期待される。（情報提供：日本インタビュ新聞社・株式投資情報編集部）
関連記事
ピックアップ記事
-
■ＡＩ機能強化でさらに便利に！Ｓｉｒｉの進化とＣｈａｔＧＰＴ統合で作業効率向上 Ａｐｐｌｅは３月… -
■ＣｈａｔＧＰＴ Ｅｎｔｅｒｐｒｉｓｅを活用し、業務効率化と新たな価値創造を推進 ふくおかフィナ… -
■２０２４年度の美容室倒産件数、前年を大幅に上回る１９７件 帝国データバンクの調査によると、２０…
