■１７３０億トークン以上の学習を実施
東京エレクトロン デバイス（ＴＥＤ）＜２７６０＞（東証プライム）は１０月２４日、Ｃｅｒｅｂｒａｓ Ｓｙｓｔｅｍｓと共同で、日本語対応の大規模言語モデル「Ｌｌａｍａ３－ｔｅｄｌｌｍ－８Ｂ－ｖ１」を開発したと発表。このモデルは、Ｍｅｔａ－Ｌｌａｍａ－３－８Ｂを基盤とし、一般的な日本語コーパスと企業の内部データを利用して、１７３０億トークンのデータセットを用いた事前学習を行った。この結果、英語能力を有する基盤モデルに日本語能力を追加し、さらに企業特有のデータを反映させることに成功した。
従来の大規模言語モデル（ＬＬＭ）は主に英語のデータに基づいており、日本国内企業の文化やニーズに応じたモデルを提供するためには、特有の日本語データの追加学習が不可欠であった。ＴＥＤは、自社の豊富なデータを効果的に活用することを目指し、Ｃｅｒｅｂｒａｓ ＣＳ－３を使用して日本語対応のＬＬＭを開発した。この取り組みにより、企業が独自のデータを学習したＬＬＭを迅速かつ確実に構築できる環境が整備される。
今回の開発においては、学習時間の短縮と精度向上が実現された。Ｃｅｒｅｂｒａｓ ＣＳ－３を活用したことで、基盤モデルの言語能力を維持しつつ日本語精度が向上し、業界特有のデータを取り込むことで実践的な文書生成が可能となった。さらに、アダプターチューニングや強化学習を用いて独自ＬＬＭのユースケース構築を進める予定であり、これにより企業の生成ＡＩ活用の幅が広がることが期待される。（情報提供：日本インタビュ新聞社・株式投資情報編集部）
関連記事
ピックアップ記事
-
2025/7/8
ライオンが歯周病抑制の鍵を解明、歯ぐきの免疫機能に新知見■歯周病の進行抑制に向け、老廃物除去と免疫調整の２軸で研究 ライオン＜４９１２＞（東証プライム）… -
■バリア性能と印刷適性を両立、２０３０年までに１０億円売上目指す 大日本印刷＜７９１２＞（東証プ… -
■胃がん・大腸がん対策で「Ｔｒａｉｎ ｔｈｅ Ｔｒａｉｎｅｒプログラム」を展開 オリンパス＜７７…
