■１７３０億トークン以上の学習を実施
東京エレクトロン デバイス（ＴＥＤ）＜２７６０＞（東証プライム）は１０月２４日、Ｃｅｒｅｂｒａｓ Ｓｙｓｔｅｍｓと共同で、日本語対応の大規模言語モデル「Ｌｌａｍａ３－ｔｅｄｌｌｍ－８Ｂ－ｖ１」を開発したと発表。このモデルは、Ｍｅｔａ－Ｌｌａｍａ－３－８Ｂを基盤とし、一般的な日本語コーパスと企業の内部データを利用して、１７３０億トークンのデータセットを用いた事前学習を行った。この結果、英語能力を有する基盤モデルに日本語能力を追加し、さらに企業特有のデータを反映させることに成功した。
従来の大規模言語モデル（ＬＬＭ）は主に英語のデータに基づいており、日本国内企業の文化やニーズに応じたモデルを提供するためには、特有の日本語データの追加学習が不可欠であった。ＴＥＤは、自社の豊富なデータを効果的に活用することを目指し、Ｃｅｒｅｂｒａｓ ＣＳ－３を使用して日本語対応のＬＬＭを開発した。この取り組みにより、企業が独自のデータを学習したＬＬＭを迅速かつ確実に構築できる環境が整備される。
今回の開発においては、学習時間の短縮と精度向上が実現された。Ｃｅｒｅｂｒａｓ ＣＳ－３を活用したことで、基盤モデルの言語能力を維持しつつ日本語精度が向上し、業界特有のデータを取り込むことで実践的な文書生成が可能となった。さらに、アダプターチューニングや強化学習を用いて独自ＬＬＭのユースケース構築を進める予定であり、これにより企業の生成ＡＩ活用の幅が広がることが期待される。（情報提供：日本インタビュ新聞社・株式投資情報編集部）
関連記事
ピックアップ記事
-
2025/5/21
【熱中症対策】企業の半数以上が「義務化」を認知、建設業で突出した意識■９割超が対策を実施も、「ＷＢＧＴ」の認知は依然として低調 帝国データバンクの調査により、「熱中… -
2025/5/20
吉野家ＨＤ、ラーメン事業を第３の柱に５年で５倍成長へ、中期経営計画を発表■「変身と成長」掲げ１３００億円の積極投資、収益構造の転換図る 吉野家ホールディングス＜９８６１… -
■人手不足を補いながら顧客満足度の向上に貢献 シャープ＜６７５３＞（東証プライム）は５月２０日、…
