東京エレクトロンデバイス、企業の膨大な内部データを学習可能とした独自大規模言語モデル(LLM)の開発に成功

■1730億トークン以上の学習を実施

 東京エレクトロン デバイス(TED)<2760>(東証プライム)は10月24日、Cerebras Systemsと共同で、日本語対応の大規模言語モデル「Llama3-tedllm-8B-v1」を開発したと発表。このモデルは、Meta-Llama-3-8Bを基盤とし、一般的な日本語コーパスと企業の内部データを利用して、1730億トークンのデータセットを用いた事前学習を行った。この結果、英語能力を有する基盤モデルに日本語能力を追加し、さらに企業特有のデータを反映させることに成功した。

 従来の大規模言語モデル(LLM)は主に英語のデータに基づいており、日本国内企業の文化やニーズに応じたモデルを提供するためには、特有の日本語データの追加学習が不可欠であった。TEDは、自社の豊富なデータを効果的に活用することを目指し、Cerebras CS-3を使用して日本語対応のLLMを開発した。この取り組みにより、企業が独自のデータを学習したLLMを迅速かつ確実に構築できる環境が整備される。

 今回の開発においては、学習時間の短縮と精度向上が実現された。Cerebras CS-3を活用したことで、基盤モデルの言語能力を維持しつつ日本語精度が向上し、業界特有のデータを取り込むことで実践的な文書生成が可能となった。さらに、アダプターチューニングや強化学習を用いて独自LLMのユースケース構築を進める予定であり、これにより企業の生成AI活用の幅が広がることが期待される。(情報提供:日本インタビュ新聞社・株式投資情報編集部)

関連記事


手軽に読めるアナリストレポート
手軽に読めるアナリストレポート

最新記事

カテゴリー別記事情報

ピックアップ記事

  1. ■シスルナ経済圏構築に向け、グローバルなパートナーシップを強化  ispace(アイスペース)<9…
  2. 【先人の教えを格言で解説!】 (犬丸正寛=株式評論家・平成28年:2016年)没・享年72歳。生前に…
  3. ■物価高・人手不足が直撃、倒産件数29カ月連続で増加  帝国データバンクの調査によると、倒産件数が…
2024年12月
 1
2345678
9101112131415
16171819202122
23242526272829
3031  

ピックアップ記事

  1. ■業績上方修正、増配、自己株買い…メガバンクが躍進  同コラムでは、11月11日付けで業績を上方修…
  2. ■サンタクロースはGPIF?日経平均急騰の背景と、日米中銀の思惑  突如、「餅つき相場」、「クリス…
  3. ■低位株と割安銘柄で挑む12月決算市場  12月期決算銘柄の師走相場では、業績を上方修正し増配を発…
  4. ■師走相場、守りと攻めの二刀流で挑む年末投資戦略  「守るも攻めるも」あと1カ月である。師走相場が…

アーカイブ

「日本インタビュ新聞社」が提供する株式投資情報は投資の勧誘を目的としたものではなく、投資の参考となる情報の提供を目的としたものです。投資に関する最終的な決定はご自身の判断でなさいますようお願いいたします。
また、当社が提供する情報の正確性については万全を期しておりますが、その内容を保証するものではありません。また、予告なく削除・変更する場合があります。これらの情報に基づいて被ったいかなる損害についても、一切責任を負いかねます。
ページ上部へ戻る