■ＲＡＧシステムの品質評価の煩雑さを大幅に削減

　アイデミー＜５５７７＞（東証スタンダードは１１日、ＬＬＭ（Ｌａｒｇｅ　Ｌａｎｇｕａｇｅ　Ｍｏｄｅｌｓ：大規模言語モデル）が生成する出力結果の品質を評価・管理する新しいクラウドサービス「ＬＬＭ品質管理クラウド」をリリースすると発表した。同サービスは、企業や組織がＲＡＧ（Ｒｅｔｒｉｅｖａｌ－Ａｕｇｍｅｎｔｅｄ　Ｇｅｎｅｒａｔｉｏｎ）システムに代表されるＬＬＭを活用したシステムをより安心して活用できる環境を提供するために、生成結果の品質評価の手間とコストを削減することを目指している。

　生成ＡＩの急速な発展により、多くの企業や組織が日常業務や戦略的活動に生成ＡＩを取り入れるようになっている。生成ＡＩは、資料作成、コーディング、カスタマーサポート、マーケティングなど、多岐にわたる分野で革新的なソリューションを提供している。その中でも社内ドキュメントの検索を組み合わせることで回答精度を向上させることができるＲＡＧシステムの需要は高まっている。

　しかし、ＲＡＧシステムであっても、その出力結果が不正確であったり、倫理的・法的なリスクをはらんでいたり、バイアスを含んでいたりする可能性がある。また、ＬＬＭによる出力は、同一のプロンプトであっても一字一句同じとは限らないため機械的な評価がしづらく、目視でチェックしたりＬＬＭによってチェックをする仕組みを整えたりする必要があり、非常に煩雑である。さらに、一度チェックしたからＯＫというわけではなく、ＬＬＭのアップデートによって出力が変化する可能性があるため、継続的に管理する仕組みが必要になる。

　「ＬＬＭ品質管理クラウド」は、ＬＬＭによる出力の評価を自動で行う仕組みを提供し、評価結果を継続的に蓄積。ＲＡＧシステムの改善につなげていくことで、企業が生成ＡＩの活用をさらに推進していける環境の提供を目指すとしている。

【サービスの概要】

　「ＬＬＭ品質管理クラウド」は、ＬＬＭの出力結果を評価し、管理することを目的としたクラウドベースのプラットフォーム。そのために必要な以下の機能を搭載予定である。
機能１．テストプロンプト管理機能
　主にＲＡＧシステムで活用されることを想定した機能。ＲＡＧシステムが期待する出力をするかを確認するためのテストプロンプトを登録する。登録されたテストプロンプトは、一括実行され結果が表示され、結果を確認し、ＯＫ／ＮＧを判定する。
　ＯＫに分類されたグループは、以後の実行でも自動実行され、出力結果が変化しないことを継続的に自動確認される。ＮＧに分類されたグループは、実行されたらＯＫ／ＮＧ判定を再度くりかえし、最終的にＯＫグループのみになるよう、ＲＡＧシステムを調整していくことができる。

機能２．ＣＩ／ＣＤパイプラインからの呼び出し
　手動で実行するだけでなく、ＣＩ／ＣＤパイプライン上からのＡＰＩ呼び出しによる自動実行もサポート。レスポンスとして評価結果を返し、問題があればＣＩ／ＣＤプロセスを中断することもできる。

機能３．定期実行と結果のレポーティング
　一度テストプロンプトを全部クリアしても、リリース以降ずっと問題がない状態が継続するとは限らない。ＬＬＭ自身のアップデートや品質低下などにより、ＯＫだった出力結果が劣化することも十分にありえ、そのような事態をいち早く検知するために、テストプロンプトを定期実行し、結果をレポーティングする。

機能４．セキュリティリスク、倫理的・法的リスクに対応したプロンプト群の提供
　ＬＬＭには「プロンプトインジェクション」や「ジェルブレイク」など固有のセキュリティリスクが存在する。また、ＬＬＭの出力が倫理的・法的に問題のある内容になってしまうリスクも存在する。そこで、これらのリスクを洗い出すためのプロンプト群をあらかじめ提供する。このプロンプト群を定期実行することで問題点を継続的に洗い出し管理することができる。

　特に倫理面においては、日本では経済産業省によって「ＡＩ事業者ガイドライン」が発表されており、その内容に準拠したプロンプト群を提供する。ガイドラインのアップデートが発表された際には、その内容に即したプロンプトにアップデートしていく。また、利用者が採用される研究機関や教育機関、先進的な企業などが提言するガイドラインなどに即したプロンプト群の提供についても個別に相談が可能である。

　アイデミーは、「ＬＬＭ品質管理クラウド」のさらなる発展のため、随時、機能を追加し、企業や組織が生成ＡＩを安全かつ効果的に活用できる環境をより一層強化していくとしている。

　なお、利用方法については、同サービスは２０２５年１月ごろから順次ローンチの予定としており、以下のページから事前登録すると、最新の生成ＡＩの動向や倫理面・法律面のガイドラインの変化、内容面の品質評価・管理を行うためのメソッドなどの最新ニュースを無料で送られてくる。以下のページから詳細を確認の上、登録が可能。（情報提供：日本インタビュ新聞社・株式投資情報編集部）