企業の生産性を革新するオールインワンの生成AI・LLMソリューションを提供するAllganize Japan株式会社（代表取締役CEO：佐藤 康雄 、以下：「Allganize」）は、日本語RAG性能を評価した日本初のRAG Leaderboardを公開しました。

RAG（Retrieval Augmented Generation：検索拡張生成）は、社内ドキュメントや特定情報から信頼できるデータを検索の上で情報抽出し、同データに基づいてLLMに回答させる技術です。企業内部情報の生成AI・LLM活用や、ハルシネーション低減の役割で注目されています。RAGの実装方法は各社によって異なるため、採用するRAGソリューションによって回答精度は異なります。Allganizeでは、企業によるRAG活用の参考情報として、主要なRAGソリューションの日本語性能を評価した Allganize RAG Leaderboard を作成しました。本Leaderboardは、AIに特化したプラットフォームである「Hugging Face」にて本日より閲覧いただけます。

Allganize RAG Leaderboard とは

Allganize RAG Leaderboardとは、客観的な手法で主要なRAG（Retrieval Augmented Generation：検索拡張生成）ソリューションの性能を評価した性能表です。

企業の内部情報や特定情報を生成AI・LLMで活用するために、RAGを導入する企業が増えています。RAGの導入により、業務効率化や生産性向上を実現できますが、RAGの実装技術や仕組みによって回答精度が大きく変わるため、思ったような成果が得られないといった声も少なくありません。特に、日本企業が取り扱うドキュメントは図表などを多数含む複雑な文書が多く、さらに業種ドメイン毎にドキュメント形態や内容も異なるため、回答の難易度が高い傾向にあります。

RAGソリューションの性能評価には、検証ドキュメントや質問と回答といったデータセット、検証環境の構築が求められ、各社が自社で検証を行うことは容易ではありません。Allganizeは、企業のRAG導入検討の参考にしていただきたく、Allganize RAG Leaderboard を公開いたしました。

Allganize RAG Leaderboard URL：https://huggingface.co/datasets/allganize/RAG-Evaluation-Dataset-JA

Allganize RAG Leaderboardの特徴

1. RAGソリューションの3つの要素を評価

RAGソリューションの構成要素である、以下の3つを評価しています。

（1）Parser：文書から文字・図・表などを抽出し、読みやすいフォーマットに変更

（2）Retriever：企業が保有する膨大なデータの中から、ユーザーの質問の回答となる情報を抽出

（3）Generation：Retrieverが抽出した情報と学習データにもとづいてLLMが回答を生成

2. 5つの業種ドメインについて、図表を含むドキュメントのRAGの性能を評価

業種によってドキュメントの傾向が異なるため、「金融」「情報通信」「製造」「公共」「流通・小売」の5つの業種ドメインのドキュメントに対して、RAGの性能を評価しています。各ドメイン12〜14のドキュメントを用意し、ドメイン毎に60個の質問を行っています。実際の業務で利用するドキュメントと同様、図表を含むドキュメントを使用して評価しました。

3. 客観性を保つ自動性能評価

客観的な評価を実施するために、自動性能評価方法を採用しています。あらかじめ質問に対する正解回答を用意し、質問に対してRAGソリューションで生成した回答について、4つのLLM Eval（測定ツール）を用いて評価しました。

対象のRAGソリューション

以下のRAGソリューションを評価対象としています。今後も評価対象を追加予定です。
・Alli（Allganizeの提供するRAGソリューション）
・LangChain

・OpenAI Assistant

・Cohere

Allganize RAG Leaderboardの公開先

Allganize RAG Leaderboardは、AI・機械学習分野に特化したプラットフォームである「Hugging Face」にて、本日より閲覧いただけます。ドキュメント、質問と正解回答といった検証に利用したデータセット、各RAGソリューションのリンクも公開していますので、どなたでも同様の検証を行なっていただくことが可能です。

Allganize RAG Leaderboard URL：https://huggingface.co/datasets/allganize/RAG-Evaluation-Dataset-JA

AllganizeのRAGソリューションについて

Allganizeは、様々な業界のお客様のAI活用をサポートしており、その経験をもとに、企業利用を前提としたRAGソリューションを独自開発し提供しています。

AllganizeのRAGは特許出願中の独自技術により、図表からも高精度で回答を生成します。また、数百万件以上の社内文書から正確な回答を見つけることができるよう、高性能なリトリーバーモデルを構築しています。キーワードベースのElastic Searchと、文書のタイトルやページのベクトル検索で構成され、業界固有のデータが事前に学習されています。さらに、顧客のドキュメントやデータベースを連携させることで、追加開発を行うことなく顧客専用のモデルを自動的に作成します。結果に対するユーザーフィードバックも反映できるようになっており、リトリーバーの精度を継続的に向上できるRAGシステムとなっています。ユーザーのフィードバックを活用した回答生成手法、キーワードベース検索と意味ベース検索を相互補完して検索性能を向上させる方法、表形式データを崩さず認識する方法は、それぞれ特許出願中の独自技術を用いています。

AllganizeのRAG技術の詳細はこちら：https://blog-ja.allganize.ai/tag/tech/

また、AllganizeのRAGソリューションは、Allganizeが提供するオールインワン生成AI・LLMアプリケーションプラットフォーム：Alli LLM App Market にて標準提供しています。RAG対象のドキュメント管理、Retrieverの最適化機能、ユーザー向けのインタフェースなど、企業活用にあたっての必要な要素を揃えており、アプリを選択するだけですぐに業務活用いただくことが可能です。

Alli LLM App Marketはこちら：https://www.allganize.ai/ja/alli-llmapp-market

関連イベント開催

2024年9月20日に開催する以下のイベントにて、AllganizeのRAGソリューションおよび本RAG Leaderboardについて紹介いたします。

【東京メトロ様ご登壇！】生成AI・LLMで実現するコールセンター業務・CXの高度化

〜業務効率化から新たな価値創造へ〜
　日時：2024年9月20日（金）16:30〜
　会場：渋谷ソラスタコンファレンス
　主催：Allganize Japan株式会社
　費用：参加無料（事前申し込み制）
　イベント詳細・お申し込みはこちら：https://www.allganize.ai/ja/events/20240920event

Allganizeについて

Allganizeは、「AIによって全てのビジネスのワークフローを自動化・最適化する」というビジョンのもと、日本、米国、韓国を中心に、グローバルで企業向けのオールインワン生成AI・LLMソリューションを提供しています。グローバルマーケットでの事業経験豊富なメンバーによって創業したAllganizeは、国内外の投資家に支えられ、東京（日本）、ヒューストン（米国）、ソウル（韓国）に拠点を構え事業を展開しています。

会社名：Allganize Japan株式会社（オルガナイズ ジャパン）

代表者：代表取締役CEO　佐藤 康雄

所在地：東京都渋谷区

設立：2019年1月

URL：https://allganize.ai