DeepEvalとは

DeepEvalは、LLM（大規模言語モデル）を用いたアプリケーションの品質を評価するためのオープンソース評価フレームワークです。GitHubでは、LLMを評価するフレームワークであり、LLMアプリケーションの単体テストに特化していると説明されています。
主に、LLMを組み込んだアプリケーションの出力品質をテストケースと評価指標に基づいて自動評価するために使用されます。
Confident AI社の共同創業者によって開発・保守が行われており、GoogleやOpenAI、Microsoft、Uber、LEGOなど世界の先進的なAI組織での採用実績も報告されています。
2026年5月時点でリリース数は55、15.8kスターを獲得しており、今後もTypeScript版の開発やCI/CD・エージェントコーディングツールとのさらなる統合が予定されています。

主な特徴

DeepEvalは、LLMアプリケーションの品質評価を包括的に支援する評価フレームワークであり、テストの自動化から評価データセット管理、ベンチマーク評価、プロンプト改善までを一貫して実施できます。

従来のアプリケーションテストでは、期待値と実際の結果を比較して正誤を判定しますが、LLMを使ったAIアプリケーションでは、同じ質問に対して複数の自然な回答があり得るため、単純な文字列一致だけでは品質を判断しにくいという特徴があります。
DeepEvalでは、このようなLLMアプリケーション特有の課題に対して、「質問に正しく答えているか」「根拠と矛盾していないか」「幻覚がないか」といった観点で出力を評価します。この評価に用いられる考え方はLLM-as-a-Judgeと呼ばれ、評価対象のLLM出力に対して、別のLLMが評価者として判定を行います。

また、Pytestに近い感覚で、LLMの出力に対してユニットテストのような評価が行える点や、チャットボット、RAGパイプライン(※₁)、AIエージェント、プロンプト等の評価など、LLM出力を多方面的に測定するための評価メトリクスが利用できる点も特徴です。

※₁　RAGパイプラインは、AIに回答させる前に、外部の文書やデータベースから関連情報を検索し、その情報をもとに回答を作成する一連の処理のこと

具体的には、以下のような機能を提供しています。

※₂ DeepEvalにおけるGoldenとは、入力・期待値出力・参照コンテキスト等を含む評価データであり、評価時にTest Caseへ変換される前段階のデータのこと

DeepEvalが出力を評価する際の主な評価メトリクスの分類は以下となります。

メリット・デメリット

類似プロダクト

LLM評価フレームワークは複数存在します。
以下に代表的なプロダクトの概要とDeepEvalとの相違点を示します。

動作環境

DeepEvalは、PyPIで配布されるPythonパッケージで、Python 3.9以降のバージョンで動作します。

# DeepEvalのインストール
pip install -U deepeval

# （任意）Confident AIとの連携
deepeval login