Compare evaluations

W&B Weave の Compare evaluations ビューでは、ログされた 2 つ以上の評価を並べて確認できます。これを使用すると、プロンプト、モデル、または scorer を変更したときに Runs 間でメトリクスがどのように変化するかを確認でき、結果から結論を出す前に、データセットや scorer の不整合を見つけることができます。このガイドは、Weave UI でログされた評価を比較したい Weave ユーザー向けです。Compare evaluations ビューを開く方法、サマリーチャートと結果テーブルに表示される内容、さらにベースラインの設定、評価の並べ替え、比較対象からの評価の削除など、比較を調整するために実行できる操作について説明します。

Compare evaluations ビューを開く

Compare evaluations ビューを開くには、次の手順に従います。

Weave のプロジェクトのサイドバーで、Evals を選択します。
評価の表で、比較する 2 つ以上の評価のチェックボックスを選択します。
評価の表のツールバーで、Compare を選択します。

Compare evaluations ビューが開き、選択した各評価がページ上部の比較バーに token として表示されます。デフォルトでは、左端の評価がベースラインとなり、他の各評価はそれと比較されます。

比較結果を確認する

Compare evaluations view には 2 つのタブがあります。

Summary: 比較対象の各評価について、各メトリクスの集計チャートが表示され、その下にプロパティとメトリクスの表が続きます。
Dataset results: サンプルごとの結果をまとめた表で出力を行単位で比較できるほか、2 つの評価を比較する場合は差異を見つけるための散布図も表示されます。

Summary タブ

Summary タブはデフォルトで開きます。ここには 2 つの領域があります。

Charts: 比較対象の評価全体にわたるすべてのメトリクス値をプロットしたレーダーチャートと、それに続くメトリクスごとのチャート (数値メトリクスは棒グラフ、pass/fail メトリクスはカバレッジチャート) 。
Properties and metrics table: チャートの下にある表で、各評価の設定と集計スコアを一覧表示します。

Properties and metrics table には、比較対象の各評価について次の情報が表示されます。

Evaluation: 評価 ID。
Model: その評価でスコア付けされたモデルのバージョン。
Dataset: 評価の実行に使用したデータセットのバージョン。
Properties: 評価に記録された追加のプロパティ。
Metrics: 評価の Scorer によって生成された各メトリクスの集計値。

数値メトリクスでは、ベースラインとの差分が値の横に色付きのバッジで表示されます。色は、その変化がそのメトリクスにとって好ましい方向か不利な方向かを示します。デフォルトでは、値が高いほど良いと見なされるため、緑のバッジは増加、赤のバッジは減少を表します。値が低いほど良いように設定されたメトリクスでは、色は逆になります。比較対象のすべての評価で同一のプロパティとメトリクスを非表示にするには、Diff only をオンにします。 Weave は、比較の解釈に影響する可能性がある差異を検出すると、表内にインライン警告を表示します。

Dataset inconsistency detected: 比較対象の評価間でデータセットが異なっています。集計メトリクスは直接比較できない可能性があり、Dataset results タブは各データセットの共通部分に含まれる examples に限定されます。
Scoring inconsistency detected: 比較対象の評価間で scorer が異なっています。評価ごとに scoring ロジックが異なるため、結果を比較する際は注意してください。

Weave は、サマリーを見やすく保つために、比較対象のすべての評価で共通していない score フィールドも非表示にします。フィールドが非表示になっている場合は、ビュー上部の情報バナーにその数が表示されます。表示するフィールドを選択するには、Manage fields を選択します。

Dataset results タブ

選択した評価間で個々のデータセット例を比較するには、Dataset results を選択します。各行は 1 つのデータセット例に対応し、データセットの入力と各評価の出力、および Scorer のメトリクスが並べて表示されるため、特定の例でどこに差異があるかを確認できます。行を選択すると、左右に並べた詳細ビューが開きます。比較する評価がちょうど 2 つの場合、このタブには表の上に 2 つの散布図が表示されます。各プロットでは、各点が 1 つのデータセット例を表し、2 つの評価それぞれにおけるメトリクス値に基づいて配置されるため、評価間で差異のある例が目立ちます。点の領域を選択 (ブラッシング) して、表に表示する例をフィルターできます。また、各プロットの Dimension メニューで、表示するメトリクスを選択できます。 Dataset results タブでは、比較対象の評価が同じデータセット行を共有している必要があります。データセットに共通の行がない場合、結果の表は表示されません。