データ探索¶

On a deployment's Monitoring > Data exploration tab, you can interact with a deployment's stored data to gain insight into model performance and use that data to calculate custom metrics. The Data Exploration Summary includes the following functionality, depending on the deployment type:

Configure data exploration range¶

In the deployment from which you want to export stored training data, prediction data, or actuals, click the Monitoring > Data exploration tab and configure the following settings to specify the stored training data, prediction data, or actuals you want to export:

デプロイデータのエクスポート¶

On the Data Exploration Summary (or, for Generative AI deployments, the Data export tab of the Data Exploration Summary), you can download a deployment's stored data. This can include training data, prediction data, actuals, and custom metric data. You can use the exported data to compute and monitor custom business or performance metrics on the Custom metrics tab or outside DataRobot. カスタム指標のためにデプロイデータをエクスポートするには、デプロイに予測データが保存されていることを確認し、指定された時間範囲のデータを生成して、そのデータを表示またはダウンロードします。

Export a deployment's production data¶

To access deployment data export for prediction data, actuals, or custom metric data, on the Data Exploration Summary page, locate the Production data panel. On the Production data panel, in the Generate button, click the down arrow and select one of the data generation options. The availability of the following options depends on the data stored in the deployment for the model and time range selected:

Production data appears in the table below the panels. You can identify the data type in the Exported data column.

Export a deployment's training data¶

To access deployment data export for training data, on the Data Exploration Summary page, locate the Training data panel and click Generate training data to generate data for the specified model and time range:

トレーニングデータがトレーニングデータパネルに表示されます。 Click the down arrow to choose between Open training data and Download training data :

Review and download data¶

After the production or training data are generated, you can view or download the data. Production data appears in the table below the panels, where you can identify the data type in the Exported data column. Training data appears in the Training data panel.

エクスポートされたデプロイデータをカスタム指標に使用¶

エクスポートされたデプロイデータを使用して独自のカスタム指標を作成するには、エクスポートされたデータを含むCSVファイルから読み取り、エクスポートプロセスで自動的に生成された列を含む結果の値を使用して指標を計算するスクリプトを実行します。

この例では、エクスポートされた予測データを使い、DataRobotの予測タイムスタンプ（DR_RESERVED_PREDICTION_TIMESTAMP）をDateFrameインデックス（または行ラベル）として、30日間のtime_in_hospital特徴量の変化を計算およびプロットしています。 また、エクスポートされたトレーニングデータをプロットのベースラインとして使用します。

import pandas as pd
feature_name = "<numeric_feature_name>"
training_df = pd.read_csv("<path_to_training_data_csv>")
baseline = training_df[feature_name].mean()
prediction_df = pd.read_csv("<path_to_prediction_data_csv>")
prediction_df["DR_RESERVED_PREDICTION_TIMESTAMP"] = pd.to_datetime(
    prediction_df["DR_RESERVED_PREDICTION_TIMESTAMP"]
)
predictions = prediction_df.set_index("DR_RESERVED_PREDICTION_TIMESTAMP")["time_in_hospital"]
ax = predictions.rolling('30D').mean().plot()
ax.axhline(y=baseline - 2, color="C1", label="training data baseline")
ax.legend()
ax.figure.savefig("feature_over_time.png") 

DataRobotの列参照¶

DataRobot は、エクスポート用に生成された予測データに、以下の列を自動的に追加します。

Explore deployment data quality¶

生成AIデプロイのデータ探索タブで、データ品質をクリックすると、関連付けIDが一致するプロンプト、回答、ユーザー評価、カスタム指標を調べることができます。 このビューでは、生成AIモデルの回答の品質に関するインサイトが、ユーザーによる評価と、実装した生成AIのカスタム指標に基づいて提供されます。

Locate specific rows by filtering the table to only display rows containing Prompt values, Response values, or Actual values. Click Search to locate a specific row in the Data quality table by prompt:

Click the open icon to expand the details panel, displaying a row's full Prompt and the Response matched with the prompt by association ID: