セグメント化された分析¶
セグメント化された分析により、デプロイ時のトレーニングおよび予測データ要求の運用上の問題点を特定します。 DataRobotでは、データのドリフトと精度の統計を固有のセグメント属性と値にフィルタリングすることでドリルダウン分析が可能になります。 Reference the guidelines below to understand how to configure and view segmented analysis.
セグメント分析の設定¶
サービスの正常性、データドリフト、精度のためにセグメント分析を使用するには、以下のデプロイ設定を有効にする必要があります。
-
Enable target monitoring (required to enable data drift and accuracy tracking)
-
Enable feature drift tracking (required to enable data drift tracking)
-
Track attributes for segmented analysis of training data and predictions (required to enable segmented analysis for service health, data drift, and accuracy)
備考
これらの設定を行えるのは、デプロイオーナーだけです。
セグメント分析の表示¶
If you have enabled segmented analysis for your deployment and have made predictions, you can access various statistics by segment. デフォルトで、セグメンテーションなしでデプロイの統計が表示されます。 There are two dropdowns used for segment analysis: Segment Attribute and Segment Value.
サービスの正常性¶
サービスの正常性のセグメント化された分析では、すべてのデプロイに固定のセグメント属性を使用します。 セグメント属性は、予測リクエストを表示するさまざまな方法を表します。 セグメント値は、1つ以上の予測リクエストに存在する選択されたセグメント属性の単一の値です。 ソースは、以下に適用されるセグメント属性に応じた値別で表されます。
| セグメント属性 | 説明 | セグメント値 | 例 |
|---|---|---|---|
| DataRobot-Consumer （DataRobotのコンシューマー） | 予測リクエストをしたデプロイのユーザー別で、予測リクエストをセグメント化します。 | 各セグメントの値は、ユーザーのEメールアドレスです。 | Segment Attribute: DataRobot-Consumer Value: username@datarobot.com |
| DataRobot-Host-IP（DataRobotのホストIP） | 予測リクエストをするために使用される予測サーバーのIPアドレス別で、予測リクエストをセグメント化します。 | 各セグメントの値は、一意のIPアドレスです。 | セグメント属性：DataRobot-Host-IP 値：168.212. 226.204 |
| DataRobot-Remote-IP （DataRobotのリモートIP） | 呼び出し元（予測リクエストするために使用されるマシン）のIPアドレス別で、予測リクエストをセグメント化します。 | 各セグメントの値は、一意のIPアドレスです。 | セグメント属性：DataRobot-Remote-IP 値：63.211. 546.231 |
セグメント属性を選択してから、その属性のセグメント値を選択します。 When both are selected, the Service health tab automatically refreshes to display the statistics for the selected segment value.
Segment availability
Deployment monitoring tabs determine the available segment values from the specified time range. If a tracked segment attribute or value was present only in prediction requests outside the specified time range, that attribute or value does not appear in the Segment Value dropdown menu.
データドリフトと精度¶
データドリフトと精度のセグメント化された分析により、すべてのデプロイの固定属性に加えて、カスタム属性が可能になります。 セグメント属性は、データを表示するさまざまな方法を表します。 セグメント値は、1つ以上の予測リクエストに存在する選択されたセグメント属性の単一の値です。 ソースは、以下に適用されるセグメント属性に応じた値別で表されます。
| セグメント属性 | 説明 | セグメント値 | 例 |
|---|---|---|---|
| DataRobot-Consumer （DataRobotのコンシューマー） | 予測リクエストをしたデプロイのユーザー別で、予測リクエストをセグメント化します。 | 各セグメントの値は、ユーザーのEメールアドレスです。 | Segment Attribute: DataRobot-Consumer Value: username@datarobot.com |
| カスタム属性 | セグメント化された分析を設定するときに示されたトレーニングデータ内の列に基づくセグメント。 たとえば、トレーニングデータに「国」列が含まれている場合、それをカスタム属性として選択し、データを個々の国（カスタム属性のセグメント値を構成する）でセグメント化できます。 | 指定したセグメント属性に基づきます。 | セグメント属性：「国」 値：「スペイン」 |
| なし | セグメンテーションなしでデータドリフト統計を表示します。 | すべて（セグメンテーションは適用されていません）。 | N/A |
セグメント属性を選択してから、その属性のセグメント値を選択します。 両方を選択すると、データドリフトタブが自動的に更新され、選択したセグメント値の統計が表示されます。