サービスの正常性のモニタリングを設定¶
デプロイのサービスの正常性 > 設定タブでは、サービスの正常性に対してセグメント化された分析を有効にできます。ただし、データドリフトと精度に対してセグメント化された分析を使用するには、次のデータドリフト設定も有効にする必要があります。
-
ターゲット監視(データドリフトおよび精度の追跡を可能にするために必要)
-
特徴量ドリフト追跡の有効化(データドリフト追跡を有効にするために必要)
デプロイに必要な追跡を有効にしたら、一意のセグメント属性と値にフィルターすることで、サービスの正常性、データドリフト、精度の統計に対してセグメント化された分析ができるようにします。
デプロイのサービス正常性の設定ページでは、次の設定を行うことができます。
フィールド | 説明 |
---|---|
セグメント化された分析 | |
トレーニングデータと予測に対するセグメント化された分析のために属性を追跡 | DataRobotで、カテゴリー特徴量など、セグメント別にデプロイ予測を監視できるようにします。 |
定義 | |
範囲 | Displays the reference period for service health monitoring notifications; by default, the period is the last 7 days. |
通知 | |
通知を送信 | サービス正常性監視の通知チェックのスケジュールを設定します。 |
Select segments for analysis¶
セグメント分析を有効にしたら、予測を行う前に、トレーニングおよび予測データで追跡するセグメント属性を指定する必要があります。 追跡するセグメント属性を選択すると、モデルのデータが属性によってセグメント化され、ユーザーは追跡対象として選択した属性を構成するセグメント値を詳細に分析できます。 セグメント化された分析に使用される属性は、デプロイされたモデルのトレーニングデータセットに存在する必要がありますが、モデルの特徴量である必要はありません。 追跡に使用できるセグメント属性のリストは、複数系列デプロイで使用される選択された系列IDを除いて、カテゴリー特徴量に限定されます。 属性を追跡するには、トレーニングデータと予測に対するセグメント化された分析のために属性を追跡フィールドに目的の属性をリストします。
備考
If the training dataset used for the model doesn't contain any features suitable for segmented analysis, a tooltip appears stating: There are no corresponding categorical attributes in the training dataset
.
DataRobot-Consumer
属性(予測リクエストを行うユーザーを表します)は、デフォルトで常にリストされます。 セグメント化された分析を有効にした時系列デプロイの場合、DataRobotはセグメント化された属性のForecast Distance
とseries id
(IDは複数系列モデルのみに適用)を最大で2つ自動的に追加します。 予測距離は、トレーニングデータセットに明示的に存在しなくても、自動的にセグメント属性として提供されます。予測ポイントと予測される日付に基づいて推測されます。 これらの属性により、特定の予測距離、系列、またはその他の定義された属性での精度およびドリフトが確認できます。 追跡する属性を確定したら、保存をクリックします。 予測を作成して、セグメントごとにデプロイを分析するタブ(サービスの正常性、データドリフト、および精度。
重要
セグメント分析は、セグメント分析が有効になってから行われた予測に対してのみ利用できます。
通知チェックのスケジュール¶
サービスの正常性は、予測リクエストに対するデプロイのレスポンス速度と信頼性に関する指標を追跡します。 デプロイインベントリでサービスの正常性ステータスを表示し、 モニタリング > サービスの正常性タブでサービスの正常性を視覚化できます。
備考
サービス正常性の監視設定を変更できるのは、デプロイオーナーだけです。ただし、ユーザーは通知が送信される条件を設定することができます。 コンシューマーは監視や通知の設定を変更できません。
サービスの正常性の監視では、デプロイインベントリで報告されるサービスの正常性ステータスの変化が報告され、予測リクエストまたは予測サーバーで4XXエラーと5XXエラーが発生したことが示されます。
- 4xxエラーは、予測リクエスト送信の問題を示します。
- 5xxエラーは、DataRobot予測サーバーの問題を示します。
色 | 説明 | アクション |
---|---|---|
/ 緑 | 合格:4xxおよび5xxエラーなし | 必要なアクションはありません。 |
/ 黄 | 注意:少なくとも1つの4xxエラーがあります。5xxエラーはありません | 懸念がありますが、早急のアクションは必要ありません。監視を継続してください。 |
/ 赤 | 失敗:少なくとも1つの5xxエラーがあります | 早急なアクションが必要です。 |
/ グレー | 不明:予測なし | 予測の作成。 |
サービス正常性監視のEメール通知を送信すべきかどうかを判断するために、定期的なチェックをスケジュールするには:
-
サービス正常性の設定ページの通知セクションで、通知を送信を有効にします。
-
スケジュールを設定をクリックし、サービスの正常性通知の設定を行います。 次の表にスケジュールオプションを示します。 すべての時間はUTCで表示されます。
頻度 説明 毎時 各正時の選択した分数後。 毎日 各日の選択した時刻。 毎週 各選択日の選択した時刻。 毎月 各月の各選択日の選択した時刻。 月内で選択された日は、コンマ区切りのリストで数値( 1
から31
)として表されます。毎四半期 四半期の各月の各選択日の選択した時刻。 各月の選択日は、コンマ区切りのリストで数値( 1
から31
)として表されます。毎年 各選択月の、各選択日の選択した時刻。 各月の選択日は、コンマ区切りのリストで数値( 1
から31
)として表されます。高度なスケジューラーを使用する 分 0
から59
の範囲の数値のコンマ区切りのリストで定義された各分(1時間全体の場合は*
)。時間 0
から23
の範囲の数値のコンマ区切りのリストで定義された各正時(1日全体の場合は*
)。日 1
から31
の範囲の数値のコンマ区切りのリストで定義された各日(1月全体の場合は*
)。月 1
から12
の範囲の数値のコンマ区切りのリストで定義された各月(1年全体の場合は*
)。曜日 0
から6
の範囲の数値のコンマ区切りのリストで定義された各曜日(すべての曜日の場合は*
)。 -
スケジュール設定を更新したら、保存をクリックします。
重要
通知設定で指定した時間により、監視のタイプに応じたステータスチェックがスケジュールされます。 DataRobotは、 _チェックの間に監視イベントが発生した場合_のみ、サブスクライバーに通知を送信します。例えば、4xxまたは5xxエラーを受信した場合などです。