Advanced experiment setup¶

トレーニングの前に、より高度なモデリング条件を適用するには、オプションで以下の操作を行うことができます。

• パーティショニングの変更。
• Configure incremental learning
• 追加設定を行います。
• 構成設定の変更。

データパーティショニングタブ¶

パーティショニングは、評価とモデル構築のためにDataRobotが観測値（または行）をまとめて「集中させる」方法を示します。 ワークベンチのデフォルトは、 層化サンプリング（二値分類エクスペリメントの場合）またはランダム（連続値エクスペリメントの場合）による 5分割交差検定、および20%のホールドアウト分割です。

分割手法または検定タイプを追加設定から変更するか、サマリーのパーティショニングフィールドをクリックして変更します。

分割手法の設定¶

分割手法では、モデルのトレーニング時に行を割り当てる方法をDataRobotに指示します。 分割手法と検定タイプの選択は、ターゲット特徴量およびパーティション列に依存します。 つまり、すべての選択が常に使用可能として表示されるわけではないということです。 次の表は、各手法を簡単に説明しています。パーティショニングの詳細については、 このセクションも参照してください。

検定タイプの設定¶

検定タイプは、モデルを検証するためにデータで使用される方法を設定します。 方法を選択し、関連するフィールドを設定します。 設定フィールドの下のグラフィックは、設定を示します。 ユーザー定義または自動化されたグループパーティショニングを使用する場合は、検定タイプの説明を参照してください。

グループ化によるパーティション¶

あまり一般的ではありませんが、ユーザー定義および自動化されたグループ分割では、グループ化の基礎となるデータセットの特徴量を _パーティション特徴量_で分割する方法が行われます。

• _ユーザー定義のグループ化_では、選択したパーティション特徴量の一意の値ごとにパーティションが作成されます。 つまり、行は、選択したパーティション特徴量の値を使用してパーティションに割り当てられ、一意の値ごとに1つのパーティションになります。 この方法を選択すると、パーティション特徴量の一意の値が10未満である特徴量を指定することが推奨されます。

• _自動化されたグループ化_では、パーティション特徴量の同じ単一（指定）値を持つすべての行が同じパーティションに割り当てられます。 各パーティションには、その特徴値が複数含まれることがあります。 この方法を選択すると、DataRobotにより一意の値が6以上である特徴量を指定することが推奨されます。

これらの方法のいずれかを選択すると、パーティション特徴量を入力するように求められます。 ヘルプテキストからは、パーティション特徴量に含める必要のある値の数に関する情報が得られます。ドロップダウンをクリックして、一意の値の数を含む特徴量を表示します。

パーティション特徴量の選択後、検定タイプを設定します。 検定タイプの適用性は、次のチャートに示すように、パーティション特徴量の一意の値に依存します。

自動化されたグループ化では、上記と同じ 検定設定が使用されます。 しかし、ユーザー定義のグループ化では、パーティション特徴量に固有の値の入力が求められます。 _交差検定_の場合、ホールドアウトの設定はオプションです。 設定する場合は、パーセンテージではなくパーティション特徴量の値を選択します。 _トレーニング-検定-ホールドアウト_の場合、ここでもパーセンテージではなく、各セクションのパーティション特徴量の値を選択します。

Configure incremental learning¶

増分学習（IL）は大規模なデータセット（10GB~100GB）に特化したモデルトレーニング方法であり、データをチャンク化してトレーニングのイテレーションを作成します。 モデルの構築が開始されたら、トレーニング済みのイテレーションを比較し、必要に応じて、別のアクティブバージョンを割り当てるか、トレーニングを継続することができます。 アクティブなイテレーションは、他のインサイトのベースとなり、予測に使用されます。

Using the default settings, DataRobot trains the most accurate model on all iterations and all other models on only the first iteration. From the Model Iterations you can train additional increments once models have been built.

IL experiment setup¶

IL is automatically enabled (required) for any dataset larger than 10GB. To begin configuration:

1. From within a Use Case, add a static or snapshotted dataset.

2. After the dataset registers (this can take significantly longer than non-IL experiments), set a binary classification or regression target, which enables IL and makes the settings available.

   ヒント

   Do not navigate away from the experiment configuration tab before you begin modeling. Otherwise, DataRobot will register the dataset again (which may be time consuming based on size) and the draft that results will not support incremental learning due to the incomplete configuration.

   If there is a longer-than-expected delay, you can check the registration status in the AI Catalog:

   

3. Choose a modeling mode—either Quick Autopilot (the default) or Manual. Comprehensive mode is not available in IL. Notice that the experiment summary updates to show incremental modeling has been activated.

   

4. Click the Additional settings > Incremental modeling tab:

   

5. Configure the settings for your project:

   設定	説明
   増分サイズ	Sets the number of rows to assign to each iteration. DataRobot provides the valid range per increment.
   すべてのイテレーションで最上位モデルをトレーニング	Sets whether training continues for the top-performing model. When checked, the top-performing model is trained on all increments; other Leaderboard models are trained on a single increment. When unchecked, all models are trained on a single increment. This setting is disabled when manual modeling mode is selected.
   モデルの精度が上がらなくなったらトレーニングを停止	Sets whether to stop training new model iterations when model accuracy, based on the validation partition, plateaus. Specifically, training ceases when the accuracy metric has not improved more than 0.000000001% over the 3 preceding iterations.

   A graphic to the right of the settings illustrates the number and size of the increments DataRobot broke the experiment data into. Notice that the graphic changes as the number of increments change.

   

   IL partitioning

   Note the following about IL partitioning:

   • The experiment’s partitioning settings are applied to the first iteration. Data from each subsequent iteration is added to the model’s training partition.
   • Because the first iteration is used for all partitions—training, validation, and holdout—it is smaller than subsequent iterations which only hold training data.

6. モデリングを開始をクリックします。

7. When the first iteration completes, the Model Iterations insight becomes available on the Leaderboard.

ILに関する注意事項¶

Incremental learning is activated automatically when datasets are 10GB or larger. Consider the following when working with IL:

• IL is available for non-time aware binary classification and regression experiments only.
• You cannot restart a draft from a Use Case. You must create a new experiment.
• Default increment size is 4GB.
• Datasets must be either static or snapshots, registered in the AI Catalog. They cannot be directly uploaded from a local computer.
• Datasets must be between 10GB and 100GB.
• IL does not support user-defined grouping, automated grouping, or date/time partitioning methods.
• Comprehensive modeling mode is disabled for IL experiments.
• Cross-validation is not available.
• Monotonic feature constraints, assigning weights, and insurance-specific settings are not supported.
• Sharing is only available at the Use Case level; experiment-level sharing is not supported. When sharing, changing the active iteration is the only available option for any user but the experiment creator. If a user with whom a project was shared trains new iterations, all iterations will error.
• To model on datasets over 10GB, the organization's AI Catalog file size limit must be increased. システム管理者に連絡してください。
• Feature Discovery is available on AWS multi-tenant SaaS only. Primary datasets are limited to a maximum of 20GB; secondary datasets can be up to 100GB.
• The following blueprint families are available:
  • GBM (Gradient Boosting Machine), such as Light Gradient Boosting on ElasticNet Predictions, eXtreme Gradient Boosted Trees Classifier
  • GLMNET (Lasso and ElasticNet regularized generalized linear models), such as Elastic-Net Classifier, Generalized Additive2
  • NN (Neural Network), such as Keras
• デフォルトでは、特徴量ごとの作用により、上位500の特徴量（特徴量のインパクトでランク付け）のインサイトが生成されます。 In consideration of runtime performance, Feature Effects generates insights for the top 100 features in IL experiments.

追加設定を行う¶

より高度なモデリング機能を設定するには、追加設定タブを選択します。 時系列モデリングタブについては、データセットで日付/時刻特徴量が見つかったかどうかに応じて、使用可能になるかグレーアウトされます。

ビジネスユースケースに応じて、以下を設定します。

• 単調特徴量制約
• ウェイト
• 保険特有の設定

単調特徴量制約¶

単調制約は、特徴量とターゲットの間の上下方向の影響を制御します。 一部のプロジェクト（保険業や銀行業など）では、特徴量とターゲットの間の方向関係性を強制することが望ましい場合があります（評価価値の高い家屋の火災保険料が常に高くなるなど）。 単調制約でのトレーニングを行うことによって、特定のXGBoostモデルに特定の特徴量とターゲットの間の単調（常に増加または常に減少）関係性を学習させます。

単調制約特徴量を使用するには、 特殊な特徴量セットを作成する必要があります。この特徴量セットは、ここで選択されます。 また、手動モードを使用する場合、使用可能なブループリントにはMONOバッジが付けられ、サポートされるモデルを識別できます。

ウェイト¶

ウェイト違いを表す重みとして使用し、各行の相対的な有用性を示す単一の特徴量を設定します。 これは、モデルの構築やスコアリングの際に、リーダーボードで指標を計算する目的で使用されます。新しいデータで予測を行う目的では使用されません。 選択した特徴量のすべての値が0より大きい値である必要があります。DataRobotでは検定が行われ、選択した特徴量にはサポートされている値のみが含まれているかどうかが確認されます。

保険特有の設定¶

保険業界の頻繁な加重ニーズに対処するいくつかの機能を利用できます。 次の表では各モデルについて簡単に説明しますが、詳細については、 ここを参照してください。

設定を変更します。¶

ターゲットページに戻ることで、モデリングを開始する前に、プロジェクトのターゲットまたは特徴量セットを変更できます。 戻るには、サマリーのターゲットアイコン、戻るボタン、またはターゲットフィールドをクリックします。

次のアクション¶

モデリングを開始すると、DataRobotでリーダーボードにモデルが入力されます。 以下を実行することが可能です。

• エクスペリメント情報を表示オプションを使用すると、エクスペリメントに関するさまざまな情報を表示できます。
• 使用可能なモデルで モデル評価を開始します。