リーダーボードを管理¶

モデリングを開始すると、モデルのリーダーボードの構築が開始されます。これは、クイックモデル評価に役立つパフォーマンスでランク付けされたモデルのリストです。 リーダーボードには、エクスペリメントで構築された各モデルについてのスコアリング情報を含む情報のサマリーが表示されます。 リーダーボードから、モデルをクリックして視覚化にアクセスして、さらに詳しく調べることができます。 これらのツールを使用すると、次のエクスペリメントで何をする必要があるかを評価するのに役立ちます。

DataRobotは、リーダーボードを構築する際にモデルを入力し、最初は最大50のモデルを表示します。 追加のモデルをロードをクリックすると、クリックするたびに50のモデルが読み込まれます。

64%のサンプルサイズフェーズでワークベンチが クイックモードを完了した後、最も精度の高いモデルが選択され、データの100%でトレーニングされます。 そのモデルには、デプロイの準備済みバッジが付けられます。

However, all models are available for comparison and investigation. このページでは以下の内容について説明します。

• Viewing experiment information
• Filtering models
• Sorting models
• Shorthand controls
• Managing experiments from the Use Case directory

After reviewing the results, click on any model to access two "flavors" of Leaderboard available, described on the following pages:

エクスペリメント情報¶

Click View experiment info to open the Experiment information panel, where you can access the following tabs:

「セットアップ」タブ¶

設定タブは、このリーダーボードでモデルを構築するために使用されるパラメーターを説明します。

データタブ¶

The Data tab provides a variety of information about the data that was used to build models, including:

• Summary analytics.
• Exploratory data insights, accessed by clicking the dataset explorer link.
• 有用性.

デフォルトでは、データセット内にあるすべての特徴量が表示されます。 特徴量セットでフィルターに切り替えてセットを選択することで、単一の特徴量セットに固有の特徴量の分析のみを表示できます。

Click on the arrow or more options next to a column name to change the sort order.

有用性¶

The green bars displayed in the Importance column are a measure of how much a feature, by itself, is correlated with the target variable. Hover on the bar to see the exact value.

• Value：これにより、その特徴量だけを使用してモデルを構築する場合に期待される指標スコアが（概ね）分かります。 多クラスの場合、Valueは各クラスの二値有用性上位モデルからの加重平均として計算されます。 二値分類および連続値の場合、選択したプロジェクト指標を使用して検定セットで評価された有用性上位モデルからの予測です。
• Normalized Value：正規化されたValue。1までのスコア（スコアが高いほど良い）。 0は、精度がトレーニングターゲットの平均を予測することと同じであることを意味します。 スコアが0未満の場合は、ACEモデルの予測がターゲットの平均モデルよりも劣っていること（過剰適合）を意味します。

これらのスコアは、その特徴量だけを使用してターゲットを予測するシンプルなモデルの予測能力の指標を示します。 （スコアはエクスポージャーによって調整されますが、これはエクスポージャーパラメーターを使用している場合のみ行われます。） スコアは、プロジェクトの精度指標を使用して測定されます。

特徴量は、最も有用性の高いものから低い順にランク付けされています。 各特徴量の横にある緑色のバーの長さは、その相対的な有用性を示しています。—バーの全長と比較したバーの緑色の量は、潜在的な特徴量の最大の有用性を示しています（Normalized Valueに比例しています）。—バーの緑色が強いほど、その特徴量がより高い有用性であることを示しています。 緑色のバーの上にマウスを置くと両方のスコアが表示されます。 これらの数値は、その特徴量だけを使用するモデルのプロジェクト指標（プロジェクトが実行されたときに選択された指標）に関するスコアを表しています。 リーダーボードで指標を変更してもツールチップに表示されるスコアには影響しません。

特徴量セットタブ¶

特徴量セットは、DataRobotでモデルの構築と予測に使用する特徴量のサブセットを制御します。 They allow you to, for example, exclude features that are causing target leakage or make predictions faster by removing unimportant features.

When you select the Feature lists tab, the display shows both DataRobot's automatically created lists and any custom feature lists ("Top4" in this example).

The following actions are available for feature lists from the more options to the right of the Created by column:

Custom feature lists can be created prior to modeling from the data explorer or after modeling from the Data or Feature lists tabs, as described below.

特徴量セットを作成¶

To create a custom feature list, select features individually or use bulk actions. Use the checkbox to the left of the Feature name column to add or clear selections.

To select features individually:

1. From the Data or Feature lists tab, select + Create feature list.

   

2. Use the Show features from dropdown to change the displayed features that are available for selection. The default display list features from the Raw Features list. All automatically generated and custom lists are available from the dropdown.

   

3. Select the box next to each feature you want to include.

   

4. Optionally, use the search field to update the display to show only those features, within the Show features from selection, that match the search string.

5. Save the list.

Bulk feature list actions¶

To add multiple features at a time, choose a method from the Bulk selection dropdown:

Save feature list¶

Once all features for the list are selected, optionally rename the list and provide a description in the Feature list summary. The summary also provides count and type of features included in the list.

Then, click Create feature list to save the information. The new list will display in the listing on the Feature lists tab.

ブループリントリポジトリタブ¶

ブループリント リポジトリは、選択したエクスペリメントで使用できるモデリングブループリントのライブラリです。 ブループリントは、モデル自体ではなく、モデルの構築に使用されるタスクを示します。 リポジトリにリスト済みのモデルブループリントは、まだ構築されているとは限りませんが、エクスペリメントのデータおよび設定と互換性のあるタイプである可能性があります。

ブループリントリポジトリにアクセスするには、以下の2つの方法があります。

• リーダーボードモデルの ブループリントタブから

  

• エクスペリメント情報を表示リンクをクリックして、ブループリントリポジトリタブを選択します。

  

モデルを絞り込む¶

フィルターを使用すると、関連するモデルの表示とフォーカスが容易になります。 モデルを絞り込むをクリックして、リーダーボードのワークベンチに表示されるモデルの条件を設定します。 各フィルターで使用できる選択は、エクスペリメントおよびモデルタイプ（少なくとも1つのリーダーボードモデルで使用されたタイプ）に依存し、モデルがエクスペリメントに追加されると変更される可能性があります。 例：

モデルの並べ替え条件¶

デフォルトでは、リーダーボードは、選択した 最適化指標を使用して、検定パーティションのスコアに基づいてモデルをソートします。 ただし、制御によるモデルの並べ替えを使用して、モデルを評価するときに表示パラメーターの基準を変更できます。

ワークベンチでは、データにとって最適な指標を使用してプロジェクトが構築されていますが、各モデルに適用される多くの指標が計算されることに注意してください。 構築が完了した後、別の指標に基づいてリーダーボードのリストを再表示できます。 モデル内の値は変更されませんが、この代替指標でのパフォーマンスに基づいてモデルの一覧の表示順序が変更されます。

それぞれの詳細については、 最適化指標のページを参照してください。

コントロール¶

ワークベンチは、シンプルで迅速なコントロールを提供します。

アイコン	アクション
	別の特徴量セット、別のモデリングモード、または追加の自動化設定（GPUのサポートなど）を適用してオートパイロットを再実行します。 すでに実行された特徴量セットを選択した場合、ワークベンチでは削除されたモデルが置換されることになるか、または何も変更されません。
	エクスペリメントを複製します。データセットのみを再利用、またはデータセットと設定を再利用するオプションがあります。
	エクスペリメントとそのモデルを削除します。 エクスペリメントがアプリケーションで使用されている場合、削除することはできません。
	リーダーボードパネルをスライドさせて閉じると、インサイトの表示などのためのスペースを確保できます。

エクスペリメントを管理¶

モデルを構築した後の任意の時点で、ユースケース内から個々のエクスペリメントを管理できます。 Click on more options to the right of the experiment name to delete it. エクスペリメントを共有するには、ユースケースの メンバーを管理ツールを使用して、エクスペリメントおよびその他の関連アセットを共有します。

次のアクション¶

After reviewing experiment information, you can:

• View experiment insights.
• Compare models in an experiment.