Modelの評価 (Accuracy)
Modelの評価値
R値(Score)
統計の決定係数=(単回帰では)被説明変数の分散をどの程度説明変数の分散でカバーしているか、Accuracy の代表
Usage
- 各sklearn modelのscore method
- r2_score: from sklearn.metrics.regression import r2_score
Training DataとTest Dataの差から以下の分析
- Underfitting: both train data and test data have low scores.
- Overfitting: the train is good but the test is not.
- Good: both are good
評価値の検証用ツール
Cross-validation
データセットを k個に分割し,モデルの訓練と評価を k 回行う
得られた k個の評価値の平均をとった値を最終的なモデルのスコアとする
Usage
from sklearn.model_selection import cross_val_score
Parameter: cv or k (default as 5)
- データセットの分割個数
Validation Curve
モデルのパラメータを動かしながら各パラメータ値のスコアをCross-valiadtionで算出する
Usage
from sklearn.model_selection import validation_curve
Parameter: param_name, param_range, cv
- param_name: 動かしたいパラメータ
- param_range: 上記パラメータを動かす範囲
- cv: データセットの分割、試行回数(default as 5)