PyInv

プログラミングのメモ、海外投資のメモ

Modelの評価 (Accuracy)

 

Modelの評価値

R値(Score)

統計の決定係数=(単回帰では)被説明変数の分散をどの程度説明変数の分散でカバーしているか、Accuracy の代表

Usage
  1. 各sklearn modelのscore method
  2.  r2_score: from sklearn.metrics.regression import r2_score

 Training DataとTest Dataの差から以下の分析

      • Underfitting: both train data and test data have low scores.
      • Overfitting: the train is good but the test is not.
      • Good: both are good

 評価値の検証用ツール

Cross-validation

 データセットを k個に分割し,モデルの訓練と評価を k 回行う
得られた k個の評価値の平均をとった値を最終的なモデルのスコアとする

Usage

from sklearn.model_selection import cross_val_score

Parameter: cv or k (default as 5)

Validation Curve

 モデルのパラメータを動かしながら各パラメータ値のスコアをCross-valiadtionで算出する

Usage

from sklearn.model_selection import validation_curve

Parameter: param_name, param_range, cv

  • param_name: 動かしたいパラメータ
  • param_range: 上記パラメータを動かす範囲
  • cv: データセットの分割、試行回数(default as 5)

 

 

singapp.hatenablog.com