練習テキスト用にset up Python実践データ分析100本ノック作者:下山輝昌,松田雄馬,三木孝行発売日: 2019/10/31メディア: Kindle版 networkx PuLP ortoolpy opecv_python dlib mecab-python3
PCA (Principal Component Analysis) とは Structure 主なParameters 主なAttributes PCA を １からやってみる Sample Dataの作成 Sample Dataの可視化 PCAの実行 結果の確認 Explained Variance Ratio (寄与率) Cumulative Explained Variance (累積寄与率…
アルゴリズム思考術 問題解決の最強ツール (早川書房)作者:ブライアン クリスチャン,トム グリフィス発売日: 2017/10/31メディア: Kindle版 読むべき時に読めた本。ちょうど最適化アルゴリズムを仕事で使う必要があったので、本書からのインサイトはすぐに役…
Exploratory Data Analysisとは 実践編 データ準備 データの観察 眺める データの前処理 データの成型 欠損値処理 Box plotで分布の広がりと異常値を観察 基本統計量の確認 組み合わせ散布図 Pair Plot 相関行列のHeat Map その後 特徴量エンジニアリング k-…
Baggingとは Structure 主なParameters Sample Baggingとは Bootstrapping（サンプル集合から復元抽出によりsub-sample setを作成）により作成したsub-sample setそれぞれに対してモデルを作成し、モデルの結果を集約して予測すること。 結果の集約はClassif…
回帰モデルの評価 平均二乗誤差（MSE: Mean Squared Error ） crross_validateの引数 平均絶対誤差（MAE: Mean Absolute Error） crross_validateの引数 中央値絶対誤差（MedAE: Median Absolute Error） crross_validateの引数 決定係数（R2） crross_valid…
Hot Encoderとは Dataの準備 OneHotEncoder Structure 主なParameters Sample get_dummies Structure 主なParameters Sample label_binarize Structure 主なParameters Sample Hot Encoderとは 特徴量（行列X、多分類のときにはyも)をOne Hot Vectorつまり1…
住友銀行秘史作者:國重 惇史発売日: 2016/10/06メディア: 単行本 バブルの象徴として名高い「イトマン事件」の告発当事者（住銀）のメモを基にした備忘録。メモの抜粋が紙面の多くを占めているのでページ数のわりには短時間で読了した。 反社に付け込まれた…
Clustering (K-means)を１からやってみる Sample Dataの作成 Sample Dataの可視化 エルボー法でクラスター数を決める 最適なクラスター数を使った結果の確認 Clustering (K-means)を１からやってみる 流れ 準備：Sample Dataの作成 Sample Dataをグラフ化し…
Decision Treeを可視化 準備 Visualisation Code 結果 Decision Treeを可視化 Decision Treeは図にして俯瞰すると大変理解しやすくなる。ありふれた（諸先輩方には既知）コードではあるが自分用のメモとして残しておく。 準備 Decision Treeの作り方をおさら…
ヒルビリー・エレジー アメリカの繁栄から取り残された白人たち作者:J.D.ヴァンス発売日: 2017/03/15メディア: 単行本（ソフトカバー） アパラチア近郊のラストベルトの貧困を脱して弁護士となった著者の自伝。トランプ大統領が当選した背景を説明するものと…
オックスフォード&ケンブリッジ大学 さらに世界一「考えさせられる」入試問題: 「まだ、あなたは自分が利口だと思いますか?」 (河出文庫)作者:ファーンドン,ジョン発売日: 2018/04/06メディア: 文庫 本書内では、フレームワークとしての思考方法を紹介するの…
JupyterLabの設定 JupyterNotebook からJupyterLabに引っ越しを考えるのでメモ Packages packagesはJupyterNotebookと内容も導入も共通なのでこちらを singapp.hatenablog.com Extension 相変わらずバージョンは気にしない nodejs まずはこれを追加しないと…
Memorandam of Jupyter Setup どんな設定か忘れないように（バージョンはきにしない） Packages pipよりcondaが好き pandas pandas-datareader 使えないソースが増えてきている（yahoo Finance, Google Finance）ので注意 matplotlib おなじみのMatlab式図形…
概要 引き続いてMachine Learning のEnsemble Model。Gradient Boosted Decision Trees 概要 Gradient-Boosted Decision Trees（GBDT) Pros and Cons Pros Cons Structure 主なParameters Usage Gradient-Boosted Decision Trees（GBDT) 連続したいくつもの…
Ensemble Model Random Forests Pros and Cons Structure Parmeters Usage Ensemble Model たくさんのMahcine Learning Model をたばねたもの。ひとつひとつにのOverfittingのような問題があっても、全体としては安定。 サンプルはBootstrapによって集められ…
モデルの書き忘れ. Logistic Regression Structure Parameters Sample Decision Tree Structure 主なParameters Sample Visualization Feature importance モデルの書き忘れ. Logistic Regression, Decision Tree singapp.hatenablog.com Logistic Regressio…
その他のLinear ClassifierとしてNaive Bayes Classifiersがある Naive Bayes Classifiers Bernoulli Naive Bayes Multinomial Naive Bayes Gaussian Naive Bayes Strucuture Naive Bayes Classifiers 特徴量間で独立となる確率分布を用いて事後確率が最大と…
どのようにModelを選ぶか Validation Curveを使う Structure 主なParameters Usage Sample Furthermore Grid Search Structure 主なParameters Usage Sample どのようにModelを選ぶか Validation Curveを使って仮定した選んだModelに対して、サンプルのとり…
予測確率を用いたClassification Modelの評価 Confusion MatrixではPredicted Label (予測ラベル as 0 or 1)を用いてモデルを評価した。しかし、Predict Probability (予測確率)→Predicted Labelへと写すthreshold（閾値）が事前には決められるとは限らない…
RecallとPrecisioinの可視化 前準備としてDecision Function Structure Precision-recall curves Structure RecallとPrecisioinの可視化 前準備としてDecision Function SVC等で推定された境界平面からそのアウトプットへの距離。例えばX_testをインプットし…
Accuracy以外での評価 Dummy Classifier Usage Confusion Matrix Structure Sample Claffisicatoin Report Structure Sample Accuracy以外での評価 例えばImbalance Data（不均衡データ）の評価はどうあってもAccuracyが高くなるため、他の指標を用いる必要…
Modelの評価値 R値（Score） Usage 評価値の検証用ツール Cross-validation Usage Validation Curve Modelの評価値 R値（Score） 統計の決定係数＝（単回帰では）被説明変数の分散をどの程度説明変数の分散でカバーしているか、Accuracy の代表 Usage 各skle…
Machine Learning の基礎 全体の流れ モデルの種類 K-nearest neighbor classifier Ridge Regression Lasso Regression Lasso vs Ridge SVM(RBF) Machine Learning の基礎 Supervised Learning 全体の流れ データを学習用とテスト用に分割する X_train, X_te…
こんにちは管理人のsingappです。下記、「プライバシーポリシー」に関して記載致しましたので、ご一読願います。 当サイトに掲載されている広告について 当サイトが使用しているアクセス解析ツールについて 当サイトへのコメントについて 免責事項 プライバ…
Anaconda インストール www.anaconda.com もちろんPython3.7 PATH 環境設定から Pathをダブルクリック 以下２つは最低でも加えておく C:\Users\Username\Anaconda3 C:\Users\Username\Anaconda3\Scripts 仮想環境を構築 以下で仮想環境を作り conda create -…
テキスト通りにpipを呼び出そうとすると という無情なメッセージをもらう。 指示通りに打ち込むとpython2にpipがつながれてしまい、python3で起動できない。 小一時間の検索の結果 "python3-pip"にすればよいことを知り、やっとpipを導入できました。 が。。…
順調に第２部まで終え、Pythonなぞ恐るるに足らんとおもいきや 独学プログラマー Python言語の基本から仕事のやり方まで 作者: コーリー・アルソフ,清水川貴之監訳,清水川貴之,新木雅也 出版社/メーカー: 日経BP社 発売日: 2018/02/24 メディア: 単行本 この…
必要に駆られてPhythonをはじめたものの、プログラミングをほとんどしたことのない自分としてはすでに投げ出しそうである。 なぜはじめたか Commodity Tradingというニッチで原始的発展途上な業界に身をおいているため、金融+IT関連の技能が必要になった。と…
読み込んでいます…
