【やさしく図解】pycaretの使い方（Windows）

今回は、回帰や分類などの機械学習モデルを簡単に作成できるPythonのパッケージ「Pycaret」について、Windowsで使うためのインストール方法と基本的な使い方を、分かりやすく解説します。

Pythonで機械学習といえば scikit-learn が定番ですが、Pycaret はより簡単に複数のアルゴリズムを比較し、精度が最も高いものを探してくれますし、最適なハイパーパラメータ値の探索も1行で書けてしまう優れものです。

入門用の記事は数多く見受けられますが、本記事は実用性を重視した内容となっています。

これから使おうとされている方は是非ご一読ください。

Pycaretとは

Pycaret は、機械学習の一連の作業を自動化してくれるオープンソースの機械学習パッケージです。

Microsoft には Azure AutoML 、Googleには Cloud auto ML と呼ばれる同様のツールがサービス提供されていますが、こちらは従量課金の有料サービスであるため、モデルを作成する際はもとより、出来上がったモデルを利用する際にも費用が掛かってしまいます。

他にも、DataRobot という製品も存在しますが、こちらは年間ライセンスが800万～1000万と高額なため、おいそれと導入することも出来ません。

Pycaretは、これら有料製品に比べてサポートされているアルゴリズムの数が少なく、専用のGUIが用意されていない分操作性は見劣りするという問題はあります。

しかし、メジャーなアルゴリズムはサポートされており、作る時も使う時も費用が掛からないというメリットがあるので、Pythonとscikit-learnでゴリゴリモデルを作成する人にとっては、想像を絶するくらい簡単に使うことが出来ます。

特に機械学習をこれから始めようとする方には最適ではないかと思います。

Pycaretの概要

まず全体を理解して頂くために、「出来る事」を簡単な図にまとめてみました。

図から分かるようにPycaretは大きく３つの機能を持っています。

＜複数モデルの比較＞

教師データを使って複数モデルの作成＆精度比較を行い、最も成績が良かったモデルを選んでくれます。

＜モデルの作成＞

指定したアルゴリズムでモデルを作成し、そのモデルに対してハイパーパラメータのチューニングや、予測結果のグラフ化を行うことが出来ます。

＜モデルの適用＞

予測させたいデータを渡すと、作成したモデルを使って実際に予測を行ってくれます。

＜公式ページ＞

チュートリアルやメソッドの使い方などは公式ページに記載されていますので、本記事をご一読し頂いてから公式ページを見ていただくと、より分かりやすいかと思います。

Pycaretで最初に知っておくべきこと（制約条件など）

Pycaret を使う場合は、PythonのバージョンやOSに制限があるので注意しましょう。

2022年3月現在においては次の制限があります。

OSは 64-bit systems であること
Python 3.6 – 3.8 であること（尚、Ubuntu のみ Python 3.9 に対応）
Ubuntu は 16.04 以降であること
Windows 7 移行であること
Pythonの pip でインストールすること(Conda install は不可）

制約条件ではありませんが、各メソッドを Jupyter Notebook で動作させる場合とPythonコンソール（もしくはVisual Studio Codeなどの統合開発環境）で動作させる場合では挙動が異なります。

例えば、Jupyter Notebook ではマウスで描画するグラフが選択できますが、Pythonコンソールだとグラフそのものが表示されません。

本記事では　Jupyter Notebook の画面キャプチャを使用していますのでご注意ください。

Pycaretのインストール方法

あらかじめ、インストールされているPython のバージョンが3.6ー3.8 であることを確認してください。

もしPycaret がサポートしていないPython のバージョンである場合は、python の仮想環境を作って、そこにインストールして下さい。

インストール方法は他のパッケージと同様で、Pythonコンソールを管理者モードで起動した後に、pip コマンドでインストールします。

尚、 Pycaretをインストールすれば、自動的に pandas や numpy 等の必要パッケージもインストールされます。

pip install pycaret

Python のインストール状態によってはエラーが発生する場合があります。

私の場合は以下のコマンドを実行することでインストール出来ました。

pip install --upgrade pip --user
pip install pycaret --user

ちなみに、conda install でもインストールすると、一見インストールされたように見えますが、Pycaret実行時にエラーになります。

また、Pycaretインストール時に自動でインストールされる pandas や numpy は最新のバージョンがインストールされるので、都合が悪い場合は個別にバージョンを指定してインストールし直して下しさい。

Pycaretの使い方

Pycaret を使うタイミングは、大きく分けて「新しくモデルを作成する時」と、モデルを使って「新しいデータで予測したい時」の2通りです。

この章では、この２つについてサンプルコードを交えて解説したいと思いますが、その前に以下の3点につれて触れておきたいと思います。

pycaret のインポート
説明に用いるサンプルデータ
前処理

Pycaret のインポート

必要最小限として、pandas と Pycaret のインポートが必要です。

Pycaret は、分類や回帰などの用途によってインポート対象のモジュールが異なります。

下記は回帰のインポートサンプルとなります。

import pandas as pd
from pycaret.regression import *

回帰以外にも以下のものが用意されていますので、用途に応じてインポートして下さい。

用途	モジュール名
分類	pycaret.classification
回帰	pycaret.regression
クラスタリング	pycaret.clustering
異常検出	pycaret.anomaly
自然言語処理	pycaret.nlp
アソシエーション分析	pycaret.arules

説明に用いるサンプルデータ

Pycaret にはチュートリアル用のテストデータが含まれています。

今回は、その中にあるボストンの不動産価格のデータ ‘boston’ を使って回帰モデルを作成します。

何を予測するかは趣味の世界なのですが、ここでは定番として犯罪発生率 ‘crim’ を目的変数（ターゲット）にしたいと思います。

カラム名	内容・意味	データの型
crim	犯罪発生率	float64
zn	25,000 平方フィート（約2.3 Km2）以上の住宅区画比率	float64
indus	小売以外の商業が占める土地面積比率	float64
chas	チャールズ川沿いか否かを示すダミー変数 (1: 川沿い、 0: それ以外)	int64
nox	窒素酸化物の濃度（pphm単位）	float64
rm	１戸当たりの平均部屋数	float64
age	1940年より前に建てられた物件比率	float64
dis	ボストンにある5つの雇用施設までの距離（重み付き）	float64
rad	環状高速道路へのアクセス指数	int64
tax	10,000ドルあたりの固定資産税比率	int64
ptratio	町ごとの生徒と教師比率	float64
black	町ごとの黒人比率	float64
lstat	低所得者比率（%）	float64
medv	住宅価格の中央値（単位：1000ドル）	float64

前処理

今回は　Pycaret が用意しているデータを使いましたが、通常はCSVファイルで用意されているケースが大半だと思います。

この場合、データの型が意図した通りになっていない（例えば１か０のフラグが含まれるカラムを、整数と判断するなど）こともあるため、Pycaret に正しい型を教えてあげる必要が生じます。

また、データにはNaN などの欠損値や異常値が含まれていることも多く、これらを補間するなり排除するなり、いわゆるクレンジング処理が必要になります。

setup メソッドを使うと、型の判定とクレンジングをいい感じに行ってくれます。

ちなみに、これを実行すると自動判定した結果が表示され、入力待ち状態になりますので、特に問題が無ければ、エンターキーを入力してください。

でないと、いつまでもこの状態から先に進まないので注意ください。。

尚、setup メソッドには様々な引数が指定できますが、最低限としてDataFrame形式の教師データと、目的変数（ターゲット）のカラム名を指定するだけでOKです。

　　　setup(data = データ名,target=’目的変数のカラム名’)

新しくモデルを作成する

新しくモデルを作成する場合は、Pycaretを使ってゼロから最適なアルゴリズムを探索してモデルを作る場合と、任意のアルゴリズム名（例えば lightGBM、Gradient Boosting Regressor など）を指定してモデルを作成する場合の２通りがあります。

下記は、この２通りについて、メソッドの呼び出し手順を図で表したものになります。

最適なモデルを探したい場合

では、実施に最適なモデルを探してハイパーパラメータのチューニングを行い、モデルファイルとしてファイル出力するまでの一連の流れについて、サンプルソースコードを紹介します。

#サンプルデータの読み込み
from pycaret.datasets import get_data 
boston = get_data('boston')

#モデル探索に必要なパッケージのインポート
import pandas as pd
from pycaret.regression import *

#前処理を行う(データの指定と目的変数(=ターゲット) のカラム名を指定）
setup(data=boston,target='crim')

#複数のモデルを試し、成績が一番良いモデルを取得
model = compare_models()

#取得したモデルに対してハイパーパラメータを自動探索
tuned_model = tune_model(model)

#ハイパーパラメータ調整後のモデルに対して、精度を把握するためのグラフを表示
evaluate_model(tuned_model)

#与えられた全ての教師データを使ってモデルを最終版の作成
final_model = finalize_model

#出来上がった最終版のモデルをファイルに書き出す
save_model(final_model,'p:/finalmodel')

compare_model を実行すると、以下の通り複数のモデルが生成／比較され、jupyter notebook 状に表示されます。

精度評価指標として MAE,MSE,RMSE など複数の値が表示され、評価指標ごとに最も成績が良かった値が黄色で塗りつぶされます。

　　model = compare_models()

により最も成績が良かったモデルが戻り値として返され、model 変数に格納されます。

model の中を　print すると、次の結果が得られます。

LGBMRegressor(boosting_type='gbdt', class_weight=None, colsample_bytree=1.0,
              importance_type='split', learning_rate=0.1, max_depth=-1,
              min_child_samples=20, min_child_weight=0.001, min_split_gain=0.0,
              n_estimators=100, n_jobs=-1, num_leaves=31, objective=None,
              random_state=3903, reg_alpha=0.0, reg_lambda=0.0, silent='warn',
              subsample=1.0, subsample_for_bin=200000, subsample_freq=0)

このモデルに対して　tume_model メソッドを実行することにより、ハイパーパラメータの探索を行うことが出来ます。

そして、その結果を evaluate_model メソッドに渡すことで、精度評価や重要度などの情報を可視化／一覧表示することができます。

PlotTypeのグレー部分（Hyperparameters,Residuals,Prediction Error、・・・）をクリックすることにより、任意の情報を切り替えて表示できます。

finalize_model メソッドはモデル作成の最終作業で、探索したハイパーパラメータをもとに全データを使ってモデルを再構築し、その結果を返します。

以上で、最適なアルゴリズムと、チューニングされたハイパーパラメータを持つモデルの完成です。

最後に save_model でモデルをファイルに書き込んでいますが、単にハイパーパラメータの値が知りたいだけであれば、特にモデルを保存する必要はありません。

尚、保存されたモデルファイルは ‘.pkl’ という拡張子が自動で付与されます。

既にモデルが決まっている場合

例えば、lightbgm を決め打ちでモデルを作りたい場合（アルゴリズムが決まっている場合、或いは既存モデルのハイパーパラメータの最適値を探索したい場合）は、compate_model の代わりに create_model を使います。

#サンプルデータの読み込み
from pycaret.datasets import get_data 
boston = get_data('boston')

#モデル探索に必要なパッケージのインポート
import pandas as pd
from pycaret.regression import *

#前処理を行う(データの指定と目的変数(=ターゲット) のカラム名を指定）
setup(data=boston,target='crim')

#★★★ アルゴリズムを指定してモデルを作成
model = create_model('lightgbm')

#取得したモデルに対してハイパーパラメータを自動探索
tuned_model = tune_model(model)

#ハイパーパラメータ調整後のモデルに対して、精度を把握するためのグラフを表示
evaluate_model(tuned_model)

#与えられた全ての教師データを使ってモデルを最終版の作成
final_model = finalize_model

#出来上がった最終版のモデルをPドライブのルートにファイルとして書き出す
save_model(final_model,'p:/finalmodel')

create_model の引数として使えるアルゴリズムは回帰、分類など目的により変わりますが、例えば、xgboost のモデルを作成したい場合、 create_model(‘xgboost’)と記述します。

実際に使えるアルゴリズムは公式サイトに詳しく記載されていますので、そちらをご覧ください。

用途	英語名称	ドキュメントのURL
分類	Classification	Classification — pycaret 2.3.5 documentation
回帰	Regression	Regression — pycaret 2.3.5 documentation
クラスタリング	Clustering	Clustering — pycaret 2.3.5 documentation
異常検出	Anomaly Detection	Anomaly Detection — pycaret 2.3.5 documentation
自然言語処理	NLP	NLP — pycaret 2.3.5 documentation
アソシエーション分析	Association Rules	Association Rules — pycaret 2.3.5 documentation

新しいデータで予測する

予測する方法は、予測したいデータとsave_model で保存したモデルファイルを読み込み、 predict_model メソッドを実行するだけです。

#サンプルデータの読み込み
from pycaret.datasets import get_data 
input_data = get_data('boston')

#必要なパッケージのインポート
import pandas as pd
from pycaret.regression import *

#Pドライブのルートに置かれた finalmodel.pkl というモデルファイルを読み込む
final_model = load_model('p:/finalmodel')

#モデルにデータを渡して予測結果を取得
result = predict_model(final_model ,data = input_data )

#予測結果をPドライブにCSV出力
result.to_csv('p:/result.csv',index=None)

predict_modelメソッドで予測した結果は、末尾にLabelというカラムが追加され、そこに予測結果が格納されます。

尚、predict_model メソッドの戻り値はDataFrame形式なので、pandas のto_csv メソッドでそのままファイルに書き出すことが可能です。

ちなみに、load_model で指定するモデルファイルに拡張子を指定するとエラーになるため注意が必要です。

例えば’mymodel.pkl’ という風に拡張子を指定すると、’mymodel.pkl.pkl’ と指定されたこととなり、ファイルが見つからないというエラーが発生します。

まとめ

今回は、たった数行のソースコードを書くだけで、メジャーなアルゴリズムから総当たりでモデルを作成、その中から最も成績の良いモデルを選定してくれ、おまけにハイパーパラメータのチューニングまでやってくれる超便利なパッケージ「Pycaret 」について、インストールの方法から実際の使い方まで、図を交えて解説しました。

Pycaret を使わなくても同じことをは出来ますが、いくつものパッケージを組み合わせたり、自力で沢山のコードを各必要があるため、かなり面倒で敷居が高い作業になります。

Pycaret を知ってから、今までの作業は何だったんだと思うほど、モデル作成作業が簡略化されました。

予測モデル作成～新規データに対する予測の実行までをPycaret で行うこと以外に、既にscikit-learnで作った予測プログラムがあって、ハイパーパラメータだけを最適化したいという使い方も可能です。

2022年3月現在において、Python 3.6～3.8 にのみ対応とか、64ビットOSのみ対応とか、いくつかの制約事項はありますが、それを差し引いても非常に便利です。

もし機械学習を使ってモデルを作成することがあれば、是非 Pycaret をご検討下さい。

この記事が皆様のプログラミングの参考になれば幸いです。

NewsTag