機械学習用に用意されているデータはきれいに整えられていて、データの下準備からモデルの作成まで実にすんなりといくものが多いです。でも実社会のデータはほとんどが大なり小なり偏りがある方が普通。
そんな例を見てみます。
データを取り込みます。トレーニング用に１４８の特徴量のデータが１６８個、テスト用に５０７個あります。これらのデータは別に分けておく必要もないので、結合して６７５個の大きなデータの塊を作ります。
そこからまず「class」の部分だけを抜きだして教師データを作ります。
匂いは全部で９種類。多い順にビル、コンクリート、草、木、太陽が当たらない場所、アスファルト、自動車、土、プールです。最も多いビルは約１８%、少ないプールが約４％とデータに偏りがあります。
データからclassを抜き去った残りが特徴量データとなります。
分類問題で今回はランダムフォレストを使います。９種類に分類することが始めから分かっていますのでn_estimatorsは当然９です。
その結果は精度が８０％。いいのか悪いのかわかりませんが、モデルがどのような予測をしたのかを見てみたいと思います。
プールは１３５の予測値のうち１つだけ。もともとのデータではプールは4％でしたので、予測が１３５個ならば９個程度はプールのはずですが、たったの１個。数が少ないものは正確に識別できないことになります。
例えば病院での検査結果と癌の関係で、９０％が癌ではない、１０％が癌であるデータがあるとします。これでモデルを作ったとき、９０％の精度では何の意味も持たないことになります。簡単に言えば、すべて「癌ではない」と判断すれば正解率９０％になるはず。
このケースでは癌ではないのに癌であると診断されるケースが多少含まれてもいいが、実際に癌である人は漏らさずに癌であると診断をすることが最重要となりまりがす。
このような偏りがあるデータで、少ないものを正確に分類して抽出できるモデルこそが良いモデルといえます。これが難しくて、今の私程度じゃ手に負えないです。
Comments