LABORATORY熱の実験室

● 実験

AIでの焼き加減判定

 ワークをセットして、角ハイレックスの真下までコンベアを動かし、AIが焼き加減を判定して、コンベアが自動的に動くまで待ちます。

・・・焼けてる!

コンベアが動いた!


美味しそうな焼き色が付いている!

学習したモデルでの焼いたワーク

 学習させたモデルで焼いた結果は、図10のようになり、どれも均一な焼き目が付き、美味しそうに焼けました。

図10:モデルで判別した焼き加減のワーク

● 考察

角ハイレックス

 角ハイレックスは他のハイレックスヒーターと比べ、ハイパワーであり、焼き目がすぐに付きました(マシュマロで約30秒)。この結果から、角ハイレックスは、ワークの表面温度を急速に上げる用途にも向いていることが分かりました。クリーンな環境でも使用可能なため、角ハイレックスは様々な場所で活躍しそうです。

モデル

 画像の機械学習は基本畳み込みニューラルネットワーク(CNN) + dense(DNN)を用います。しかし機械学習の経験も浅く、今回は判定させたいものも単純であったため、dense(DNN)のみで試したところ、検証ロスがギザギザになりました(図9)。モデルのパラメーター設定の影響もありますが、最も大きな原因は写真データの不足とラベリング処理の問題と考えられます。例えば鳥と犬など、全く異なったものは区別しやすいですが、バラバラな焼き加減のワークを完全な一貫性を持って、「1」と「0」に区別することは難しいです(パティシエでない限り)。従って、ラベリング処理の一貫性が不十分であったことから、検証ロスがギザギザになったと考えられます。

● まとめ

 AIでお菓子の焼き加減(小麦粉・パイ生地・マシュマロ)を判定するために、機械学習モデルを作成しました。まず、焼き加減の判定基準となる写真データを各お菓子で撮影し、焼けている写真には「1」、焼けていない写真には「0」とラベリングを行いました。モデルの作成は判定する物が単純であったため、dense(DNN)のみを使用しました。画像のピクセル数が大きいほど、DNNのパラメーター数がCNNより大きくなり、学習時にPCメモリーへの負担がかかるため、撮った画像を28×28までスケールダウンしました。お菓子の焼成には、角ハイレックスを用いました。お菓子が焼きあがったとモデルが判定したらコンベアが動くよう、プログラミングを行いました。モデルが焼き加減を判定したお菓子は、3種類とも均一な焼け具合となりました。

● オブジェクトの検出(番外編)

  今回はコンベアの回転時間を調整し、ワークがちょうどカメラの視野に入るように設定しました。機械学習では、ターゲット(ワーク)を自動検出するシステムも必要です(例えば、顔認証でいうと画像の中から顔自体を判別する機能)。
 後日OpenCVというコンピュータービジョン向けライブラリを使用して、オブジェクト検出を試してみました(図12)。また、画像領域分割の方法も試してみました(図13)。いつか全自動でコンベアを動かす日のため、今回の実験で学んだものを活かしていきたいと思います。

図12:OpenCVでオブジェクト検出(OpenCVにて枠とタイトル付)

図13:画像領域分割でオブジェクト検出 (ウェブでの既存モデルを使用)