第86回情報処理学会全国大会　第6回中高生情報学研究コンテスト

群馬県立高崎高校

チーム名  Team_KOBAKIYO

市六稜真くん、西山拓斗くん、平形嶺くん(1年)

（2024年3月取材）

私達が開発したCook×Aeye(クックバイエーアイ)は、冷蔵庫の中身を自動で把握し、それらをもとにレシピを制作することができます。これらは、自動生成AIや物体検知AIなどの活用によって、仕組みを成立しています。主な仕組みとしては、超音波距離センサーなどの活用によって、冷蔵庫に手の出入りを認識し、その瞬間の写真を取ることによって、冷蔵庫の中身を自動で認識します。

それらのデータをアプリ上で表示することによって、買い物に行ったときに買い忘れや買いすぎをなくすことができます。またそれらの情報を元に、今ある食材からレシピを制作するなど、様々な機能が備わっています。

※クリックすると拡大します

■今回発表した研究を始めた理由や経緯を教えてください。

買い物で、冷蔵庫内での中身がわからない、という経験から、中身がわかる製品がないか調べてみたが、写真を撮影する冷蔵庫しかなかったので、文字データ化できればとても便利になると考えたからです。

■今回の研究にかかった時間はどのくらいですか。

初期モデルは4か月程度。現在も改善中で、のべ10か月ほどかけています。

■今回の研究ではどんなことに苦労しましたか。

物体検出AIの作成には苦労しました。また、追加したい機能を実現するためのアイデア出しや、食材の認識をするときのアルゴリズムにも手こずりました。

■「ココは工夫した!」「ココを見てほしい」という点を教えてください。

冷蔵庫への物体の出入りの瞬間を撮影するという方法を実現するために、距離センサーを活用して、検出された距離の差によって出入りの瞬間を割り出すアルゴリズムを作りました。

また、その出入りの瞬間の物体検出で、手の認識をカギにして、食材が入ったか、または出たのかを判別できるようにしたことです。

■今後「こんなものを作ってみたい!」「こんな研究をしてみたい」と思うことがあれば教えてください。

[平形嶺くん]

生成aiの利点を生かしたアプリをこれからもっと作っていきたいと思います。

[西山拓斗くん]

言語のバリアフリー化を実現するIOTを作成したいと思います。

[市六稜真くん]

ChatGPTを活用したアプリケーションを作りたいです。

※Team_KOBAKIYOの発表は、中高生研究賞奨励賞を受賞しました。