Facial Expression Recognition with Blueoil ~Acceleration of execution~

こんにちは、2020年度のサマーインターン生の春日と申します。 Blueoil チームで1か月ほど、同じくインターン生の脇坂さんと一緒に開発に携わりました。 取り組んだことなどを簡単に書いていきます。

取り組んだ内容

Blueoil では、入力として受け取った学習済みのモデルを、FPGA 向けに最適化して出力することができます。FPGA にカメラ等をつなげて画像を受け取り、前述のモデルを使用することで、リアルタイムで推論を実行することができます。今回のインターンでは、FPGA にカメラをつないでリアルタイムで表情検出を行うことがテーマでした。私は推論の実行部分の高速化をメインに行いました。加えて、開発途中で発見した Blueoil のバグやドキュメントのタイポの修正を行いました。

Demo

Demeの動画はこちらからご覧いただけます。

結果として、インターン開始時は 10fps 程度で精度もあまり良くありませんでしたが、最終的には 15fps 程度でそこそこの精度を出すことができました。

労働環境など

リモートワークということで最初はいろいろと不安でした。しかし、メンターの方を始めとする社員の方々が、疑問点などに対してすぐに回答してくれたので円滑に作業を進めることができました。特にメンターの方は、次の作業や方針を決めるためにいつも相談に乗ってくれました。

短い期間でしたが、メンターの方々、チームの方々、社員の方々に感謝の意を示します。 ありがとうございました。

共同研究を行った脇坂さんのブログはこちらからぜひご覧ください！