2019年 AI / 機械学習 業界別ニュース 総まとめ【マップ付】

<p>こんにちは。<a href="https://github.com/blue-oil/blueoil">Blueoil</a> 開発チームの飯塚です。</p>
<p>技術評論社から発売しました「<a href="https://gihyo.jp/book/2019/978-4-297-10744-4">Practical Developers</a>」の 6 章に、弊社 CTO の徳永と共著で記事を寄稿しました。</p>
<p>LeapMind では、ニューラルネットワークの量子化技術に力を入れています。そしてその研究開発の成果の一部を <a href="https://github.com/blue-oil/blueoil">Blueoil</a> というオープンソースソフトウェアとして公開しています。今回寄稿した記事には、ニューラルネットの量子化技術の基礎やニューラルネットワークアクセラレータをなぜ作るのか、そして Blueoil の紹介といったことを幅広く書きました。</p>
<p>また、社内で利用されている深層学習向けインフラの構成についても触れています。現在オンプレミスの GPU サーバ群から Google Cloud Platform を用いた Kubernetes クラスタに学習環境を徐々に移行している最中なのですが、その次世代のインフラ構成について書いてあります。</p>
<p>章の後半では、弊社が共同研究をさせていただいた企業様との事例を書かせていただきました。LeapMind が社会にどのような形で価値を提供しているのか、普段社外に出ることの少ない事例についてご覧いただけます。</p>
<p>さて、本記事執筆時には Blueoil は v0.5.0 だったのですが、いまは <a href="https://github.com/blue-oil/blueoil/releases/tag/v0.10.0">v0.10.0</a> まで開発が進み、大幅にアップデートされています。最新の情報は Github でチェックしてみてください！</p>
<p>技術評論社のページ
<a href="https://gihyo.jp/book/2019/978-4-297-10744-4">https://gihyo.jp/book/2019/978-4-297-10744-4</a></p>
<p>Blueoil
<a href="https://github.com/blue-oil/blueoil">https://github.com/blue-oil/blueoil</a></p>

「Practical Developers ――機械学習時代のソフトウェア開発［ゲームアプリ/インフラ/エッジ編］」に寄稿しました

<p>こんにちは、LeapMindでマーケターをしている坂口です。
昨年から今年にかけて、「AI」という言葉がバズワード化し、AI / 機械学習を活用して業務効率化や自動化に取り組む企業が増えてきました。今、どのようなことが世の中で取り組まれているかを知ることで、自分の身の回りやビジネスでどのように活用できそうかを考えるきっかけとなるよう、今回は、年末ということで、</p>
<p><strong>2018年のAI / 機械学習 NEWSのまとめ記事</strong>をお届けします！</p>
<p>ただ、「AI」という言葉を使用しているだけ、サービスをリリースしただけ、といったNEWSではなく、実際に現場に組み込まれた事例や実証実験を開始したものなど具体的なNEWSを厳選してピックアップしています。（※そして特に画像認識がメイン）
興味のある業界だけチェックしてもよし、全部目を通して今年を振り返るもよし、です！</p>
<h2 id="ダイジェスト">ダイジェスト</h2>
<p>製造と建設業界での活用が進んでいる印象。製造だと、生産ラインなどにカメラを設置し、不良品の検品や外観検査の自動化など目視で行っていた検査や検品の自動化のためにAIが活用されていることが多いです。建設でも同様に、ひび割れの検出など目視で行っていた点検や作業を自動化するために活用されています。特に、建設や交通（道路や線路の点検など）で、カメラを搭載したドローンを用いた点検・異常検知などの取り組みが増えています。</p>
<h2 id="-製造-">⚙ 製造 ⚙</h2>
<p><img src="/images/posts/techblog/2018-ai-news/3-2048x1075.png" alt="製造MAP"></p>
<h3 id="検品品質検査">検品・品質検査</h3>
<p>（※以下、Client，Supplierという表記があるものとないものが登場しますが、NEWS記事から分かるもののみ表記しています。ご了承ください。）</p>
<p><strong><a href="https://www.nikkei.com/article/DGKKZO28983930U8A400C1L61000/">生産ラインの検品：ミラーの製造過程で生じるキズやひび割れを画像から検出</a></strong>
Client：村上開明堂
Supplier：Rist</p>
<p><strong><a href="https://monoist.itmedia.co.jp/mn/articles/1804/09/news028.html">自動車部品の自動検品</a></strong>
Client：武蔵精密工業
Supplier：ABEJA</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00499520">電子部品の自動認識による仕分け</a></strong>
FUJI，ALBERT</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00492662">包装ラインでの医薬品検査</a></strong>
武田薬品工業</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00492662">陶板外壁検査：画像処理による木造住宅用陶板外壁の製造ラインでの品質検査</a></strong>
Client:積水ハウス
Supplier：コグネックス</p>
<p><strong><a href="https://newswitch.jp/p/12605?from=np">焼結合金部品の微小亀裂の検出：磁粉探傷検査の自動画像検査化</a></strong>
Client：住友電工焼結合金
Supplier：住友電気工業</p>
<p><strong>外観検査の自動化</strong>
Panasonic</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00478146">半導体材料の品質検査を省力化</a></strong>
JSR，NEC</p>
<h3 id="故障検知予防">故障検知・予防</h3>
<p><strong>エネルギー供給プラントの故障検知・予測</strong>
Client：新日鉄住金エンジニアリング
Supplier：新日鉄住金ソリューションズ</p>
<p><strong><a href="https://kyodonewsprwire.jp/release/201810159181">工作機械の刃物部分への切粉巻き付き検知</a></strong>
金沢工業大学，オーエム製作所</p>
<p><strong><a href="https://www.nikkei.com/article/DGXMZO38332590Z21C18A1LKA000/">生産工程での不良品発生防止</a></strong>
オムロン，AISing</p>
<h3 id="自律診断">自律診断</h3>
<p><strong><a href="https://active.nikkeibp.co.jp/atclact/active/17/071100318/102900618/">ドリル加工の状態を自律診断：ドリル加工の異常検知と工具摩耗の可視化</a></strong>
オークマ，NEC</p>
<h3 id="安全管理">安全管理</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00499201">作業員の安全管理：作業員の行動を画像から見守る安全管理</a></strong>
JFEスチール，NECグループ</p>
<h2 id="建設">建設</h2>
<p><img src="/images/posts/techblog/2018-ai-news/2-2048x1075.png" alt="建設MAP"></p>
<h3 id="ひび割れの検出">ひび割れの検出</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00468735">ひび割れ自動検知：コンクリのひび割れを自動検知</a></strong>
Client：大林組
Supplier：富士フイルム</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00482539?isReadConfirmed=true">ひび割れ自動検知：インフラ構造物のひび割れを自動検知</a></strong>
キヤノン，東設土木コンサルタント</p>
<h3 id="維持管理保守点検">維持管理・保守・点検</h3>
<p><strong><a href="https://newswitch.jp/p/13876">インフラ維持管理：トンネルや道路、橋梁など老朽インフラの維持管理に向けた探査や点検</a></strong>
三井E&#x26;Sマシナリー，アダコテック</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00479018">インフラ保守：橋や機械設備などの点検</a></strong>
国立研究開発法人，土木研究所</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00474680?isReadConfirmed=true">インフラ保守：ドローンを用いた橋やトンネルの点検</a></strong>
経済産業省，国土交通省</p>
<p><strong><a href="https://newswitch.jp/p/12972">インフラ維持管理：ドローンの自律飛行制御</a></strong>
NTTデータ，LeapMind</p>
<h3 id="計画の最適化">計画の最適化</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00477228">トンネル工事の掘削計画の最適化</a></strong>
Client：清水建設
Supplier：名古屋工業大学</p>
<h3 id="溶接作業の自動化">溶接作業の自動化</h3>
<p><strong><a href="https://xtech.nikkei.com/atcl/nxt/column/18/00267/042300003/">溶接作業の自動化</a></strong>
清水建設，大阪大学</p>
<h3 id="切羽判定評価">切羽判定・評価</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00488023?isReadConfirmed=true">切羽作業判定：切羽の監視カメラの映像から自動判別</a></strong>
西松建設，sMedio</p>
<p><strong><a href="https://www.obayashi.co.jp/news/detail/news20181218_1.html">切羽評価：山岳トンネル工事の切羽（掘削面）評価の自動化</a></strong>
Client：大林組
Supplier：MathWorks Japan</p>
<h3 id="安全確認">安全確認</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00494551?isReadConfirmed=true">作業員を自動認識して建機を自動停止</a></strong>
カナモト，イームズラボ</p>
<h2 id="自動車交通">自動車・交通</h2>
<p><img src="/images/posts/techblog/2018-ai-news/4-2048x1075.png" alt="自動車・交通MAP"></p>
<h3 id="ドライバー運転モニタリング">ドライバー・運転モニタリング</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00481932?isReadConfirmed=true">運転手の顔の向きやまぶたの開閉を検知</a></strong>
アイシン精機，トヨタ自動車，（TRI-AD）</p>
<p><strong><a href="https://www.nikkei.com/article/DGXMZO38577940V01C18A2XY0000/">運転中の居眠り検知</a></strong>
NTTドコモ，Automagi</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00488094?isReadConfirmed=true">危険運転映像抽出</a></strong>
Client：三井住友海上火災保険
Supplier：アリスマー</p>
<h3 id="交通量調査">交通量調査</h3>
<p><strong><a href="https://iotnews.jp/ai/105142/">自動交通量調査</a></strong>
データセクション</p>
<p><strong><a href="https://newswitch.jp/p/14234">渋滞検知：信号機に取り付けたカメラや信号現示情報から車の流れをリアルタイムで把握</a></strong>
日本総合研究所</p>
<h3 id="道路状況の判定点検">道路状況の判定・点検</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00487907?isReadConfirmed=true">道路のひび割れなど路面状況自動測定：道路の補修作業の効率化</a></strong>
リコー</p>
<p><strong>道路点検：道路のひび割れやくぼみなどの検出</strong>
NTT西日本</p>
<p><strong><a href="https://newswitch.jp/p/15147">道路の凍結防止作業の自動化</a></strong>
東日本高速道路</p>
<p><strong><a href="https://newswitch.jp/p/15147">雪氷対策作業の判断支援</a></strong>
ネクスコ・メンテナンス北海道，ウェザーニューズ</p>
<h3 id="ナンバープレート検出">ナンバープレート検出</h3>
<p><strong><a href="https://news.mynavi.jp/techplus/article/20180723-668399/">車両のナンバープレート検出</a></strong>
アットホーム</p>
<p><strong><a href="https://www.nikkei.com/article/DGXMZO37155610R31C18A0AM1000/">車両のナンバープレート検出</a></strong>
グローリー</p>
<h3 id="自動操縦">自動操縦</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00482764">自動操船：内航船の操船支援システム</a></strong>
Client：日本郵船
Supplier：神戸大学と日本海洋科学（MTI）</p>
<h3 id="保安検査">保安検査</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00479314">保安検査時の液体検知</a></strong>
東京ガスエンジニアリングソリューションズ</p>
<h3 id="鉄道の安全点検">鉄道の安全点検</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00470031">鉄道インフラの予防点検：ドローンを用いた線路の安全点検</a></strong>
Client：東武鉄道
Supplier：NTTドコモ</p>
<p><strong><a href="https://www.itmedia.co.jp/enterprise/articles/1811/29/news065.html">踏切の監視カメラ映像解析：踏切での異常検知</a></strong>
東急テクノシステム，理経，フューチャースタンダード</p>
<h2 id="食品">食品</h2>
<p><img src="/images/posts/techblog/2018-ai-news/5-2048x1075.png" alt="食品MAP"></p>
<h3 id="自動検品判別">自動検品・判別</h3>
<p><strong><a href="https://newswitch.jp/p/13716">総菜判別：画像認識で種類と個数を判別</a></strong>
イシダ</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00477975?isReadConfirmed=true">野菜・果物の不良品判別：食品機械で自動検品</a></strong>
Client：平野製作所、
Supplier：東杜シーテック</p>
<h3 id="異物検査">異物検査</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00496702?isReadConfirmed=true">トマト加工工程での異物検査</a></strong>
カゴメ，産業技術総合研究所</p>
<h3 id="生産計画">生産計画</h3>
<p><strong><a href="https://news.mynavi.jp/techplus/article/20181101-717231/">飲料の生産計画の自動立案</a></strong>
サントリー食品インターナショナル，日立製作所</p>
<h2 id="物流">物流</h2>
<h3 id="ルートの最適化">ルートの最適化</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00481759?isReadConfirmed=true">車両の移動ルート最適化</a></strong>
Client：日本郵便
Supplier：オプティマインド</p>
<p><strong><a href="https://news.mynavi.jp/techplus/article/20181213-740429/">配送ルートの最適化：自動販売機の管理業務における配送ルートの最適化</a></strong>
Client：ブルボン
Supplier：オプティマインド</p>
<h3 id="自動倉庫">自動倉庫</h3>
<p><strong><a href="https://dcross.impress.co.jp/docs/news/000522.html">監視カメラで荷物の状況をリアルタイムに把握</a></strong>
Client：村田機械
Supplier：ディープインサイト</p>
<h2 id="農業漁業林業">農業・漁業・林業</h2>
<p><img src="/images/posts/techblog/2018-ai-news/1-2048x1075.png" alt="農業・漁業・林業MAP"></p>
<h3 id="農作業の自動化">農作業の自動化</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00499166">除草ロボの自律走行：画像認識による野菜農家向けの除草ロボットの自律走行</a></strong>
NTTドコモ，みのる産業，野菜くらぶ</p>
<p><strong><a href="https://www.nikkei.com/article/DGXMZO30101870S8A500C1L72000/">摘果作業の自動化：間引く実を判別</a></strong>
埼玉県農業技術研究センター</p>
<h3 id="生産量予測">生産量予測</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00498261">農産物生産量予測</a></strong>
富士通，高知県，Nextremer</p>
<h3 id="養豚養鶏管理">養豚・養鶏管理</h3>
<p><strong><a href="https://xtech.nikkei.com/atcl/nxt/news/18/01380/">鶏の死骸の検知</a></strong>
マルイ農業協同組合，NEC</p>
<p><strong><a href="https://news.mynavi.jp/techplus/article/20181219-743427/">養豚の管理・最適化：リアルタイムに飼育状況を把握</a></strong>
インターファーム，NTTデータ，NTTデータSBC</p>
<h3 id="養殖の生産効率向上">養殖の生産効率向上</h3>
<p><strong><a href="https://news.mynavi.jp/techplus/article/20181213-740434/">かき養殖の最適化</a></strong>
東京大学，シャープ，NTTドコモ，中国電力，ルーチェサーチなど、計10企業・団体</p>
<p><strong><a href="https://news.mynavi.jp/techplus/article/20180821-681817/">稚魚自動選別</a></strong>
近畿大学水産研究所，豊田通商，日本マイクロソフト</p>
<h3 id="密漁監視">密漁監視</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00471838?isReadConfirmed=true">夜間の漁場画像を解析</a></strong>
Client：ミツイワ
Supplier：NTTコムウェア</p>
<h3 id="森林資源管理の効率化">森林資源管理の効率化</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00479838?isReadConfirmed=true">森林の樹木分類</a></strong>
国際航業</p>
<h2 id="インフラ">インフラ</h2>
<p><img src="/images/posts/techblog/2018-ai-news/6-1-2048x1075.png" alt="インフラMAP"></p>
<h3 id="廃棄物の選別">廃棄物の選別</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00477667">リサイクル素材の選別：廃家電や廃自動車を粉砕し、粉々になった素材を種類別に選別</a></strong>
ダイオーエンジニアリング</p>
<h3 id="ゴミ処理発電プラントの最適化">ゴミ処理発電プラントの最適化</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00489528?isReadConfirmed=true">ゴミ処理発電プラント向けの運転支援：運転員に最適操作の情報をレコメンド</a></strong>
Client：川崎重工業
Supplier：SOINN</p>
<h3 id="設備保全の効率化">設備保全の効率化</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00499842">変電設備の異常診断</a></strong>
NTTデータ，東電PG，Automagi</p>
<h2 id="小売">小売</h2>
<h3 id="店舗の顧客分類把握">店舗の顧客分類・把握</h3>
<p><strong><a href="https://www.ryutsuu.biz/it/k060142.html?doing_wp_cron=1686720636.0389430522918701171875">年齢判別：年齢推定により未成年者の飲酒防止</a></strong>
Client：養老乃瀧（一軒め酒場）
Supplier：チャオ</p>
<p><strong><a href="https://news.mynavi.jp/techplus/article/20180517-631935/">障がい者入退店検知</a></strong>
Client：丸井グループ
Supplier：パナソニック</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00498359">混雑把握：混雑状況をリアルタイムに取得</a></strong>
ＮＴＴ東日本とバカン</p>
<h3 id="顔認証決済">顔認証決済</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00499976">コンビニでの顔認証による入店や決済、発注</a></strong>
セブンイレブン・ジャパン，NEC</p>
<h2 id="広告">広告</h2>
<h3 id="広告配信予測支援">広告配信予測・支援</h3>
<p><strong><a href="https://gamebiz.jp/news/212467">クリエイティブの精査・入稿を自動で行う</a></strong>
サイバーエージェント</p>
<p><strong><a href="https://news.mynavi.jp/techplus/article/20181220-743887/">広告コピー自動生成</a></strong>
電通，電通デジタル，データアーティスト</p>
<h2 id="その他おまけ">その他おまけ</h2>
<p><strong><a href="https://news.mynavi.jp/article/20180727-670384/">高級ブランド品の真贋判定</a></strong>
NEC，アプレ</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00478819">火山灰の形状判別：噴火様式などを知る手がかりとして火山灰の画像から重要な粒子形状を分類</a></strong>
東京工業大学，産業技術総合研究所，統計数理研究所</p>
<p><strong><a href="https://news.mynavi.jp/techplus/article/20180829-685723/">赤外線画像（IR）自動解析：太陽光発電所のソーラーモジュールの赤外線検査</a></strong>
ソフトバンク・テクノロジー(SBT)，エナジー・ソリューションズ，M-SOLUTIONS</p>
<p><strong><a href="https://news.mynavi.jp/techplus/article/20180803-673495/">ロードレーサー自動識別</a></strong>
Client：日本テレビ放送網
Supplier：東芝、東芝デジタルソリューションズ</p>
<p><strong><a href="https://xtech.nikkei.com/atcl/nxt/news/18/01209/">書店に並べる本をレコメンド</a></strong>
日本出版販売，富士通</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00477735">歯科Ｘ線画像における診断</a></strong>
葵会，メディホーム</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00477056">賃貸物件画像を自動分類</a></strong>
ブレインパッド，大東建託</p>
<p><strong><a href="https://www.nikkei.com/article/DGXLRSP496275_R21C18A1000000/">人工衛星画像解析</a></strong>
東京海上日動火災保険株式会社，Orbital Insight, Inc.</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00500350">不審者追跡：ドローンが不審者を自動で検知・追跡</a></strong>
KDDI，セコム，テラドローン</p>
<p>（※主にニュースから引っ張ってきていますが何か間違いなどありましたらご連絡ください。）</p>
<h2 id="最後に">最後に</h2>
<p>「こんなのもAI/ 機械学習を活用すればできるのか！」といったような新たな発見はありましたでしょうか？
LeapMindでは定期的に最新のディープラーニングのビジネス活用や技術情報などを発信しています。</p>
<p><strong>それでは、みなさま！良いお年をお迎えください！?</strong></p>

2018年 AI / 機械学習 NEWS 総まとめ【業界MAP付】

<p>LeapMindソフトウェアエンジニアの藤原です。
組込みDeep Learningモデル構築サービス「DeLTA-Lite」の開発を担当しています。</p>
<p>先日、機械学習モデルの学習や実行が可能になるJavaScriptライブラリ「<a href="https://www.tensorflow.org/js?hl=ja">TensorFlow.js</a>」がGoogleから公開されました。
今までの機械学習ライブラリはPythonなどのサーバーサイド言語で動作するものがほとんどでしたが、
ついにJavaScriptから機械学習モデルを直接操作できるようになりました。</p>
<p>PCだけでなくスマートフォンのブラウザからでも利用できるので、いろいろなアプリケーションでの活用が期待できます。
<a href="https://www.tensorflow.org/js?hl=ja">公式サイト</a>にデモがいろいろあるので、どんなことができるか気になる方は遊んでみてください。</p>
<p>さて、TensorFlow.jsではWebGLによる計算の高速化を利用していることが特徴の一つです。
WebGLはもともとグラフィック処理を行うためのJavaScript APIですが、
これをどのように機械学習のような汎用計算に利用しているのでしょうか？
ソースコードを交えてその仕組みを解説してみようと思います。</p>
<hr>
<p>LeapMindではエンジニア以外でも、あらゆる職種にて仲間を募集しています。
<a href="https://www.wantedly.com/projects/193933">Wantedly</a>からお気軽にお問合わせくださいませ。</p>

TensorFlow.jsがGPUで並列計算を実行する仕組みを理解する

<p>こんにちは。LeapMindソフトウェアエンジニアの藤原です。</p>
<p>様々な分野のデータやタスクに対してDeep Learning技術の活用が始まっていますが、その大きな強みの一つとして、人間の力を借りることなくデータの特徴を抽出できることが挙げられます。</p>
<p>与えられたデータをうまく表現する特徴を学習することを表現学習といいますが、表現学習を行うためのneural networkの一つに自己符号化器（autoencoder）というものがあります。今回はこの自己符号化器のハイパーパラメータをいろいろと変えてみて、自己符号化器が学習する特徴がどのように変化するか実験をしてみました。</p>
<p>人間には判断根拠がわかりづらいと言われることがあるDeep Learning技術ですが、自分でパラメータをいじってみたり、学習された特徴を可視化してみたりすると、もう少し身近に感じられるかもしれません。</p>
<hr>
<p>LeapMindではエンジニア以外でも、あらゆる職種にて仲間を募集しています。
<a href="https://www.wantedly.com/projects/190245">Wantedly</a>からお気軽にお問合わせくださいませ。</p>

自己符号化器による表現学習

<p>こんにちは。開発マネージャーの白井です。
普段は、企業向けにDeepLearningを使った課題解決のお手伝いをしています。</p>
<p>DeepLearningは色々な用途に使えますが、現在、特に研究開発が進んでいるのが「画像認識」または「コンピュータビジョン」と呼ばれる分野です。静止画像や動画を解析して、その中に何が映っているか認識したり特定したり、といった、人間の「眼」に相当することをやってくれる技術です。</p>
<p>ということで今日は、そのコンピュータビジョンの中でも特に、画像の中で人の体や指などの位置（座標）や、向きを推定する<a href="https://github.com/CMU-Perceptual-Computing-Lab/openpose">OpenPose</a>という技術を紹介したいと思います</p>
<p>OpenPoseを使った動画は<a href="/images/posts/techblog/openpose/openpose3.m4v">こちら</a></p>
<p>OpenPoseは、コンピュータビジョンに関する国際学会CVPR2017でCMU（カーネギーメロン大学）が発表した、keypoint（特徴点）の検出とkeypoint同士の関係の推定を行う技術です。OpenPoseを使うと、以下のように関節の位置など、人の体における特徴点がどの座標にあるかが分かります。</p>
<p>画像の中で人が持つさまざまな座標を予測することと同時に、複数の座標がある中で、どれとどれが同一の人のものかを推定できるのが、この技術のユニークなところです。例えば、肘から手首までの線を結ぶのは、画像の中に1人しかいなければ比較的簡単にできるのですが、複数の人が映っている場合、画像の中にたくさんの肘とたくさんの手首が存在するので、どれとどれを結んでいいか推測するのは簡単ではありません。しかしOpenPoseをつかうと、それが見事に推定できます。</p>
<p><img src="/images/posts/techblog/openpose/images00024-300x225.png" alt="OpenPoseの切り抜き画像">
<img src="/images/posts/techblog/openpose/images00141-300x225.png" alt="OpenPoseの切り抜き画像"></p>
<p>これを動画からパラパラ漫画のように取得した画像に使うと、人がどういう風に体を動かしたかが、時系列で取得できます。</p>
<p>これによって、例えば以下のようなことができるかもしれません。</p>
<p><strong>「スポーツのプロ選手とアマチュア選手の体の動きの差を発見し、フォームの矯正やトレーニングに利用する。」</strong>
→ スポーツの上手い人とそうでない人は、体の使い方が違うのかもしれないので、その差は何かを客観的に見ることができるかもしれません。</p>
<p><strong>「作業中の人の動きから、疲れが溜まっている人を見つけ、悪くなる前に通院を進める。」</strong>
→ 体が不調になる時、自然のその部位をかばう行動が多くなったりします。そのため、その行動の頻度が一定値を超えたら、教えてあげるなどをすると、良い労働環境が作れるかもしれません。</p>
<p>OpenPoseアルゴリズムの問題点は、汎用的に作られていることもあって、学習したモデルのサイズが大きくなってしまうことです。
そこで、LeapMindでは、独自のライブラリの研究開発を行い、特定の用途に向けてアルゴリズムをブラッシュアップすることで、精度をあまり落とさずにサイズをコンパクトにしたり、高速化することを目指しています。</p>
<p><img src="/images/posts/techblog/openpose/openpose-900x405.png" alt="OpenPoseアルゴリズム"></p>
<p>いかがでしょうか。人の動きを時系列で分析できるというこの技術、きっといろいろなアプリケーションがあるのではないかと思います。もし「こんな用途に使ってみたい！」と思われたら、ぜひLeapMindにお申し付けください。</p>

体の位置や向きが推定できるOpenPoseを紹介

<p>お疲れ様です。Leapmindの脇坂です。</p>
<p>この記事は、<a href="https://qiita.com/advent-calendar/2017/tensorflow">TensorFlow Advent Calendar 2017</a> 17日目の記事です</p>
<p>今回は、tensorflow の <code>tensorflow.python.framework.function.Defun</code> を使って、weight の 3値化をしてみます。</p>
<h2 id="defunとは">Defunとは</h2>
<p><code>tensorflow.python.framework.function.Defun</code> はtensorflowのfunctionを定義するためのデコレータです。
今現在(tensorflow v1.4)ドキュメントにはのってない機能です。<code>tf.contrib.eager.defun</code> とは違うので注意</p>
<p>引数にtensorflow DataTypeをとって、任意のpython functionをデコレートし、tensorflowのgraphでそのfunctionが使えるように定義します。内部的には、たぶん、graphに<a href="https://github.com/tensorflow/tensorflow/blob/master/tensorflow/core/framework/function.proto">function.proto</a>を追加します。
tensorflowにおけるfucntionは1つ以上のoperationをまとめたものだそうです。</p>
<p>コード例は、こんな感じです。</p>
<p><strong>MyFuncの定義</strong></p>
<pre><code>@tf.Defun(tf.float32, tf.float32)
def MyFunc(x, y):
  return x + y, x - y
</code></pre>
<p>グラフを作る時に、MyFuncを実行。</p>
<pre><code>a = tf.Constant([1.0])
b = tf.Constant([2.0])
c, d = MyFunc(a, b, name='mycall')
</code></pre>
<p>他にオプションのキーワード引数として、</p>
<ul>
<li><code>func_name</code>: Functionの名前</li>
<li><code>grad_func</code> or <code>python_grad_func</code>: backward関数</li>
<li><code>out_names</code>: output tensor の名前</li>
<li><code>shape_func</code>: output tensor のshapeを指定
が、あります。</li>
</ul>
<p>さらに詳しく知りたい方は、ソースコードとtestを見てみてください。
<a href="https://github.com/tensorflow/tensorflow/blob/r1.4/tensorflow/python/framework/function.py">https://github.com/tensorflow/tensorflow/blob/r1.4/tensorflow/python/framework/function.py</a>
<a href="https://github.com/tensorflow/tensorflow/blob/r1.4/tensorflow/python/framework/function_test.py">https://github.com/tensorflow/tensorflow/blob/r1.4/tensorflow/python/framework/function_test.py</a></p>
<h2 id="defunをどんな時に使いますか">Defunをどんな時に使いますか</h2>
<p>さて、この<code>Defun</code>がどういったモノかはなんとなくわかりましたが、どんな時に効果的に使えるのでしょうか？</p>
<ol>
<li>メモリ・計算量を減らす</li>
<li>Backwardの近似 (backwardを別の関数で近似)</li>
</ol>
<p>この二つが考えれます。</p>
<h2 id="メモリ計算量を減らす">メモリ・計算量を減らす</h2>
<p>この使用法が一般的になるのだと思いますが、すみません、ちゃんと検証していないので自信がありません。</p>
<p>tensorflowでの<a href="https://github.com/tensorflow/tensorflow/blob/e2174cc943f60d0e0bb47abd26fc2fe9772a27ef/tensorflow/python/ops/nn_impl.py#L290">使用例</a>を見ると、<code>swish</code> の実装で、operationをまとめてmemory消費を少なくするために使われています。</p>
<p><code>swish</code> は２、３ヶ月前に発表された(<a href="https://arxiv.org/abs/1710.05941">https://arxiv.org/abs/1710.05941</a>) activation functionで、式はすごく単純</p>
<div class="math math-display"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><semantics><mtable rowspacing="0.25em" columnalign="right" columnspacing=""><mtr><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow><mi>f</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo>=</mo><mi>x</mi><mo>×</mo><mi>s</mi><mi>i</mi><mi>g</mi><mi>m</mi><mi>o</mi><mi>i</mi><mi>d</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></mrow></mstyle></mtd></mtr></mtable><annotation encoding="application/x-tex">\begin{aligned}
f(x) = x \times sigmoid(x)
\end{aligned}</annotation></semantics></math></span></div>
<p>です。</p>
<p>普通にtensorflowで実装するとこうなります。</p>
<pre><code>output = tf.sigmoid(x) * x
</code></pre>
<p>さて、deeplearningのフレームワークでは、勾配計算のためにBackpropagationを使い、そのためforward時に各operationの入力をメモリに残しておきます。
上記のように実装すると、<code>*</code> operationのために、<code>x</code> と <code>tf.sigmoid(x)</code> の両方をメモリに残しておきます。が、これは無駄です。
メモリの観点だけで見れば、 <code>x</code> だけ残しておけば良いです。</p>
<p>そこで、tensorflowの<a href="https://github.com/tensorflow/tensorflow/blob/e2174cc943f60d0e0bb47abd26fc2fe9772a27ef/tensorflow/python/ops/nn_impl.py#L290">使用例</a>では、 <code>noinline=True</code> を使い、下記のような実装をしています。</p>
<pre><code>@function.Defun(
    grad_func=_swish_grad,
    shape_func=_swish_shape,
    func_name="swish",
    noinline=True)
def swish(x):
  return x * math_ops.sigmoid(x)
</code></pre>
<p>注意: noinlineで本当にメモリ使用が抑えられるのか、試しておりません。。。XLAを有効にした時だけの話かも？</p>
<h2 id="backwardの近似">Backwardの近似</h2>
<p>こちらの使用方法はレアケースになるかと思いますが、本記事のメインになります。
やっとです。</p>
<p>ここでニューラルネットのパラメータやアクティベーションの量子化について、さらっと振り返っておきます。
通常32bitや16bit floatのパラメータ(weight)を、メモリ削減のため2値化、3値化(ternary)、N bit化などに量子化する際、
推論時には2値や3値を使い、学習時にはパラメータの値を実数で保持しておいて実数の値を更新すると、高い精度が得られる事が知られています。
この際、forward時には実数のパラメータから量子化を行いますが、量子化を行う関数はstep関数なので、普通に勾配を求めるとうまく学習できないため、
backward時には量子化を行う関数を近似して、勾配を求めます。</p>
<p>参考: <a href="https://developer.smartnews.com/blog/2017/03/neural-network-quantization/">https://developer.smartnews.com/blog/2017/03/neural-network-quantization/</a></p>
<p>さて、tensorflow の python apiで、このようなbackward時の近似を行う際、<code>Graph.gradient_override_map()</code> や <code>tf.stop_gradient()</code> を使う方法もあるのですが、非常に読みにくコードになってしまいます。
ここで <code>Defun</code> を使ってforwardとbackwardを分けて実装すると、綺麗に書く事ができます。</p>
<h2 id="パラメータの３値化">パラメータの３値化</h2>
<p>では、パラメータ(weight)の３値化(ternary)の実装例を、順をおってみていきます。</p>
<h2 id="3値化の定義">3値化の定義</h2>
<p>まず、3値化の定義です。この記事ではわかりやすくするために適当に以下のようにします。</p>
<ul>
<li>スケールファクタは、パラメータの絶対値の平均</li>
<li>パラメータが閾値0.5より大きい場合 +スケールファクタ</li>
<li>パラメータが閾値-0.5より小さい場合に -スケールファクタ</li>
<li>パラメータが0.5以下-0.5以上の場合、0</li>
</ul>
<div class="math math-display"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><semantics><mtable rowspacing="0.25em" columnalign="right" columnspacing=""><mtr><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow><mi>f</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo>=</mo><mrow><mo fence="true">{</mo><mtable rowspacing="0.16em" columnalign="left left" columnspacing="1em"><mtr><mtd><mstyle scriptlevel="0" displaystyle="false"><mrow><mo>+</mo><mi>m</mi><mi>e</mi><mi>a</mi><mi>n</mi><mo stretchy="false">(</mo><mi mathvariant="normal">∣</mi><mi>x</mi><mi mathvariant="normal">∣</mi><mo stretchy="false">)</mo></mrow></mstyle></mtd><mtd><mstyle scriptlevel="0" displaystyle="false"><mrow><mo stretchy="false">(</mo><mi>x</mi><mo>></mo><mn>0.5</mn><mo stretchy="false">)</mo></mrow></mstyle></mtd></mtr><mtr><mtd><mstyle scriptlevel="0" displaystyle="false"><mrow><mo>−</mo><mi>m</mi><mi>e</mi><mi>a</mi><mi>n</mi><mo stretchy="false">(</mo><mi mathvariant="normal">∣</mi><mi>x</mi><mi mathvariant="normal">∣</mi><mo stretchy="false">)</mo></mrow></mstyle></mtd><mtd><mstyle scriptlevel="0" displaystyle="false"><mrow><mo stretchy="false">(</mo><mi>x</mi><mo>&#x3C;</mo><mo>−</mo><mn>0.5</mn><mo stretchy="false">)</mo></mrow></mstyle></mtd></mtr><mtr><mtd><mstyle scriptlevel="0" displaystyle="false"><mn>0</mn></mstyle></mtd><mtd><mstyle scriptlevel="0" displaystyle="false"><mrow><mo stretchy="false">(</mo><mi>o</mi><mi>t</mi><mi>h</mi><mi>e</mi><mi>r</mi><mi>w</mi><mi>i</mi><mi>s</mi><mi>e</mi><mo stretchy="false">)</mo></mrow></mstyle></mtd></mtr></mtable></mrow></mrow></mstyle></mtd></mtr></mtable><annotation encoding="application/x-tex">\begin{aligned}
f(x) = \left\{ \begin{array}{ll}
+ mean(|x|) &#x26; (x>0.5) \\
- mean(|x|) &#x26; (x&#x3C;-0.5) \\
0 &#x26; (otherwise)
\end{array} \right.

\end{aligned}</annotation></semantics></math></span></div>
<h2 id="backwardの近似なし3値化関数">Backwardの近似なし3値化関数</h2>
<p>では、次に、
この3値化関数をBackwardの近似なしで、実装してみます。</p>
<pre><code>def no_backward_approximate_ternary_function(weights):
    """Forward

    Args:
        weights(tf.Variable): The weights to be ternary.

    Returns:
        ternary_weights(tf.Variable): The ternary valued weights.
    """
    threshold = 0.5
    mask_positive = (weights > threshold)
    mask_negative = (weights &#x3C; -threshold)

    scaling_factor = tf.reduce_mean(tf.abs(weights))

    positive_weights = scaling_factor * tf.where(mask_positive, tf.ones_like(weights), tf.zeros_like(weights))
    negative_weights = - scaling_factor * tf.where(mask_negative, tf.ones_like(weights), tf.zeros_like(weights))

    ternary_weights = positive_weights + negative_weights
    return ternary_weights
</code></pre>
<p>forward時のこの関数をplotしてみます。</p>
<pre><code>tf.InteractiveSession()

weights_size = (100,)
np_weights = np.random.uniform(-2., 2., size=weights_size).astype(np.float32)
weights = tf.convert_to_tensor(np_weights)

no_backward_approximate_ternary_weights = no_backward_approximate_ternary_function(weights)

order = np.argsort(np_weights)
plt.plot(np_weights[order], no_backward_approximate_ternary_weights.eval()[order])

plt.ylabel("ternary weights")
plt.xlabel("input weights")
plt.title("ternary func")

plt.show()
</code></pre>
<p>forward時はこれで良いのですが、backward時の勾配をplotすると、
(グラフの横軸が3値化したパラメーターに関数する勾配、縦軸が実数のパラメータに関する勾配です。)</p>
<pre><code>np_grad_tenary_weights = np.random.uniform(-10., 10., size=weights_size).astype(np.float32)
grad_tenary_weights = tf.convert_to_tensor(np_grad_tenary_weights)
gard_no_backward_approximate_weights, = tf.gradients(no_backward_approximate_ternary_weights, weights, grad_ys=grad_y)

order = np.argsort(np_grad_tenary_weights)
plt.plot(np_grad_tenary_weights[order], gard_no_backward_approximate_weights.eval()[order])

plt.ylabel("grad weights")
plt.xlabel("grad ternary weights")
plt.title("backward ternary func")

plt.show()
</code></pre>
<p>このように無茶苦茶になってしまいます。</p>
<h2 id="defunを使ったbackwardの近似ありの3値化関数">Defunを使ったBackwardの近似ありの3値化関数</h2>
<p>では、Defunを使ってBackwardを近似してみます。
3値関数が恒等写像であると仮定して、その上でbackwardを実装します。
このように簡潔に書けます。</p>
<pre><code>@Defun(tf.float32, tf.float32)
def ternary_backward(weights, grad_ternary):
    """Backward

    Args:
        grad_ternary(tf.Tensor): The gradient w.r.t ternary valued weights.

    Return:
        grad_weights(tf.Tensor): The gradient w.r.t. normal (non-ternary) weights.
    """
    grad_weights = grad_ternary
    return grad_weights


@Defun(tf.float32,
       grad_func=ternary_backward,
       func_name="TernaryWeight",
       shape_func=lambda op: [op.inputs[0].get_shape()])
def ternary_function(weights):
    """Forward

    Args:
        weights(tf.Variable): The weights to be ternary.

    Returns:
        ternary_weights(tf.Variable): The ternary valued weights.
    """
    threshold = 0.5
    mask_positive = (weights > threshold)
    mask_negative = (weights &#x3C; -threshold)

    scaling_factor = tf.reduce_mean(tf.abs(weights))

    positive_weights = scaling_factor * tf.where(mask_positive, tf.ones_like(weights), tf.zeros_like(weights))
    negative_weights = - scaling_factor * tf.where(mask_negative, tf.ones_like(weights), tf.zeros_like(weights))

    ternary_weights = positive_weights + negative_weights
    return ternary_weights
</code></pre>
<p>3値化関数に恒等写像を仮定したので、
backwardは、3値化したパラメーターに関数する勾配と、実数のパラメータに関する勾配とが同じになります。
では、backward時の勾配をplotすると、</p>
<pre><code>order = np.argsort(np_grad_tenary_weights)
plt.plot(np_grad_tenary_weights[order], gard_weights.eval()[order])

plt.ylabel("grad weights")
plt.xlabel("grad ternary weights")
plt.title("backward ternary func")

plt.show()
</code></pre>
<p>わーい、意図した通りになりましたー!!</p>
<p>これでおしまいです。</p>

Tech Blog