<p>こんにちは、LeapMindでマーケターをしている坂口です。
昨年から今年にかけて、「AI」という言葉がバズワード化し、AI / 機械学習を活用して業務効率化や自動化に取り組む企業が増えてきました。今、どのようなことが世の中で取り組まれているかを知ることで、自分の身の回りやビジネスでどのように活用できそうかを考えるきっかけとなるよう、今回は、年末ということで、</p>
<p><strong>2018年のAI / 機械学習 NEWSのまとめ記事</strong>をお届けします！</p>
<p>ただ、「AI」という言葉を使用しているだけ、サービスをリリースしただけ、といったNEWSではなく、実際に現場に組み込まれた事例や実証実験を開始したものなど具体的なNEWSを厳選してピックアップしています。（※そして特に画像認識がメイン）
興味のある業界だけチェックしてもよし、全部目を通して今年を振り返るもよし、です！</p>
<h2 id="ダイジェスト">ダイジェスト</h2>
<p>製造と建設業界での活用が進んでいる印象。製造だと、生産ラインなどにカメラを設置し、不良品の検品や外観検査の自動化など目視で行っていた検査や検品の自動化のためにAIが活用されていることが多いです。建設でも同様に、ひび割れの検出など目視で行っていた点検や作業を自動化するために活用されています。特に、建設や交通（道路や線路の点検など）で、カメラを搭載したドローンを用いた点検・異常検知などの取り組みが増えています。</p>
<h2 id="-製造-">⚙ 製造 ⚙</h2>
<p><img src="/images/posts/techblog/2018-ai-news/3-2048x1075.png" alt="製造MAP"></p>
<h3 id="検品品質検査">検品・品質検査</h3>
<p>（※以下、Client，Supplierという表記があるものとないものが登場しますが、NEWS記事から分かるもののみ表記しています。ご了承ください。）</p>
<p><strong><a href="https://www.nikkei.com/article/DGKKZO28983930U8A400C1L61000/">生産ラインの検品：ミラーの製造過程で生じるキズやひび割れを画像から検出</a></strong>
Client：村上開明堂
Supplier：Rist</p>
<p><strong><a href="https://monoist.itmedia.co.jp/mn/articles/1804/09/news028.html">自動車部品の自動検品</a></strong>
Client：武蔵精密工業
Supplier：ABEJA</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00499520">電子部品の自動認識による仕分け</a></strong>
FUJI，ALBERT</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00492662">包装ラインでの医薬品検査</a></strong>
武田薬品工業</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00492662">陶板外壁検査：画像処理による木造住宅用陶板外壁の製造ラインでの品質検査</a></strong>
Client:積水ハウス
Supplier：コグネックス</p>
<p><strong><a href="https://newswitch.jp/p/12605?from=np">焼結合金部品の微小亀裂の検出：磁粉探傷検査の自動画像検査化</a></strong>
Client：住友電工焼結合金
Supplier：住友電気工業</p>
<p><strong>外観検査の自動化</strong>
Panasonic</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00478146">半導体材料の品質検査を省力化</a></strong>
JSR，NEC</p>
<h3 id="故障検知予防">故障検知・予防</h3>
<p><strong>エネルギー供給プラントの故障検知・予測</strong>
Client：新日鉄住金エンジニアリング
Supplier：新日鉄住金ソリューションズ</p>
<p><strong><a href="https://kyodonewsprwire.jp/release/201810159181">工作機械の刃物部分への切粉巻き付き検知</a></strong>
金沢工業大学，オーエム製作所</p>
<p><strong><a href="https://www.nikkei.com/article/DGXMZO38332590Z21C18A1LKA000/">生産工程での不良品発生防止</a></strong>
オムロン，AISing</p>
<h3 id="自律診断">自律診断</h3>
<p><strong><a href="https://active.nikkeibp.co.jp/atclact/active/17/071100318/102900618/">ドリル加工の状態を自律診断：ドリル加工の異常検知と工具摩耗の可視化</a></strong>
オークマ，NEC</p>
<h3 id="安全管理">安全管理</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00499201">作業員の安全管理：作業員の行動を画像から見守る安全管理</a></strong>
JFEスチール，NECグループ</p>
<h2 id="建設">建設</h2>
<p><img src="/images/posts/techblog/2018-ai-news/2-2048x1075.png" alt="建設MAP"></p>
<h3 id="ひび割れの検出">ひび割れの検出</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00468735">ひび割れ自動検知：コンクリのひび割れを自動検知</a></strong>
Client：大林組
Supplier：富士フイルム</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00482539?isReadConfirmed=true">ひび割れ自動検知：インフラ構造物のひび割れを自動検知</a></strong>
キヤノン，東設土木コンサルタント</p>
<h3 id="維持管理保守点検">維持管理・保守・点検</h3>
<p><strong><a href="https://newswitch.jp/p/13876">インフラ維持管理：トンネルや道路、橋梁など老朽インフラの維持管理に向けた探査や点検</a></strong>
三井E&#x26;Sマシナリー，アダコテック</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00479018">インフラ保守：橋や機械設備などの点検</a></strong>
国立研究開発法人，土木研究所</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00474680?isReadConfirmed=true">インフラ保守：ドローンを用いた橋やトンネルの点検</a></strong>
経済産業省，国土交通省</p>
<p><strong><a href="https://newswitch.jp/p/12972">インフラ維持管理：ドローンの自律飛行制御</a></strong>
NTTデータ，LeapMind</p>
<h3 id="計画の最適化">計画の最適化</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00477228">トンネル工事の掘削計画の最適化</a></strong>
Client：清水建設
Supplier：名古屋工業大学</p>
<h3 id="溶接作業の自動化">溶接作業の自動化</h3>
<p><strong><a href="https://xtech.nikkei.com/atcl/nxt/column/18/00267/042300003/">溶接作業の自動化</a></strong>
清水建設，大阪大学</p>
<h3 id="切羽判定評価">切羽判定・評価</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00488023?isReadConfirmed=true">切羽作業判定：切羽の監視カメラの映像から自動判別</a></strong>
西松建設，sMedio</p>
<p><strong><a href="https://www.obayashi.co.jp/news/detail/news20181218_1.html">切羽評価：山岳トンネル工事の切羽（掘削面）評価の自動化</a></strong>
Client：大林組
Supplier：MathWorks Japan</p>
<h3 id="安全確認">安全確認</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00494551?isReadConfirmed=true">作業員を自動認識して建機を自動停止</a></strong>
カナモト，イームズラボ</p>
<h2 id="自動車交通">自動車・交通</h2>
<p><img src="/images/posts/techblog/2018-ai-news/4-2048x1075.png" alt="自動車・交通MAP"></p>
<h3 id="ドライバー運転モニタリング">ドライバー・運転モニタリング</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00481932?isReadConfirmed=true">運転手の顔の向きやまぶたの開閉を検知</a></strong>
アイシン精機，トヨタ自動車，（TRI-AD）</p>
<p><strong><a href="https://www.nikkei.com/article/DGXMZO38577940V01C18A2XY0000/">運転中の居眠り検知</a></strong>
NTTドコモ，Automagi</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00488094?isReadConfirmed=true">危険運転映像抽出</a></strong>
Client：三井住友海上火災保険
Supplier：アリスマー</p>
<h3 id="交通量調査">交通量調査</h3>
<p><strong><a href="https://iotnews.jp/ai/105142/">自動交通量調査</a></strong>
データセクション</p>
<p><strong><a href="https://newswitch.jp/p/14234">渋滞検知：信号機に取り付けたカメラや信号現示情報から車の流れをリアルタイムで把握</a></strong>
日本総合研究所</p>
<h3 id="道路状況の判定点検">道路状況の判定・点検</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00487907?isReadConfirmed=true">道路のひび割れなど路面状況自動測定：道路の補修作業の効率化</a></strong>
リコー</p>
<p><strong>道路点検：道路のひび割れやくぼみなどの検出</strong>
NTT西日本</p>
<p><strong><a href="https://newswitch.jp/p/15147">道路の凍結防止作業の自動化</a></strong>
東日本高速道路</p>
<p><strong><a href="https://newswitch.jp/p/15147">雪氷対策作業の判断支援</a></strong>
ネクスコ・メンテナンス北海道，ウェザーニューズ</p>
<h3 id="ナンバープレート検出">ナンバープレート検出</h3>
<p><strong><a href="https://news.mynavi.jp/techplus/article/20180723-668399/">車両のナンバープレート検出</a></strong>
アットホーム</p>
<p><strong><a href="https://www.nikkei.com/article/DGXMZO37155610R31C18A0AM1000/">車両のナンバープレート検出</a></strong>
グローリー</p>
<h3 id="自動操縦">自動操縦</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00482764">自動操船：内航船の操船支援システム</a></strong>
Client：日本郵船
Supplier：神戸大学と日本海洋科学（MTI）</p>
<h3 id="保安検査">保安検査</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00479314">保安検査時の液体検知</a></strong>
東京ガスエンジニアリングソリューションズ</p>
<h3 id="鉄道の安全点検">鉄道の安全点検</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00470031">鉄道インフラの予防点検：ドローンを用いた線路の安全点検</a></strong>
Client：東武鉄道
Supplier：NTTドコモ</p>
<p><strong><a href="https://www.itmedia.co.jp/enterprise/articles/1811/29/news065.html">踏切の監視カメラ映像解析：踏切での異常検知</a></strong>
東急テクノシステム，理経，フューチャースタンダード</p>
<h2 id="食品">食品</h2>
<p><img src="/images/posts/techblog/2018-ai-news/5-2048x1075.png" alt="食品MAP"></p>
<h3 id="自動検品判別">自動検品・判別</h3>
<p><strong><a href="https://newswitch.jp/p/13716">総菜判別：画像認識で種類と個数を判別</a></strong>
イシダ</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00477975?isReadConfirmed=true">野菜・果物の不良品判別：食品機械で自動検品</a></strong>
Client：平野製作所、
Supplier：東杜シーテック</p>
<h3 id="異物検査">異物検査</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00496702?isReadConfirmed=true">トマト加工工程での異物検査</a></strong>
カゴメ，産業技術総合研究所</p>
<h3 id="生産計画">生産計画</h3>
<p><strong><a href="https://news.mynavi.jp/techplus/article/20181101-717231/">飲料の生産計画の自動立案</a></strong>
サントリー食品インターナショナル，日立製作所</p>
<h2 id="物流">物流</h2>
<h3 id="ルートの最適化">ルートの最適化</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00481759?isReadConfirmed=true">車両の移動ルート最適化</a></strong>
Client：日本郵便
Supplier：オプティマインド</p>
<p><strong><a href="https://news.mynavi.jp/techplus/article/20181213-740429/">配送ルートの最適化：自動販売機の管理業務における配送ルートの最適化</a></strong>
Client：ブルボン
Supplier：オプティマインド</p>
<h3 id="自動倉庫">自動倉庫</h3>
<p><strong><a href="https://dcross.impress.co.jp/docs/news/000522.html">監視カメラで荷物の状況をリアルタイムに把握</a></strong>
Client：村田機械
Supplier：ディープインサイト</p>
<h2 id="農業漁業林業">農業・漁業・林業</h2>
<p><img src="/images/posts/techblog/2018-ai-news/1-2048x1075.png" alt="農業・漁業・林業MAP"></p>
<h3 id="農作業の自動化">農作業の自動化</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00499166">除草ロボの自律走行：画像認識による野菜農家向けの除草ロボットの自律走行</a></strong>
NTTドコモ，みのる産業，野菜くらぶ</p>
<p><strong><a href="https://www.nikkei.com/article/DGXMZO30101870S8A500C1L72000/">摘果作業の自動化：間引く実を判別</a></strong>
埼玉県農業技術研究センター</p>
<h3 id="生産量予測">生産量予測</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00498261">農産物生産量予測</a></strong>
富士通，高知県，Nextremer</p>
<h3 id="養豚養鶏管理">養豚・養鶏管理</h3>
<p><strong><a href="https://xtech.nikkei.com/atcl/nxt/news/18/01380/">鶏の死骸の検知</a></strong>
マルイ農業協同組合，NEC</p>
<p><strong><a href="https://news.mynavi.jp/techplus/article/20181219-743427/">養豚の管理・最適化：リアルタイムに飼育状況を把握</a></strong>
インターファーム，NTTデータ，NTTデータSBC</p>
<h3 id="養殖の生産効率向上">養殖の生産効率向上</h3>
<p><strong><a href="https://news.mynavi.jp/techplus/article/20181213-740434/">かき養殖の最適化</a></strong>
東京大学，シャープ，NTTドコモ，中国電力，ルーチェサーチなど、計10企業・団体</p>
<p><strong><a href="https://news.mynavi.jp/techplus/article/20180821-681817/">稚魚自動選別</a></strong>
近畿大学水産研究所，豊田通商，日本マイクロソフト</p>
<h3 id="密漁監視">密漁監視</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00471838?isReadConfirmed=true">夜間の漁場画像を解析</a></strong>
Client：ミツイワ
Supplier：NTTコムウェア</p>
<h3 id="森林資源管理の効率化">森林資源管理の効率化</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00479838?isReadConfirmed=true">森林の樹木分類</a></strong>
国際航業</p>
<h2 id="インフラ">インフラ</h2>
<p><img src="/images/posts/techblog/2018-ai-news/6-1-2048x1075.png" alt="インフラMAP"></p>
<h3 id="廃棄物の選別">廃棄物の選別</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00477667">リサイクル素材の選別：廃家電や廃自動車を粉砕し、粉々になった素材を種類別に選別</a></strong>
ダイオーエンジニアリング</p>
<h3 id="ゴミ処理発電プラントの最適化">ゴミ処理発電プラントの最適化</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00489528?isReadConfirmed=true">ゴミ処理発電プラント向けの運転支援：運転員に最適操作の情報をレコメンド</a></strong>
Client：川崎重工業
Supplier：SOINN</p>
<h3 id="設備保全の効率化">設備保全の効率化</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00499842">変電設備の異常診断</a></strong>
NTTデータ，東電PG，Automagi</p>
<h2 id="小売">小売</h2>
<h3 id="店舗の顧客分類把握">店舗の顧客分類・把握</h3>
<p><strong><a href="https://www.ryutsuu.biz/it/k060142.html?doing_wp_cron=1686720636.0389430522918701171875">年齢判別：年齢推定により未成年者の飲酒防止</a></strong>
Client：養老乃瀧（一軒め酒場）
Supplier：チャオ</p>
<p><strong><a href="https://news.mynavi.jp/techplus/article/20180517-631935/">障がい者入退店検知</a></strong>
Client：丸井グループ
Supplier：パナソニック</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00498359">混雑把握：混雑状況をリアルタイムに取得</a></strong>
ＮＴＴ東日本とバカン</p>
<h3 id="顔認証決済">顔認証決済</h3>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00499976">コンビニでの顔認証による入店や決済、発注</a></strong>
セブンイレブン・ジャパン，NEC</p>
<h2 id="広告">広告</h2>
<h3 id="広告配信予測支援">広告配信予測・支援</h3>
<p><strong><a href="https://gamebiz.jp/news/212467">クリエイティブの精査・入稿を自動で行う</a></strong>
サイバーエージェント</p>
<p><strong><a href="https://news.mynavi.jp/techplus/article/20181220-743887/">広告コピー自動生成</a></strong>
電通，電通デジタル，データアーティスト</p>
<h2 id="その他おまけ">その他おまけ</h2>
<p><strong><a href="https://news.mynavi.jp/article/20180727-670384/">高級ブランド品の真贋判定</a></strong>
NEC，アプレ</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00478819">火山灰の形状判別：噴火様式などを知る手がかりとして火山灰の画像から重要な粒子形状を分類</a></strong>
東京工業大学，産業技術総合研究所，統計数理研究所</p>
<p><strong><a href="https://news.mynavi.jp/techplus/article/20180829-685723/">赤外線画像（IR）自動解析：太陽光発電所のソーラーモジュールの赤外線検査</a></strong>
ソフトバンク・テクノロジー(SBT)，エナジー・ソリューションズ，M-SOLUTIONS</p>
<p><strong><a href="https://news.mynavi.jp/techplus/article/20180803-673495/">ロードレーサー自動識別</a></strong>
Client：日本テレビ放送網
Supplier：東芝、東芝デジタルソリューションズ</p>
<p><strong><a href="https://xtech.nikkei.com/atcl/nxt/news/18/01209/">書店に並べる本をレコメンド</a></strong>
日本出版販売，富士通</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00477735">歯科Ｘ線画像における診断</a></strong>
葵会，メディホーム</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00477056">賃貸物件画像を自動分類</a></strong>
ブレインパッド，大東建託</p>
<p><strong><a href="https://www.nikkei.com/article/DGXLRSP496275_R21C18A1000000/">人工衛星画像解析</a></strong>
東京海上日動火災保険株式会社，Orbital Insight, Inc.</p>
<p><strong><a href="https://www.nikkan.co.jp/articles/view/00500350">不審者追跡：ドローンが不審者を自動で検知・追跡</a></strong>
KDDI，セコム，テラドローン</p>
<p>（※主にニュースから引っ張ってきていますが何か間違いなどありましたらご連絡ください。）</p>
<h2 id="最後に">最後に</h2>
<p>「こんなのもAI/ 機械学習を活用すればできるのか！」といったような新たな発見はありましたでしょうか？
LeapMindでは定期的に最新のディープラーニングのビジネス活用や技術情報などを発信しています。</p>
<p><strong>それでは、みなさま！良いお年をお迎えください！?</strong></p>

2018年 AI / 機械学習 NEWS 総まとめ【業界MAP付】

<p>LeapMindソフトウェアエンジニアの藤原です。
組込みDeep Learningモデル構築サービス「DeLTA-Lite」の開発を担当しています。</p>
<p>先日、機械学習モデルの学習や実行が可能になるJavaScriptライブラリ「<a href="https://www.tensorflow.org/js?hl=ja">TensorFlow.js</a>」がGoogleから公開されました。
今までの機械学習ライブラリはPythonなどのサーバーサイド言語で動作するものがほとんどでしたが、
ついにJavaScriptから機械学習モデルを直接操作できるようになりました。</p>
<p>PCだけでなくスマートフォンのブラウザからでも利用できるので、いろいろなアプリケーションでの活用が期待できます。
<a href="https://www.tensorflow.org/js?hl=ja">公式サイト</a>にデモがいろいろあるので、どんなことができるか気になる方は遊んでみてください。</p>
<p>さて、TensorFlow.jsではWebGLによる計算の高速化を利用していることが特徴の一つです。
WebGLはもともとグラフィック処理を行うためのJavaScript APIですが、
これをどのように機械学習のような汎用計算に利用しているのでしょうか？
ソースコードを交えてその仕組みを解説してみようと思います。</p>
<hr>
<p>LeapMindではエンジニア以外でも、あらゆる職種にて仲間を募集しています。
<a href="https://www.wantedly.com/projects/193933">Wantedly</a>からお気軽にお問合わせくださいませ。</p>

TensorFlow.jsがGPUで並列計算を実行する仕組みを理解する

<p>こんにちは。LeapMindソフトウェアエンジニアの藤原です。</p>
<p>様々な分野のデータやタスクに対してDeep Learning技術の活用が始まっていますが、その大きな強みの一つとして、人間の力を借りることなくデータの特徴を抽出できることが挙げられます。</p>
<p>与えられたデータをうまく表現する特徴を学習することを表現学習といいますが、表現学習を行うためのneural networkの一つに自己符号化器（autoencoder）というものがあります。今回はこの自己符号化器のハイパーパラメータをいろいろと変えてみて、自己符号化器が学習する特徴がどのように変化するか実験をしてみました。</p>
<p>人間には判断根拠がわかりづらいと言われることがあるDeep Learning技術ですが、自分でパラメータをいじってみたり、学習された特徴を可視化してみたりすると、もう少し身近に感じられるかもしれません。</p>
<hr>
<p>LeapMindではエンジニア以外でも、あらゆる職種にて仲間を募集しています。
<a href="https://www.wantedly.com/projects/190245">Wantedly</a>からお気軽にお問合わせくださいませ。</p>

自己符号化器による表現学習

<p>Here at LeapMind we are working on making deep learning empowered intelligent IoT devices a widespread reality. One of the topics our R&#x26;D is most concerned about is the compression of deep learning models. In this blog post I would like to talk about why this is important and give an overview of the literature on this topic...</p>
<p>Nicolas Loerbroks' full article on the "State of the Art in Compressing Deep Convolutional Neural Networks" can be found on the Medium platform.Please take a look: <a href="https://medium.com/@nicolas_19145/state-of-the-art-in-compressing-deep-convolutional-neural-networks-cfd8c5404f22">https://medium.com/@nicolas_19145/state-of-the-art-in-compressing-deep-convolutional-neural-networks-cfd8c5404f22</a></p>

State of the Art in Compressing Deep Convolutional Neural Networks

<p>こんにちは。開発マネージャーの白井です。
普段は、企業向けにDeepLearningを使った課題解決のお手伝いをしています。</p>
<p>DeepLearningは色々な用途に使えますが、現在、特に研究開発が進んでいるのが「画像認識」または「コンピュータビジョン」と呼ばれる分野です。静止画像や動画を解析して、その中に何が映っているか認識したり特定したり、といった、人間の「眼」に相当することをやってくれる技術です。</p>
<p>ということで今日は、そのコンピュータビジョンの中でも特に、画像の中で人の体や指などの位置（座標）や、向きを推定する<a href="https://github.com/CMU-Perceptual-Computing-Lab/openpose">OpenPose</a>という技術を紹介したいと思います</p>
<p>OpenPoseを使った動画は<a href="/images/posts/techblog/%E4%BD%93%E3%81%AE%E4%BD%8D%E7%BD%AE%E3%82%84%E5%90%91%E3%81%8D%E3%81%8C%E6%8E%A8%E5%AE%9A%E3%81%A7%E3%81%8D%E3%82%8BOpenPose%E3%82%92%E7%B4%B9%E4%BB%8B/openpose3.m4v">こちら</a></p>
<p>OpenPoseは、コンピュータビジョンに関する国際学会CVPR2017でCMU（カーネギーメロン大学）が発表した、keypoint（特徴点）の検出とkeypoint同士の関係の推定を行う技術です。OpenPoseを使うと、以下のように関節の位置など、人の体における特徴点がどの座標にあるかが分かります。</p>
<p>画像の中で人が持つさまざまな座標を予測することと同時に、複数の座標がある中で、どれとどれが同一の人のものかを推定できるのが、この技術のユニークなところです。例えば、肘から手首までの線を結ぶのは、画像の中に1人しかいなければ比較的簡単にできるのですが、複数の人が映っている場合、画像の中にたくさんの肘とたくさんの手首が存在するので、どれとどれを結んでいいか推測するのは簡単ではありません。しかしOpenPoseをつかうと、それが見事に推定できます。</p>
<p><img src="/images/posts/techblog/%E4%BD%93%E3%81%AE%E4%BD%8D%E7%BD%AE%E3%82%84%E5%90%91%E3%81%8D%E3%81%8C%E6%8E%A8%E5%AE%9A%E3%81%A7%E3%81%8D%E3%82%8BOpenPose%E3%82%92%E7%B4%B9%E4%BB%8B/images00024-300x225.png" alt="OpenPoseの切り抜き画像">
<img src="/images/posts/techblog/%E4%BD%93%E3%81%AE%E4%BD%8D%E7%BD%AE%E3%82%84%E5%90%91%E3%81%8D%E3%81%8C%E6%8E%A8%E5%AE%9A%E3%81%A7%E3%81%8D%E3%82%8BOpenPose%E3%82%92%E7%B4%B9%E4%BB%8B/images00141-300x225.png" alt="OpenPoseの切り抜き画像"></p>
<p>これを動画からパラパラ漫画のように取得した画像に使うと、人がどういう風に体を動かしたかが、時系列で取得できます。</p>
<p>これによって、例えば以下のようなことができるかもしれません。</p>
<p><strong>「スポーツのプロ選手とアマチュア選手の体の動きの差を発見し、フォームの矯正やトレーニングに利用する。」</strong>
→ スポーツの上手い人とそうでない人は、体の使い方が違うのかもしれないので、その差は何かを客観的に見ることができるかもしれません。</p>
<p><strong>「作業中の人の動きから、疲れが溜まっている人を見つけ、悪くなる前に通院を進める。」</strong>
→ 体が不調になる時、自然のその部位をかばう行動が多くなったりします。そのため、その行動の頻度が一定値を超えたら、教えてあげるなどをすると、良い労働環境が作れるかもしれません。</p>
<p>OpenPoseアルゴリズムの問題点は、汎用的に作られていることもあって、学習したモデルのサイズが大きくなってしまうことです。
そこで、LeapMindでは、独自のライブラリの研究開発を行い、特定の用途に向けてアルゴリズムをブラッシュアップすることで、精度をあまり落とさずにサイズをコンパクトにしたり、高速化することを目指しています。</p>
<p><img src="/images/posts/techblog/%E4%BD%93%E3%81%AE%E4%BD%8D%E7%BD%AE%E3%82%84%E5%90%91%E3%81%8D%E3%81%8C%E6%8E%A8%E5%AE%9A%E3%81%A7%E3%81%8D%E3%82%8BOpenPose%E3%82%92%E7%B4%B9%E4%BB%8B/openpose-900x405.png" alt="OpenPoseアルゴリズム"></p>
<p>いかがでしょうか。人の動きを時系列で分析できるというこの技術、きっといろいろなアプリケーションがあるのではないかと思います。もし「こんな用途に使ってみたい！」と思われたら、ぜひLeapMindにお申し付けください。</p>

体の位置や向きが推定できるOpenPoseを紹介

<p>お疲れ様です。Leapmindの脇坂です。</p>
<p>この記事は、<a href="https://qiita.com/advent-calendar/2017/tensorflow">TensorFlow Advent Calendar 2017</a> 17日目の記事です</p>
<p>今回は、tensorflow の <code>tensorflow.python.framework.function.Defun</code> を使って、weight の 3値化をしてみます。</p>
<h2 id="defunとは">Defunとは</h2>
<p><code>tensorflow.python.framework.function.Defun</code> はtensorflowのfunctionを定義するためのデコレータです。
今現在(tensorflow v1.4)ドキュメントにはのってない機能です。<code>tf.contrib.eager.defun</code> とは違うので注意</p>
<p>引数にtensorflow DataTypeをとって、任意のpython functionをデコレートし、tensorflowのgraphでそのfunctionが使えるように定義します。内部的には、たぶん、graphに<a href="https://github.com/tensorflow/tensorflow/blob/master/tensorflow/core/framework/function.proto">function.proto</a>を追加します。
tensorflowにおけるfucntionは1つ以上のoperationをまとめたものだそうです。</p>
<p>コード例は、こんな感じです。</p>
<p><strong>MyFuncの定義</strong></p>
<pre><code>@tf.Defun(tf.float32, tf.float32)
def MyFunc(x, y):
  return x + y, x - y
</code></pre>
<p>グラフを作る時に、MyFuncを実行。</p>
<pre><code>a = tf.Constant([1.0])
b = tf.Constant([2.0])
c, d = MyFunc(a, b, name='mycall')
</code></pre>
<p>他にオプションのキーワード引数として、</p>
<ul>
<li><code>func_name</code>: Functionの名前</li>
<li><code>grad_func</code> or <code>python_grad_func</code>: backward関数</li>
<li><code>out_names</code>: output tensor の名前</li>
<li><code>shape_func</code>: output tensor のshapeを指定
が、あります。</li>
</ul>
<p>さらに詳しく知りたい方は、ソースコードとtestを見てみてください。
<a href="https://github.com/tensorflow/tensorflow/blob/r1.4/tensorflow/python/framework/function.py">https://github.com/tensorflow/tensorflow/blob/r1.4/tensorflow/python/framework/function.py</a>
<a href="https://github.com/tensorflow/tensorflow/blob/r1.4/tensorflow/python/framework/function_test.py">https://github.com/tensorflow/tensorflow/blob/r1.4/tensorflow/python/framework/function_test.py</a></p>
<h2 id="defunをどんな時に使いますか">Defunをどんな時に使いますか</h2>
<p>さて、この<code>Defun</code>がどういったモノかはなんとなくわかりましたが、どんな時に効果的に使えるのでしょうか？</p>
<ol>
<li>メモリ・計算量を減らす</li>
<li>Backwardの近似 (backwardを別の関数で近似)</li>
</ol>
<p>この二つが考えれます。</p>
<h2 id="メモリ計算量を減らす">メモリ・計算量を減らす</h2>
<p>この使用法が一般的になるのだと思いますが、すみません、ちゃんと検証していないので自信がありません。</p>
<p>tensorflowでの<a href="https://github.com/tensorflow/tensorflow/blob/e2174cc943f60d0e0bb47abd26fc2fe9772a27ef/tensorflow/python/ops/nn_impl.py#L290">使用例</a>を見ると、<code>swish</code> の実装で、operationをまとめてmemory消費を少なくするために使われています。</p>
<p><code>swish</code> は２、３ヶ月前に発表された(<a href="https://arxiv.org/abs/1710.05941">https://arxiv.org/abs/1710.05941</a>) activation functionで、式はすごく単純</p>
<div class="math math-display"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><semantics><mtable rowspacing="0.25em" columnalign="right" columnspacing=""><mtr><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow><mi>f</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo>=</mo><mi>x</mi><mo>×</mo><mi>s</mi><mi>i</mi><mi>g</mi><mi>m</mi><mi>o</mi><mi>i</mi><mi>d</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></mrow></mstyle></mtd></mtr></mtable><annotation encoding="application/x-tex">\begin{aligned}
f(x) = x \times sigmoid(x)
\end{aligned}</annotation></semantics></math></span></div>
<p>です。</p>
<p>普通にtensorflowで実装するとこうなります。</p>
<pre><code>output = tf.sigmoid(x) * x
</code></pre>
<p>さて、deeplearningのフレームワークでは、勾配計算のためにBackpropagationを使い、そのためforward時に各operationの入力をメモリに残しておきます。
上記のように実装すると、<code>*</code> operationのために、<code>x</code> と <code>tf.sigmoid(x)</code> の両方をメモリに残しておきます。が、これは無駄です。
メモリの観点だけで見れば、 <code>x</code> だけ残しておけば良いです。</p>
<p>そこで、tensorflowの<a href="https://github.com/tensorflow/tensorflow/blob/e2174cc943f60d0e0bb47abd26fc2fe9772a27ef/tensorflow/python/ops/nn_impl.py#L290">使用例</a>では、 <code>noinline=True</code> を使い、下記のような実装をしています。</p>
<pre><code>@function.Defun(
    grad_func=_swish_grad,
    shape_func=_swish_shape,
    func_name="swish",
    noinline=True)
def swish(x):
  return x * math_ops.sigmoid(x)
</code></pre>
<p>注意: noinlineで本当にメモリ使用が抑えられるのか、試しておりません。。。XLAを有効にした時だけの話かも？</p>
<h2 id="backwardの近似">Backwardの近似</h2>
<p>こちらの使用方法はレアケースになるかと思いますが、本記事のメインになります。
やっとです。</p>
<p>ここでニューラルネットのパラメータやアクティベーションの量子化について、さらっと振り返っておきます。
通常32bitや16bit floatのパラメータ(weight)を、メモリ削減のため2値化、3値化(ternary)、N bit化などに量子化する際、
推論時には2値や3値を使い、学習時にはパラメータの値を実数で保持しておいて実数の値を更新すると、高い精度が得られる事が知られています。
この際、forward時には実数のパラメータから量子化を行いますが、量子化を行う関数はstep関数なので、普通に勾配を求めるとうまく学習できないため、
backward時には量子化を行う関数を近似して、勾配を求めます。</p>
<p>参考: <a href="https://developer.smartnews.com/blog/2017/03/neural-network-quantization/">https://developer.smartnews.com/blog/2017/03/neural-network-quantization/</a></p>
<p>さて、tensorflow の python apiで、このようなbackward時の近似を行う際、<code>Graph.gradient_override_map()</code> や <code>tf.stop_gradient()</code> を使う方法もあるのですが、非常に読みにくコードになってしまいます。
ここで <code>Defun</code> を使ってforwardとbackwardを分けて実装すると、綺麗に書く事ができます。</p>
<h2 id="パラメータの３値化">パラメータの３値化</h2>
<p>では、パラメータ(weight)の３値化(ternary)の実装例を、順をおってみていきます。</p>
<h2 id="3値化の定義">3値化の定義</h2>
<p>まず、3値化の定義です。この記事ではわかりやすくするために適当に以下のようにします。</p>
<ul>
<li>スケールファクタは、パラメータの絶対値の平均</li>
<li>パラメータが閾値0.5より大きい場合 +スケールファクタ</li>
<li>パラメータが閾値-0.5より小さい場合に -スケールファクタ</li>
<li>パラメータが0.5以下-0.5以上の場合、0</li>
</ul>
<div class="math math-display"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><semantics><mtable rowspacing="0.25em" columnalign="right" columnspacing=""><mtr><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow><mi>f</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo>=</mo><mrow><mo fence="true">{</mo><mtable rowspacing="0.16em" columnalign="left left" columnspacing="1em"><mtr><mtd><mstyle scriptlevel="0" displaystyle="false"><mrow><mo>+</mo><mi>m</mi><mi>e</mi><mi>a</mi><mi>n</mi><mo stretchy="false">(</mo><mi mathvariant="normal">∣</mi><mi>x</mi><mi mathvariant="normal">∣</mi><mo stretchy="false">)</mo></mrow></mstyle></mtd><mtd><mstyle scriptlevel="0" displaystyle="false"><mrow><mo stretchy="false">(</mo><mi>x</mi><mo>></mo><mn>0.5</mn><mo stretchy="false">)</mo></mrow></mstyle></mtd></mtr><mtr><mtd><mstyle scriptlevel="0" displaystyle="false"><mrow><mo>−</mo><mi>m</mi><mi>e</mi><mi>a</mi><mi>n</mi><mo stretchy="false">(</mo><mi mathvariant="normal">∣</mi><mi>x</mi><mi mathvariant="normal">∣</mi><mo stretchy="false">)</mo></mrow></mstyle></mtd><mtd><mstyle scriptlevel="0" displaystyle="false"><mrow><mo stretchy="false">(</mo><mi>x</mi><mo>&#x3C;</mo><mo>−</mo><mn>0.5</mn><mo stretchy="false">)</mo></mrow></mstyle></mtd></mtr><mtr><mtd><mstyle scriptlevel="0" displaystyle="false"><mn>0</mn></mstyle></mtd><mtd><mstyle scriptlevel="0" displaystyle="false"><mrow><mo stretchy="false">(</mo><mi>o</mi><mi>t</mi><mi>h</mi><mi>e</mi><mi>r</mi><mi>w</mi><mi>i</mi><mi>s</mi><mi>e</mi><mo stretchy="false">)</mo></mrow></mstyle></mtd></mtr></mtable></mrow></mrow></mstyle></mtd></mtr></mtable><annotation encoding="application/x-tex">\begin{aligned}
f(x) = \left\{ \begin{array}{ll}
+ mean(|x|) &#x26; (x>0.5) \\
- mean(|x|) &#x26; (x&#x3C;-0.5) \\
0 &#x26; (otherwise)
\end{array} \right.

\end{aligned}</annotation></semantics></math></span></div>
<h2 id="backwardの近似なし3値化関数">Backwardの近似なし3値化関数</h2>
<p>では、次に、
この3値化関数をBackwardの近似なしで、実装してみます。</p>
<pre><code>def no_backward_approximate_ternary_function(weights):
    """Forward

    Args:
        weights(tf.Variable): The weights to be ternary.

    Returns:
        ternary_weights(tf.Variable): The ternary valued weights.
    """
    threshold = 0.5
    mask_positive = (weights > threshold)
    mask_negative = (weights &#x3C; -threshold)

    scaling_factor = tf.reduce_mean(tf.abs(weights))

    positive_weights = scaling_factor * tf.where(mask_positive, tf.ones_like(weights), tf.zeros_like(weights))
    negative_weights = - scaling_factor * tf.where(mask_negative, tf.ones_like(weights), tf.zeros_like(weights))

    ternary_weights = positive_weights + negative_weights
    return ternary_weights
</code></pre>
<p>forward時のこの関数をplotしてみます。</p>
<pre><code>tf.InteractiveSession()

weights_size = (100,)
np_weights = np.random.uniform(-2., 2., size=weights_size).astype(np.float32)
weights = tf.convert_to_tensor(np_weights)

no_backward_approximate_ternary_weights = no_backward_approximate_ternary_function(weights)

order = np.argsort(np_weights)
plt.plot(np_weights[order], no_backward_approximate_ternary_weights.eval()[order])

plt.ylabel("ternary weights")
plt.xlabel("input weights")
plt.title("ternary func")

plt.show()
</code></pre>
<p>forward時はこれで良いのですが、backward時の勾配をplotすると、
(グラフの横軸が3値化したパラメーターに関数する勾配、縦軸が実数のパラメータに関する勾配です。)</p>
<pre><code>np_grad_tenary_weights = np.random.uniform(-10., 10., size=weights_size).astype(np.float32)
grad_tenary_weights = tf.convert_to_tensor(np_grad_tenary_weights)
gard_no_backward_approximate_weights, = tf.gradients(no_backward_approximate_ternary_weights, weights, grad_ys=grad_y)

order = np.argsort(np_grad_tenary_weights)
plt.plot(np_grad_tenary_weights[order], gard_no_backward_approximate_weights.eval()[order])

plt.ylabel("grad weights")
plt.xlabel("grad ternary weights")
plt.title("backward ternary func")

plt.show()
</code></pre>
<p>このように無茶苦茶になってしまいます。</p>
<h2 id="defunを使ったbackwardの近似ありの3値化関数">Defunを使ったBackwardの近似ありの3値化関数</h2>
<p>では、Defunを使ってBackwardを近似してみます。
3値関数が恒等写像であると仮定して、その上でbackwardを実装します。
このように簡潔に書けます。</p>
<pre><code>@Defun(tf.float32, tf.float32)
def ternary_backward(weights, grad_ternary):
    """Backward

    Args:
        grad_ternary(tf.Tensor): The gradient w.r.t ternary valued weights.

    Return:
        grad_weights(tf.Tensor): The gradient w.r.t. normal (non-ternary) weights.
    """
    grad_weights = grad_ternary
    return grad_weights


@Defun(tf.float32,
       grad_func=ternary_backward,
       func_name="TernaryWeight",
       shape_func=lambda op: [op.inputs[0].get_shape()])
def ternary_function(weights):
    """Forward

    Args:
        weights(tf.Variable): The weights to be ternary.

    Returns:
        ternary_weights(tf.Variable): The ternary valued weights.
    """
    threshold = 0.5
    mask_positive = (weights > threshold)
    mask_negative = (weights &#x3C; -threshold)

    scaling_factor = tf.reduce_mean(tf.abs(weights))

    positive_weights = scaling_factor * tf.where(mask_positive, tf.ones_like(weights), tf.zeros_like(weights))
    negative_weights = - scaling_factor * tf.where(mask_negative, tf.ones_like(weights), tf.zeros_like(weights))

    ternary_weights = positive_weights + negative_weights
    return ternary_weights
</code></pre>
<p>3値化関数に恒等写像を仮定したので、
backwardは、3値化したパラメーターに関数する勾配と、実数のパラメータに関する勾配とが同じになります。
では、backward時の勾配をplotすると、</p>
<pre><code>order = np.argsort(np_grad_tenary_weights)
plt.plot(np_grad_tenary_weights[order], gard_weights.eval()[order])

plt.ylabel("grad weights")
plt.xlabel("grad ternary weights")
plt.title("backward ternary func")

plt.show()
</code></pre>
<p>わーい、意図した通りになりましたー!!</p>
<p>これでおしまいです。</p>

tensorflow Defun で ternary weight

<p>Since last decade we live in a world which is in an accelerated change, specially in technology. Around end of the last century it was obvious that internet will be the backbone of the modern era. And beginning of this century with outstanding development of modern digital technologies we soon entered in a mobile first world. But that didn’t even last very long. And as google put it in IO 2017, we’re already shifting from Mobile First to an AI First world.</p>
<h2 id="what-is-ai">What is AI</h2>
<p>Artificial Intelligence or AI is a term first coined in 1943 by McCullouch and Pitt’s by formal design for <a href="https://en.wikipedia.org/wiki/Turing-complete">Turing-complete</a> “<a href="https://en.wikipedia.org/wiki/Artificial_intelligence#CITEREFRussellNorvig2009">Artificial Neuron</a>”. It is an intelligent system that can somehow mimic the operation of the biological neuron, which is the key to any intelligent biological bodies. The attempt to mimic the operational behavior of a biological neuron in intelligent beings like human ultimately leads to modern-day artificial intelligence. Now it is a cutting edge field for research and seems to be the future of technology according to many experts including Stephen Hawking, Bill Gates &#x26; Elon Mask etc. Today, almost all big shot in IT industry are moving towards AI one way or another. But this is not a recent thing.</p>
<p><img src="/images/posts/en/techblog/artificial-intellegence-an-opportunity-for-developing-nations/ml_position-300x207.png" alt="Fig. 1 : Discipline for Machine Learning">
Fig. 1 : Discipline for Machine Learning</p>
<p>From the early ages, in computational science, statistical approach was applied to processing large data. Besides these statistical analysis it was soon found that with conventional approach sometime it is not possible to program every possible combination of state to get a desired outcome. For example, classification problem in a very large data set or optimizing a multi-variable non-linear system etc. The solution is found to be all along in nature. Conscious being like us has the ability to hunch or guess the correct results without being able to explain the process. It seems like there is some kind of black box in our brain that can figure out the problem by its own and find the solution. We call it learning. In computer science similar algorithm were developed to give the computer program the ability to learn without being explicitly programmed, hence Machine Learning. And this gives birth of Artificial Intelligence.</p>
<p>Today machine learning consist of many domain like information theory, statistics etc. By going one step further, implementing operational behavior of biological neuron a new system emerged named perception which represent a single neuron. By combining multiple perception we have a network of artificial neuron which is called Artificial Neural Network. Using mathematical tricks from Statistical Physics to achieve the behavior understood from Neuroscience the artificial neural network soon became the foundation of modern days Artificial Intelligent systems.</p>
<h2 id="deep-neural-network">Deep Neural Network</h2>
<p>In recent AI development, Deep Neural Network is probably the most common term. By adding multiple neurons connected with each other called a neural network and arranging them in many layers gives us a deep neural network.</p>
<p>Deep neural network is used mostly for classification tasks like image recognition, image processing, natural language processing etc. For example, Deep learning, the most popular term for image processing, is a deep neural network which learns though convolution and back propagation and optimize the network to improve the outcome hence learning over training.</p>
<p><img src="/images/posts/en/techblog/artificial-intellegence-an-opportunity-for-developing-nations/deep_neural_network-2.png" alt="Fig 2 : Deep Neural Network">
Fig 2 : Deep Neural Network</p>
<h2 id="machine-intelligence">Machine Intelligence</h2>
<p>When we think about machine intelligence it always feels like a some thing from the Sci-Fi movie. A super intelligent software that can understand human voice and understand not only the command but also the intent behind it or the conceptual idea of the communication with human. Although it started with movies but it is already a reality right now. The digital assistants in our phone like <a href="https://www.apple.com/siri/">Siri</a>, <a href="https://assistant.google.com/">Google Assistant</a> or <a href="https://www.microsoft.com/en-us/cortana">Cortana</a> is closer than ever to make that fiction to reality. Using cloud infrastructure and with help of recent IoT revolution devices like <a href="https://en.wikipedia.org/wiki/Amazon_Echo">Amazon Echo</a>, <a href="https://madeby.google.com/home/">Google Home</a> or upcoming <a href="https://www.apple.com/homepod/">Apple HomePod</a> bring AI assistant from personal phone to our home for everyone. The natural language interface of all these product is simply outstanding and also being more and more natural and more feature rich over time.</p>
<p><img src="/images/posts/en/techblog/artificial-intellegence-an-opportunity-for-developing-nations/Apple-HomePod-vs-Home-and-Echo-e1496825501356-840x460.jpg" alt="Fig 3 : Digital Home Assistant powered by AI">
Fig 3 : Digital Home Assistant powered by AI</p>
<p>But the story began a lot earlier when almost nobody, if not, knew about AI but also nobody actually cared. The idea of intelligent machines is almost three-quarter of a century old, even it was rejected by technical community as being the future and known to be as impractical and very inefficient due to mostly hardware limitations for providing the necessary computation for AI system. But overtime with recent accelerated progress in digital electronics now the necessary computation power is in our reach. With GPU Computing and specially designed chip for complex processing required. Although, now AI is in its early stages, it need a huge amount of computation power to train a neural network for a particular task within a reasonable timeframe. No wonder, only the IT giants like Google, Facebook, Apple, Amazon etc. as they have invested tremendous compute power behind AI development. Another part of the coin in AI development is data. We need quality data with proper annotation to train a neural network correctly. The more diverse data we have the more accurate results likely to be achieved. This is why Google, Facebook are the leader in AI research as they have the most diverse dataset. All of their business models are based on collecting data.</p>
<p>Now, artificial neural network is far from to be in capable of doing things a biological brain like us can do. Yes it can learn but artificial neural network can not do anything. Today's AI are strictly task specific. We can train the network to do one task and it might perform admirably but if we want to do something else the system completely fails. It need to retrain for the new task and that will destroy the ability to do the previous task. Such kind of AI is called shallow AI.</p>
<p>But our target is to achieve human level intelligence. A system that can learn new things without destroying previous training. Which is called General Artificial Intelligence. Although many great mind expressed concern about such system that it can hold potential danger to human itself. Such general AI can improve itself and soon enough it will exceed human intelligence which might be a problem controlling such system. But this is not a near concern for a long time.</p>
<h2 id="what-we-do-with-ai">What we do with AI</h2>
<p>The early AI system being used is most probably the 'Recommendation System' in Amazon or 'Suggested Ad' in Google Search or Facebook to recommend Ad or interesting posts showed in our feed, those are the early implementation of AI system still being oblivious to rest of us. Google translator may be one of the most significant application that brings AI in the main stream. Without using the direct hardcoded language map technique google approaches the translation between languages with machine learning. By learning from same article written by different languages google translator system can learn from the language itself and produce translation for any text. It started a bit of low accuracy, which is almost very funny, but with training over time now google translator are outstandingly performing piece of software. It extends from text-based translation to image and voice also. Soon there should also be video or live streaming.</p>
<p>Than with Deep Neural Network a new era of image processing begins. Image recognition, object recognition in image, generating captions etc. are now possible with exceptional accuracy. Using these image processing technique AI is being implemented. IBM Watson, started with winning the famous game show "<a href="https://www.jeopardy.com/">Jeopardy</a>"  is now helping medical diagnosis faster and more accurately than a human doctor.  Watson also help financial analysis and better market prediction that any previous models. With AlphaGo Google Brain project was able to beat the best human Go player with a high margin. Beating human in chess by computer "<a href="https://en.wikipedia.org/wiki/Deep_Blue_(chess_computer)">Deep Blue</a>" came nearly two decades ago but now it is considered to be very naive compared to Go in-game complexity. Deep learning also enables promising progress in <a href="https://en.wikipedia.org/wiki/Natural_language_processing">Natural Language</a> Processing (NLP). Recently, Skype enabled a feature to live translate between languages directly from speech. Almost all discipline of science is touched by AI one way or another. From the physics experiment to the fight against cybercrime and cyberterrorism almost every thing is using AI.</p>
<p>May be the latest sensation on AI development is the self-driving car from Tesla. Started as a dream by Elon Mask Tesla self-driving quickly showed the prospect of self-driving automatic vehicle. By enabling self-driving capabilities in vehicles the fatality due to road accident can be practically zero (0). Recent study shows the major cause of accident is human error. Inattentiveness, dosing off during driving, fatigue are the primary cause of accident. By using AI system already the driving condition of the driver is being monitored and warning system is being integrated in all modern car. Soon there will be fully automated car and even further the whole road network will be fully automated that will improve the quality of road and transport.</p>
<p><img src="/images/posts/en/techblog/artificial-intellegence-an-opportunity-for-developing-nations/6TcxiNL-900x450.jpg" alt="Fig 4 : Self-driving car">
Fig 4 : Self-driving car</p>
<h2 id="a-golden-opportunity-for-developing-nation">A golden opportunity for developing nation</h2>
<p>So far, AI systems looks like the future in every domain of science and technology. But AI research is still very costly. Specially the training part. For training we need data. Lots of lots of data. Collecting data and preparing for neural network is time-consuming and costly operation. But the main problem for a developing nation would be the computing hardware required for a practical training. If often takes days, weeks even months to train a neural network with huge amount of data. Providing electricity for such long time uninterruptedly is one of the major challenge for developing nation. Many developing nation has poor electrical infrastructure and distribution system and often suffer from power-cut for long time. So, how can AI be the golden opportunity than?</p>
<p>The prospect of an AI system is often limited by our imagination. The good news in AI research is the resources are open source. Even we can get the pre-trained models from the internet. Pre-trained models means we don't need a large infrastructure and tons of data to train a neural network from scratch. We can start with pre-trained models and use our own data for further training in relatively low volume to achieve comparable results. Such training save us lots and lots of training time. With cloud computing we don't event need to buy expensive hardware for training. Amazon EC2 cloud infrastructure provides platform-as-a-service (PAAS) for us customizable ready systems on demand for such operations with relatively very low price.</p>
<p>All developing nation suffers in many things major for health, education or urban development. Let me mention three of them as follows:</p>
<h3 id="health-care">Health Care</h3>
<p>A developing nation often suffers from lack of good quality doctors. The health care sector probably the highest impact in society. Often it has very poor service quality. The main problem of this is surprising low number of doctors for the general population. In a govt. general hospital a doctor sometimes have to attain hundreds of patient. It's true even it sounds impossible. Because of this, the quality of service go down. Continuous overload of work often cause fatigue in doctors themselves which affect their quality of service. Lack of proper skilled personnel in diagnostic centers often cause the available manpower to push to its limit for long time and results in fatigue in their judgement and care.  In case of emergency of natural disaster the situation gets worse. Is such event a lot of people need to be attained within a very short time but lack of manpower makes it impossible.</p>
<p>By already we have AI systems that can diagnostic faster &#x26; accurately than most of human counterpart. Such system can be used as a first line of defense. As the volume of the patients is very high, an AI system can make the primary investigation for general cases and if necessary consult with specialist doctors if necessary. AI system can also be used to identify the pattern in sickness throughout the city and might suggest any severe problem in health care system or can detect an upcoming epidemic in a very early stages.</p>
<p>Of course AI can not replace the human doctors. We're not there yet. But it can be a game changer for general cases as it can attain way more patients without any fatigue and the accuracy is not subject to the condition of the doctors themselves.</p>
<h3 id="transportation">Transportation</h3>
<p>Another major problem area for a developing nations is transportation. Due to poor transportation system often the traffic is suffered horribly. Large grid lock and traffic jam is one of the common problem faced by urban areas of a developing nation. With a little bit of infrastructure  development AI system can improve both the transport network and driver condition. For transport network with an AI system it is very easy to find the congestion point and find a redirection for the traffic to balance the load, without which the cascading effect can virtually grid lock the whole system. Accident detection system onboard a vehicle powered by AI can warn the driver beforehand to avoid a probable accident. If accident do happen AI system can warn proper authorities for immediate action. On board AI system already been used to detect driver condition, it can warn the driver if the wheel is not held or if the driver is drowsy or drunk or not in a condition for safe driving. In extreme cases it can even stop and prevent the driver from driving the vehicle.</p>
<p>The AI assisted automatic protection systems are costly but it is very much affordable. Govt. can impose policies that all vehicle must have such system. Even a subsidy can be provided if applicable. AI system doesn't fatigue overtime, it doesn't sleep or the performance doesn't decrease over time or due to over work. Such systems can be very much change the fatality rate and the number of road accidents in a developing nation.</p>
<h3 id="industry-automation">Industry Automation</h3>
<p>The main development stream of a developing country consist of economic development and commercial industry are the backbone of that. It also contribute to the national economy by export to international market. When exporting to international market the industry must maintain the international quality check. But in developing nation the necessary expertise is not easy to find. So, often experts are brought from abroad that may interpreted as cost overhead and often be avoided. This ultimately results in poor quality and sometime accidents. But with a one time implement cost of a AI system for safety check or quality control can help industry to maintain much higher production quality.</p>
<h3 id="power-distribution">Power Distribution</h3>
<p>Power production and distribution throughout the nation is a challenging job. Often developing nation can not or not ignore to maintain, update or upgrade the power generation equipments. This results in power failure every now and then. But recent study already proved that an AI system can dramatically improve the load balancing and ensure optimal distribution. AI system can also predict unwanted power outage based on demand balance the grid accordingly. With one time implementation of such system can improve the power distribution situation a lot and also may give a window to focus on the more important development to improve the overall system.</p>
<h3 id="ai-research">AI Research</h3>
<p>Yes, the training part of the AI system can make a hole in our pocket. But on the other hand AI research is a very much possible. Academic study focused on AI will produce young graduate enthusiast that can contribute AI research in relatively smaller scale and join the mainstream development giants. Sooner of later AI will be everywhere, developing nation has a true golden opportunity for train young minds to be prepared to join that future. The need of good AI engineer is the new hot cake of the IT industry. In both hardware development for custom AI chip and software for new Neural Network Architecture needs good engineers worldwide. Developing nation can contribute to that growing manpower. It is certainly possible, they are doing it in many other sectors. Small startups and entrepreneurship are getting more and more welcomed in young generation. They can work on one particular sector of AI and combining such efforts can ultimately gives us a much better solution all together.</p>
<p>The big companies in the developing nation can invest in AI research &#x26; development. Recently, in India TATA Industry invested a huge amount of money to AI research. It might not gives any results right away but evidently the investment will paid off eventually. And that will benefit the whole nation in the long run. AI can practically affect in every developing sectors. With proper planning and effort this will ensure the future for the country from developing to a developed nation.</p>
<p>When Apollo 11 mission lunched by NASA in 1961, it not only change the technology frontier of USA but it actually start a culture in society. It put USA to the map of progress for decades to come. People got interested in science and technology every than before. If put a significant mark on the history. AI research can be the "Apollo" mission for this century, not to reach the moon but to reach the future.</p>

Tech Blog