こんにちは。4月からエンジニアインターンをしている幡谷です。
LeapMindでは月に数回Goodfellow et al.の“Deep Learning”本の勉強会をしています。今回の勉強会では最適化を扱ったので、Hessianを使う最適化手法について書くことにしました。
微分を用いる最適化手法は反復法と呼ばれます。反復法は函数(f(x))について、
<div class="math math-display"><math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><semantics><mtable rowspacing="0.25em" columnalign="right left" columnspacing="0em"><mtr><mtd><mstyle scriptlevel="0" displaystyle="true"><msub><mi>d</mi><mi>k</mi></msub></mstyle></mtd><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow><mrow></mrow><mo>=</mo><mo>−</mo><msub><mi>H</mi><mi>k</mi></msub><mi mathvariant="normal">∇</mi><mi>f</mi><mo stretchy="false">(</mo><msub><mi>x</mi><mi>k</mi></msub><mo stretchy="false">)</mo></mrow></mstyle></mtd></mtr><mtr><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow></mrow></mstyle></mtd></mtr><mtr><mtd><mstyle scriptlevel="0" displaystyle="true"><msub><mi>x</mi><mrow><mi>k</mi><mo>+</mo><mn>1</mn></mrow></msub></mstyle></mtd><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow><mrow></mrow><mo>=</mo><msub><mi>x</mi><mi>k</mi></msub><mo>+</mo><msub><mi>α</mi><mi>k</mi></msub><msub><mi>d</mi><mi>k</mi></msub></mrow></mstyle></mtd></mtr></mtable><annotation encoding="application/x-tex">\begin{aligned}
d_k &#x26;= -H_k\nabla f(x_k) \\ \\
x_{k+1} &#x26;= x_{k}+\alpha_{k}d_{k}
\end{aligned}</annotation></semantics></math></div>
によって位置を更新しながら列((x_k)_{k\in\mathscr{N}})を局所解(x^{\star})に近づけていく手法です。(-\nabla f(x))は(f(x))の値が最も変化する方向です。
<h2 id="勾配降下法">勾配降下法</h2>
勾配降下法は(H_k=I)とする手法です。すなわち
<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>x</mi><mrow><mi>k</mi><mo>+</mo><mn>1</mn></mrow></msub><mo>=</mo><msub><mi>x</mi><mi>k</mi></msub><mo>−</mo><msub><mi>α</mi><mi>k</mi></msub><mi mathvariant="normal">∇</mi><mi>f</mi><mo stretchy="false">(</mo><msub><mi>x</mi><mi>k</mi></msub><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">x_{k+1}=x_{k}-\alpha_k\nabla f(x_{k})</annotation></semantics></math>
によって更新していきます。最急方向に適当な学習率(\alpha_k)を乗じて進んでいきます。分かりやすいですが、収束が遅く、適切な学習率の調整が難しいなど、実際の性能はあまりよくありません。
<h2 id="ニュートン法">ニュートン法</h2>
ニュートン法は(H_k)に((\nabla^2 f(x))^{-1})、つまりHessianの逆行列を用いた手法です。これはニュートンの近似法によって(f(x))の極値を求めていると見ることができます。ニュートンの近似法は函数(g(t)=0)の根を
<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>t</mi><mrow><mi>k</mi><mo>+</mo><mn>1</mn></mrow></msub><mo>=</mo><msub><mi>t</mi><mi>k</mi></msub><mo>−</mo><mo stretchy="false">(</mo><mi mathvariant="normal">∇</mi><mi>g</mi><mo stretchy="false">(</mo><msub><mi>t</mi><mi>k</mi></msub><mo stretchy="false">)</mo><msup><mo stretchy="false">)</mo><mrow><mo>−</mo><mn>1</mn></mrow></msup><mi>g</mi><mo stretchy="false">(</mo><msub><mi>t</mi><mi>k</mi></msub><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">t_{k+1}=t_{k}-(\nabla g(t_{k}))^{-1}g(t_{k})</annotation></semantics></math>
によって求めますが、ニュートン法では極値が(0)となる点を求めたいので、(g(t)=\nabla f(t))、(\nabla g(t)=\nabla^2 f(t))としているわけです。
この手法は非常に高速に収束（二次収束）しますが、上で見たように極値が(0)となる点を求めているだけですので、容易に鞍点に収束します。
<h2 id="levenberg-marquardt法">Levenberg-Marquardt法</h2>
Levenberg-Marquardt法では(H_k=(\nabla^2f(x)+\lambda_k I)^{-1})とします。そして、(\delta x=x_{k}-H_k \nabla f(x_k))について
(f(x_{k}+\delta x)\le f(x_{k}))、つまり(\delta x)方向に移動すると更に減少するのであれば移動して(\lambda_{k+1})を小さくする
逆に移動しても減少しないのであれば移動せずに(\lambda_k)を大きくする
を反復することで解に到ります。Newton法と異なり鞍点に到った場合も周辺の値が小さいため、より適切な位置に移動することができます。
上で見たようにHessianを用いる最適化手法は非常に強力ですが、(\nabla^2 f(x))^{-1})の計算は特に高次元においては困難です。Hessianを近似する手法も存在しますが、同様に高次元においては計算が困難となります。
そのためディープラーニングのように非常に多くのパラメータを最適化する際には、勾配降下法の亜種である、確率的勾配降下法(SGD)やその発展した手法を用いるのが一般的です。

Hessianを使った最適化手法について

ディープラーニング技術を活用した企業向けのソリューションを提供する、LeapMind株式会社（所在地：東京都渋谷区、代表取締役社長：松田 総一、以下LeapMind）は、2017年1月より、GPUの開発・販売を手掛けるエヌビディア合同会社（以下、NVIDIA）よりAIスタートアップを支援するプログラムである「Inception Program」のパートナー企業に認定されました。
<h2 id="inception-programとは">「Inception Program」とは</h2>
NVIDIAが人工知能 (AI) やデータサイエンスの進歩に伴い業界に革命を起こそうとしているスタートアップ企業を養成しているプログラムです。最新GPUテクノロジーをはじめ、市場に画期的な製品をより短期間で提供するうえで重要となる支援を提供しています。
URL：<a href="https://www.nvidia.co.jp/object/inception-program-jp.html">https://www.nvidia.co.jp/object/inception-program-jp.html</a>
<h2 id="今後の展望">今後の展望</h2>
LeapMindでは、当プログラムを活用し、ディープラーニング技術を使った研究・開発をさらに進めてまいります。様々な企業とパートナーシップを組むことによって、更なるサービス拡充をする予定です。

NVIDIA「Inception Program」のパートナー企業に認定

ディープラーニング技術を活用した企業向けのソリューションを提供する、LeapMind株式会社（所在地：東京都渋谷区、代表取締役社長：松田総一　読み方：リープマインド　以下LeapMind）は、株式会社ＮＴＴデータ（本社：東京都江東区、代表取締役社長：岩本敏男、以下「NTTデータ」）と共同で次世代ソーシャルメディア解析ツールに向けた開発を2017年1月4日より開始します。
両社が協業することで、Twitterの全量データとディープラーニング技術による画像解析を最大限に活かすことによって、消費者の行動や感情、嗜好等に対するより深いインサイトが可能となります。両社は本共同開発を元に、2017年初旬の新サービス提供を目指します。LeapMindはTwitter全量データのようなビックデータを解析することでさらなるディープラーニング技術の精度を高めてまいります
【背景】
近年、ソーシャルメディアの活用が世代を問わず進み、新たにさまざまなSNSも登場しています。また、SNSにおける画像・動画投稿機能の追加、写真投稿SNSとの連携などに伴って、画像・動画データの投稿が増加しており、Twitterにおける画像・動画投稿も増加傾向にあります。
ソーシャルメディアによる投稿の分析データは、一般消費者の行動や感情、嗜好を知るうえで有用なデータとして、企業におけるマーケティング活動などさまざまな場面で活用されています。これまで、ソーシャルメディアの解析はハッシュタグなどによるテキストマイニングが主流となっていましたが、画像・動画データの投稿が増加したことで、ビジュアルで伝えるコミュニケーションも多くなり、ユーザーの行動や感情、嗜好等を絞り込み、精度の高い分析を行うには、画像も併せた分析を行う必要があるケースが増加してきました。
そこで、LeapMindとNTTデータは、各社の強みや技術を生かすことでより深い分析を行い、精度の高い消費者データを取得し提供することが可能になると考え、このたび協業することとしました。
【共同開発概要】
＜ディープラーニング技術による画像解析を活用して得られたユーザーデータの提供＞
両社はディープラーニング技術による画像解析を活用して得られたユーザーデータの提供サービスを目的とし、「次世代ソーシャルメディア解析ツール」の開発を、共同で行います。
NTTデータが保有するTwitterの全量データとLeapMindのディープラーニング技術による画像解析を掛け合わせることで、より深い次元で解析された精度の高いユーザーデータをもとに消費者の関心事と関心事の関係性の可視化を行います。
次世代ソーシャルメディア解析ツールが実現することで、画像分析によるシーン分析、トレンド分析とアカウント情報を紐付け、明確な消費ユーザー層を把握することが可能になります。また、Twitterにおいてはリアルタイムでの情報が主流となっており、画像分析を行うことで、シーン分析やその時々のタイミングでのトレンド分析を行うことも可能となります。
シーン分析やトレンド分析を行った上でより具体的でリアルなユーザーデータを取得し提供するほか、ユーザーの階層分けの層を細かくし、ライフスタイルや嗜好など、より深く解析されたデータをもとにすることで、ユーザーのニーズに即し、ターゲットを見据えた広告配信が可能になるなど、マーケティングをはじめとする、さまざまな領域での応用が可能となり、顧客ビジネスの促進が期待できます。
<img src="/images/posts/news/1240/main-1.jpg" alt="">
図：従来の分析と「次世代ソーシャルメディア解析ツール」による解析との比較イメージ
【各社の役割】
■NTTデータ：Twitterの全量データの提供およびAI技術による解析結果を用いた新サービスの創出
■LeapMind：ディープラーニングによる画像解析技術の提供
【今後の展望】
LeapMindでは、解析ツールの開発を進めるとともに、様々な企業とパートナーシップを組むことによって、各業界へサービス範囲を広げて、更なるサービス拡充をする予定です。

株式会社NTTデータとLeapMind株式会社が業務提携

ディープラーニング技術を活用した企業向けのソリューションを提供する、LeapMind株式会社(所在地: 東京都渋谷区、代表取締役社長:松田総一 読み方:リープマインド 以下LeapMind)は、伊藤忠テクノ ロジーベンチャーズ株式会社(所在地:東京都港区、代表取締役社長:中野慎三)、Visionnaire Ventures Fund(所在地: California州San Francisco、Managing Director Keith Nilsson)、アーキタイプベンチャーズ株式会社(所在地:東京都港区、代表取締役 中嶋淳)を引受先とした第三者割当増資により、総額約3億4000万円の資金調達を完了するとともに、安達俊久氏の顧問就任と 本社移転をお知らせいたします。
【資金調達の目的】
LeapMindは、ディープラーニング技術を活用したシステムソリューション提供や大手企業や大学との共同研究・開発を行い、様々なプロジェクトで人間の認識精度を上回る成果を上げてきました。今回新たに調達した資金は、ディープラーニング技術をこれまで以上に多くの企業に利用してもらうために開発しておりますプラットフォームサービス「Juiz System」を更に魅力的なサービスにするために、従来大きなマシンパワーや高電力が必要であったディープラーニングを、計算やネットワークの圧縮/最適化技術の研究開発を行うために使用します。現在、IoTやロボットのシステムにディープラーニング技術を乗せる際、これらの問題により制限がかかってしまうことがあり技術普及の障壁になっておりますが、その問題を解決し、広くどのようなモノにもディープラーニング技術を埋め込み、あらゆるモノに知的な振る舞いをさせる世の中を実現させたいと考えております。また、これらの開発に伴う新たな従業員の雇用やオフィス移転等に用いられます。
【投資の背景】
伊藤忠テクノロジーベンチャーズ株式会社 　パートナー 　河野 純一郎氏LeapMindは、ディープラーニングが注目を浴びる以前より、不断に研鑽してきた高い技術力を有しております。当該技術力に加え、「高度な技術ほど、社会に還元し、実社会に活かす」という思想に共感。今般の出資に至っております。今後、ディープラーニングの多彩かつ多様な用途での利活用が期待される中、彼らの技術、知見がその発展に大きく貢献するものと確信しております。我々としても、彼らの描くビジョンの実現を、一番近くでサポートしていきたいと考えております。
Visionnaire Ventures Fund 　Managing Director 　Keith Nilsson氏
LeapMindはVisionnaire Ventures 2号ファンドの日本1号案件です。このような技術力の高いスタートアッ プと共に、世の中を変革していく機会に恵まれたことに感謝しています。プラットフォームによって誰もが簡単にディープラーニング技術を活用できる世界の実現へ向け、海外展開を中心に支援して参ります。
アーキタイプベンチャーズ株式会社 　ディレクター　 福井 俊平氏
「テクノロジーをつかって、社会を一歩先に進める」を掲げるLeapMindと出会い、支援を始めさせて頂いてから早くも1年が経とうとしております。この1年での進化は目を見張るものがあり、ディープラーニングに関する高い技術力もさることながら、その技術を活用し様々なパートナーとコラボレーションしながら社会の課題解決を行ってきました。今回、新たに心強い投資家の皆様にも加わって頂き、彼らの目指す社会の実 現を加速していける様、引き続き支援をして参ります。
【安達俊久氏 顧問就任に関して】
この度、安達俊久氏が当社の顧問に就任いたしました。安達氏は、伊藤忠商事、伊藤忠テクノソリューションズにて、長年ベンチャー支援・投資業務に従事され、日本国内外に置いて幅広い人脈を構築し、特にシリコンバレーのトップティアVCとの人脈を強く持っています。
LeapMind株式会社の更なる事業拡大、海外展開において、特に経営面でご支援をいただきます。
プロフィール　安達 俊久
東京工業大学電気工学科卒。伊藤忠商事に入社。産業電子機器部で電子機器の欧米への輸出業務を担当。1982年から1988年まで英国ロンドン駐在し、欧州市場の開拓と拡販に寄与。1990年からは、欧米のハイテクベンチャーの日本市場の商権獲得 と関係強化に従事。1995年から2002年まで、伊藤忠テクノソリューションズでビジネス開発部長、事業企画室長を務め、国内外の先端ITベンチャー起業家及びシリコ ンバレーSand Hill Road VCとの幅広い人脈を構築。2002年から2015年まで、伊藤忠テクノロジーベンチャーズ代表取締役社長として、3本総額211億円のVCファンド運営責任者を務める。2011年から2014年まで、一般社団法人日本ベンチャーキャピタル協会の会長を務め, 規制緩和とベンチャー成長戦略の提言、実行に貢献。2010年から2012年まで、法制審議会会社法制部会委員、2014年には金融審議会リスクマネー供給の在り方に関するWG委員を務める。
<img src="/images/posts/news/1236/sub2.jpg" alt="">
　(写真左から河野様、山口様、松田、安達様、中嶋様、渡辺、足立様、福井様、鈴木様)
&#x3C;ご説明>
・伊藤忠テクノロジーベンチャーズ株式会社:河野純一郎様
・Visionnaire Ventures株式会社 :山口冬樹様、足立健太様
・アーキタイプベンチャーズ株式会社:中嶋淳様、福井俊平様、鈴木大貴様
・顧問:安達 俊久様
・LeapMind株式会社 松田総一、渡辺一矢
【本社移転に関して】
事業拡大に伴う人員増加に対応するため、本社を東京都渋谷区3丁目へ移転いたしましたので
お知らせいたします。今回の移転により、一層の業務効率化と提供サービスの価値向上を図ってまいります。
・新本社の所在地
郵便番号 :150-0002
住所 :東京都渋谷区渋谷 3-15-3 土屋ビル 3階
営業開始日 :2016年9月1日(木)
※移転に伴う電話番号、FAX番号の変更はございません。

シリーズAラウンドで3億4000万円の第三者割当増資を実行

LeapMind株式会社（本社：東京都渋谷区、代表取締役：松田　総一、以下LeapMind）と、電通アイソバー株式会社（東京都中央区、代表取締役社長CEO 得丸　英俊、以下電通アイソバー）は、LeapMindが提供するディープラーニング技術と電通アイソバーが提供するデジタルソリューションサービスとの連携で新しいビジネス領域をつくりだすことを目的に業務提携を行うことに合意いたしました。
<h2 id="提携の詳細">提携の詳細</h2>
LeapMind は、ディープラーニングを中心とした学術研究を応用したビジネスプロデュースを行っております。一方、電通アイソバーは、コンサルティングからクリエーティブ、メディア、解析、運用までの総合デジタルソリューションの提供を行っております。
この提携により電通アイソバーが有する、デジタルソリューションサービスとLeapMindが提供するディープラーニング技術を掛け合わせることで、新しいビジネス領域の提供が実現できると考えております。
今回、業務提携の第一弾として「KUMU」の取組に参加し6月10日より宮城県石巻市にて、第一次産業・観光業活性化のためのアイデアソンにて技術提供を行います。
最終日の審査では、各チームが30分間のプレゼンテーションを行います。優勝チームのアイディアは、実際の活用にむけて開発をする予定です。
<h2 id="kumuとは">「KUMU」とは</h2>
「KUMU」とは電通アイソバーが“生きる”を支える産業とテクノロジーのコラボレーションで、新しいビジネス領域をつくり出すことを目的としたビジネスイノベーションプロジェクトです。
このプロジェクト名「KUMU」には、人と組む。文化と組む。伝統と組む。そして新しいコミュニケーション、カルチャー、ビジネスが生まれる。「組んで、生む。」という意味がこめられています。
<h2 id="アイデアソンの開催概要">アイデアソンの開催概要</h2>
開催日時：2016年6月10日（金）～12日（日）※審査は12日（日）午前10時～
会場：宮城県石巻市「ビジネスカフェIRORI石巻」
審査員：株式会社カブクCTO 足立昌彦 氏、
一般社団法人石巻観光協会　会長　後藤宗徳 氏、
READYFOR株式会社　チーフキュレーター　田才諒哉　氏、
電通アイソバーCEO 得丸　英俊　　　 (50音順)
参加チーム構成：3チーム　各7名　（合計21名）
参加企業：電通アイソバー株式会社
LeapMind株式会社
一般社団法人イトナブ石巻
<h2 id="今後の展望">今後の展望</h2>
電通アイソバーとLeapMindは、本提携により今後、デジタルソリューション分野における新しい価値やサービスの創造を通し、様々な業種にディープラーニングを適用できるように取り組んで参ります。

News