<p>エッジAIのスタンダードを創るLeapMind株式会社（所在地：東京都渋谷区、代表取締役CEO：松田 総一、読み方：リープマインド、以下LeapMind）は、創業10周年を迎え、ディープラーニング技術のさらなる市場への浸透を目指して、テクニカルアドバイザーとして牛久祥孝（うしく たかよし）氏が就任したことをお知らせします。</p>
<h2 id="就任の背景">就任の背景</h2>
<p>当社は2012年の設立以来、機械学習技術の実用化を目指して、ディープラーニング量子化技術を活用し、ソフトウェア・ハードウェア両面から技術開発を行っています。創業から10年を経て、当社の技術が着実に人々が手にする機器、エンド製品に近づいてきている手応えを感じる一方で、ディープラーニング技術の活用に対する市場からの理解はまだまだ進む余地があり、さらなる研究開発と啓蒙活動が必要であるとも感じています。</p>
<p>今回就任した牛久氏は、コンピュータビジョンや自然言語処理の領域における研究者として、多数の論文を執筆、国際論文での引用回数も5000回*1 を超え、現在複数の大学で教壇に立ちつつ、人工知能学会をはじめとして数々の専門委員も兼務し、機械学習と関連領域の発展に尽力されています。また、2018年からはオムロンサイニックエックス株式会社で設立当初よりPrincipal Investigatorとして、社会課題を次世代の革新技術に繋げていくために活躍されています。
当社において、牛久氏はテクニカルアドバイザーとして、当社のこれからの10年へ向けた技術戦略に対する助言を行うとともに、開発組織増強への支援にも携わります。
今後、牛久氏の研究と当社の画像処理AIに関わる技術とを掛け合わせ、技術研究開発の強化および製品化の加速を進め、エッジAIの社会実装実現を進めていきます。</p>
<p>*1: Google Scholar調べ</p>
<p><img src="/images/posts/news/7912/5e0a0e5e-ushiku_insert.png" alt="LeapMind株式会社経営陣" title="LeapMind株式会社経営陣">
（LeapMind株式会社経営陣（写真右からCEO松田、牛久氏、CTO徳永／撮影時のみマスクを外しております）</p>
<h2 id="牛久-祥孝-経歴">牛久 祥孝 経歴</h2>
<ul>
<li>2013年 日本学術振興会特別研究員およびMicrosoft Research Redmond Intern</li>
<li>2014年 東京大学大学院情報理工学系研究科博士課程修了</li>
<li>NTTコミュニケーション科学基礎研究所入所</li>
<li>2016年 東京大学情報理工学系研究科講師</li>
<li>2018年 オムロンサイニックエックス株式会社 Principal Investigator就任</li>
<li>2019年 株式会社Ridge-i CRO就任</li>
<li>2022年 合同会社ナインブルズ設立</li>
</ul>
<p>コンピュータビジョンや自然言語処理を対象とし、機械学習によるクロスメディア理解の研究に従事。 2011年ACM Mutlimedia Grand Challenge Special Prize、2017年ACM Multimedia Open Source Software Competition Honorable Mention、2017年および2018年NVIDIA Pioneering Research Awards、2021年ヤマト科学賞など研究成果が数多くの賞を受賞。</p>
<h2 id="テクニカルアドバイザー牛久-祥孝氏コメント">テクニカルアドバイザー　牛久 祥孝氏コメント</h2>
<p>LeapMindは、日本の中で、組込み機器上でニューラルネットワークを広く使ってもらうという取り組みにおいて旗手になっていると以前から感じていました。人々の生活を豊かにするとき、単にPCやスマートフォンがスマートになるだけでは不十分で、今すでに人々の役に立っている組込み機器を更にスマートにすることはとても難しい作業であると感じます。一方で難しいからこそ、ニューラルネットワーク処理を組込機器上で行うことの実用的なメリットは非常に高く、”組込み技術を使って広く普及させ、人々の生活を豊かにする”という考え方はとても重要であると考えています。
壮大ですが、『大規模な基盤モデル上で動いているものを組込みで動かす、”組込みでは絶対動かない”と思われていた巨大なネットワークがSoCに載る』という大きな野望をもって、技術革新を支援していきたいと思っています。</p>
<h2 id="取締役cto徳永-拓之コメント">取締役CTO　徳永 拓之コメント</h2>
<p>LeapMindでは現在、ニューラルネットのアクセラレーターを開発していますが、未来の、高度に知的なコンピューターは今の技術のシンプルな延長線上にはなく、どこかでなんらかの技術的跳躍が必要であると感じています。
そのような技術の進化をうまく乗りこなすためにも、これまで最先端の研究開発にずっと関わってこられた牛久さんに、アドバイザーに就任していただけることを大変うれしく思っています。今回一緒に将来を描けることになり、我々の後ろ盾として支援いただけることは心強いです。</p>
<h2 id="leapmind株式会社について">LeapMind株式会社について</h2>
<p>「機械学習を使った新たなデバイスを、あまねく世に広める」を企業理念に2012年創業しました。累計調達額は49.9億円に達しています。ディープラーニングをコンパクト化する極小量子化技術に強みを持ち、製造業を中心に150社を超える実績を保有しています。次世代の情報端末を実現するためのキーテクノロジーを提供するために、その実現に必要なソフトウェアとハードウェア両面の開発に取り組んでいます。</p>
<p>本社：〒150-0044 東京都渋谷区円山町28-1 渋谷道玄坂スカイビル 3F
代表者：代表取締役CEO 松田　総一
設立：2012年12月
URL：<a href="https://leapmind.io">https://leapmind.io</a></p>
<p>*プレスリリース記載の情報は発表日現在の情報です。</p>

【プレスリリース】テクニカルアドバイザーに牛久祥孝氏が就任

<p>エッジAIのスタンダードを創るLeapMind株式会社（東京都渋谷区、代表取締役CEO：松田総一）は、同社が開発するディープラーニングモデルが2022年9月に株式会社オカムラ（本社：神奈川県横浜市、代表取締役 社長執行役員：中村 雅行、以下オカムラ）によって発表された自律移動ロボット「ORV（オーアールブイ）：Okamura Robot Vehicle」に採用されたことをお知らせします。
　LeapMindは、物流分野における省人化や自動化へ向けてディープラーニングの技術を活用できるよう、今回の「ORV」開発プロジェクトに早期から参画しており、今回LeapMindのディープラーニングモデルをコンパクトにする技術やAI実用化への開発力の高さを評価いただき、採用に至っています。</p>
<h2 id="物流分野における課題と採用背景">物流分野における課題と採用背景</h2>
<p>少子高齢化や大都市への人口集中により、労働人口の偏り、人手不足の問題は建設業、製造業だけでなく、物流業界でも問題視されています。物流現場において、人による作業の代替手段として、モノを運ぶ、移動させる自動化の手法は、すでに無人搬送車（AGV：Automatic Guided Vehicle）によって可能となっています。しかし、これには、床面に軌道となる経路テープやマーキング等の事前対策が必要な上、軌道上の障害物を認識して避けることができないという課題がありました。さらに重量が大きく移動頻度の多いかご車の自動化は、多くの物流現場での課題でもありました。</p>
<p>　LeapMindのディープラーニング技術は、「ORV」がかご車を自動認識する人工知能エンジンとして採用されています。これによって、かご車の改造や倉庫床面のマーキングは不要で、人手でぴったりと位置合わせをしなくても自動で把持することができます。</p>
<p><img src="/images/posts/news/7904/c48be22f-okamura_insert.png" alt="かご車を自動認識する人工知能エンジンの説明" title="かご車を自動認識する人工知能エンジンの説明">
（画像提供：株式会社オカムラ）</p>
<p>LeapMindは今後も「次世代の情報端末を実現するためのキーテクノロジーを提供する」というビジョンのもと、エッジAIの実用化による、人々のより便利な暮らしの実現に貢献していきます。</p>
<h2 id="okamura-robot-vehicleorvについて">「Okamura Robot Vehicle：ORV」について</h2>
<p>「ORV」は、センサーで周囲の環境を把握し周辺地図の作成と自己位置推定を行うSLAM（Simultaneous Localization and Mapping）技術を活用し、AI（人工知能）を搭載した自律移動ロボットです。カゴ車を自動認識して取りに行き、カゴ車の片側をつかみ上げて目的地まで障害物を避けながら搬送します。けん引ではないためカゴ車と一体になりその場で旋回するなど小回りが利き、バック走行が可能なため狭い空間でも隙間なくカゴ車を整列配置させることができます。物流施設において、モノを単純に動かす・運ぶという作業の自動化を実現します。</p>
<p>自律移動ロボット「ORV(オーアールブイ)」製品紹介サイト</p>
<p><a href="https://www.okamura.co.jp/solutions/factory/logistics/orv/">https://www.okamura.co.jp/solutions/factory/logistics/orv/</a></p>
<h2 id="株式会社オカムラについて">株式会社オカムラについて</h2>
<p>株式会社オカムラは、オフィス、教育・医療・研究・商業施設、物流センターなど、さまざまなシーンにおいて、質の高い製品とサービスを社会に提供することに努めています。物流システム事業においては、自動倉庫や搬送・仕分け機器などの物流システム機器の開発・製造、導入・運用支援、アフターサービスなど物流システムにおける一貫したソリューションを提供しています。物流施設内オペレーションのさらなる自動化・省力化をサポートし、生産性向上に貢献します。
「豊かな発想と確かな品質で、人が活きる環境づくりを通して、社会に貢献する。」をオカムラのミッションとし、トータルソリューション企業への変革とグローバル化の推進を図るとともに、持続的な企業価値の向上と社会課題の解決を目指します。</p>
<p>本社：神奈川県横浜市西区北幸1丁目4番1号 天理ビル19階
代表者：代表取締役 社長執行役員　中村 雅行
設立：1945年10月
URL：<a href="https://www.okamura.co.jp/">https://www.okamura.co.jp/</a></p>
<h2 id="leapmindについて">LeapMindについて</h2>
<p>「機械学習を使った新たなデバイスを、あまねく世に広める」を企業理念に2012年創業しました。累計調達額は49.9億円に達しています。ディープラーニングをコンパクト化する極小量子化技術に強みを持ち、製造業を中心に150社を超える実績を保有しています。次世代の情報端末を実現するためのキーテクノロジーを提供するために、その実現に必要なソフトウェアとハードウェア両面の開発に取り組んでいます。</p>
<p>本社：〒150-0044 東京都渋谷区円山町28-1 渋谷道玄坂スカイビル 3F</p>
<p>代表者：代表取締役CEO 松田 総一</p>
<p>設立：2012年12月</p>
<p>URL：<a href="https://leapmind.io">https://leapmind.io</a></p>
<p>記載されている製品名などの固有名詞は、各社の商標または登録商標です。
プレスリリース記載の情報は発表日現在の情報です。</p>
<h3 id="お問い合わせ先">お問い合わせ先</h3>
<p>LeapMind株式会社
Marketing &#x26; Communication Group　広報担当
TEL：03-6696-6267
メール：<a href="mailto:pr@leapmind.io">pr@leapmind.io</a></p>

【プレスリリース】LeapMindのディープラーニング技術、オカムラの自律移動ロボットのAI自動認識に採用

<h2 id="iさんについて教えてください">Iさんについて教えてください</h2>
<p>LeapMindでは異常検知チームに所属しています。　</p>
<p>学生時代は軽音サークルに所属していて、バンドをやったり、音響を調整するPAをしたりしていました。その関係で、<strong>音響に興味を持ち信号処理の研究室に入ったのですが、最終的には画像処理が専門分野</strong>になりました。
入社してからずっとフルリモートワークで、動かない・汗をかかないということがあるので銭湯でサウナに入ることにハマっています。ずっと机で仕事をしているので血行を良くしないとと思って（笑）
研究開発という仕事柄、色々考えてアイディアを出す必要もありますが、そんな時にサウナに入るとアイディアが浮かぶこともあります。普段は家の近くにある銭湯へ行っていますが、友人と一緒に新しくできたサウナに行ったりもします。</p>
<h2 id="現在の仕事について教えてください">現在の仕事について教えてください</h2>
<p>Efficieraを使って異常検知モデルをつくるチームに所属しています。</p>
<p>異常検知が必要な場面の多くは製造業の工場などの現場で、機材の設置スペースや電源、インターネット接続などに制限がある環境では導入できる設備が限られてしまいます。なので、そこでEfficieraを動かせるようにするということが大事なポイントかと思います。　</p>
<p>もともとは、製造業を中心に工場の製品に含まれる異常検知を想定していましたが、現在は機械の故障検知、煙や火災の検知、監視カメラを活用した立ち入り禁止区域への侵入検知等、様々な場面で応用活用が期待されています。</p>
<p>開発は最新の論文の手法の実装や改良といった研究開発的な業務と、コードの最適化やテストによる品質向上などのプロダクト開発的な業務のどちらも行います。直近では、展示会などで弊社の異常検知モデルの性能をよりわかりやすくお伝えすることを目指したGUIアプリケーションの開発に取り組んでいます。</p>
<p>例えば、検査対象の正常品の画像だけで学習・異常検知ができることや、検知された異常箇所の特定ができることなど、本製品の特徴を視覚的にお伝えできるようになると思います。</p>
<p>開発の際には、<strong>エンジニアチーム内だけではなく、セールスやBizdevの方々とのコミュニケーションを緊密に取り合うことでより良い製品の開発を目指しています。</strong> 特に、エンジニアチーム以外のメンバーからの提案やお客様からの要望で、開発時には想定していなかった場面での活用シーンが広がっているのを感じて刺激になっています。　</p>
<h2 id="入社してから現在までについて教えてください">入社してから現在までについて教えてください</h2>
<p>2021年の春に入社して、1年半ほどが経過しました。入社時から異常検知モデルチームに所属していたので、異常検知モデルの開発がメイン業務ですが、他のモデルチームの研究開発に参加することもあり、日々新たな刺激を受けながら働くことが出来ています。</p>
<p>また、大学院生のころは一人で研究を進めることが多く、保守性や可読性が低い書き捨てのコードばかりを書いていたのですが、入社してからはチーム開発であることを意識してコーディングするようになりました。今では、製品の品質を意識した開発ができるようになったと思います。　
　
そもそも、僕はチーム開発ツールの使い方も全然知らなくて、いわゆるGitHubも論文のソースコードを置いておく程度にしか活用できていませんでした。入社当初は、こうした開発ツールの使い方から社内インフラの技術のことまで分からないことだらけだったので、「何も知らないので、よろしくお願いします！！」と正直に伝えました。</p>
<p>ありがたいことに、当時の配属先Mgrが全部丁寧に教えてくださったので、研修期間中には開発に支障ない程度には知識をつけることができました。また、実際に開発を行う際は、プルリクエストごとにコードレビューが必要なシステムになっていて、僕のコードについてのフィードバックを日常的にいただけるような環境になっています。こうした社内環境が、僕のチーム開発のスキルアップに繋がったように思います。　</p>
<h2 id="出来なかった技術の社会実装-leapmindへの3つの入社理由">出来なかった技術の社会実装-LeapMindへの3つの入社理由</h2>
<p>入社のきっかけは、2019年にLeapMindのサマーインターンへ参加したことでした。
<strong>1番の決め手は、優秀な社員の方が多くいることです。</strong></p>
<p>サマーインターンでは異常検知手法に関する研究開発に取り組んだのですが、そのときに考案した手法が当時の最先端の性能であることがわかり、インターン期間を1週間延長させてもらって成果を論文として発表しようということになりました。</p>
<p>その時、社員の方から論文指導をしていただいたのですが、それが僕にとっては良い意味で衝撃的な体験でした。いわゆるテクニカルライティングを教わったのですが、これによって論文は見違えるほど良くなりました。今でも、その当時の初稿を持っています（笑）。
当時、社内ドキュメントを含めたアウトプットの質を高めていこうという動きがあったようで、そうした意識を持つ上司の方や先輩のいる環境だと成長も出来るし素敵だと思いました。</p>
<p>この論文の件がきっかけで、LeapMindであれば研究開発をしながら成果のアウトプットをすることも出来るんじゃないかなと思いました。（※研究チームはありますが、現在はEfficieraの開発に全員でコミットしています）　</p>
<p><img src="/images/posts/news/employee-r-i/c677a6d6-img_8903-%E3%82%B5%E3%82%A4%E3%82%BA%E5%A4%89%E6%9B%B4%E6%B8%88-%E6%9C%80%E6%96%B0-594x440.jpg" alt="窓を背に向けて話すIさん" title="窓を背に向けて話すIさん"></p>
<p><strong>2つ目はコミュニケーションです。</strong> 今はフルフレックス・フルリモートの環境ですが、当時僕がインターンをしていた時はコロナが流行する前だったので全員出社していました。　</p>
<p>同じフロアにエンジニアやセールス、バックオフィスの方がいて、学生ながら凄くフラットな環境だなと思っていました。実際、<strong>CEOの松田さんがLeapMindをフラットな組織にしたくて</strong>そうしたフロア設計にしていたようです。</p>
<p>インターン中は、執務室と隣接するフリースペースで作業しながら、そこへ出入りする社員に片っ端から話しかけに行っていたので、当時の社員全員と話すことができたと思います。僕にとっては、そんな環境が魅力的で雰囲気もすごく良かった印象でした。入社後は、フルリモートワークのためお互いの状況が当時よりもわかりづらくはありますが、<strong>エンジニア同士はもちろんのこと、セールスやBizDevの方とのMTGを通してコミュニケーションをする</strong>ことができています。</p>
<p>CEOやCTOとの距離も近いなと思います。会社の方針に関して質問や意見があった場合は、1on1も実施してくださいますし。コミュニケーションの時間をつくって僕に向き合ってもらう機会があります。CTOは率先して技術開発をしていますし、そういう点で技術者的にも刺激になる職場で、まとまりの良さを感じています。</p>
<p>実は、コミュニケーションに関しては良い話ばかりではなくて不安もありました。
僕は、新卒からフルリモートワークで社会人生活がスタートしたので、毎日出社するような働き方をした事がないんですよね。入社してから最初の数ヶ月は実家のある福岡から勤務していましたし・・。</p>
<p>そのなかで、どういう風に仕事を進めていくかという点では苦労しました。</p>
<p>入社当初は、まだ顔を合わせたことがないメンバーと連絡を取るのは少し勇気がいりましたし、社内スラックに設けられている公開質問チャンネルも、初歩的すぎる質問だと思われないかと思うとなかなか利用できませんでした。その点、<strong>インターンの時からお世話になっていたMgrが毎日1on1を実施してくださり、他のメンバーとの橋渡しや質問への対応をしてくれたので、本当に凄く助かりました。</strong></p>
<p>今となってはリモートワークにも慣れ、必要最低限のコミュニケーションで仕事を円滑に進めることができるようになりました。</p>
<p>ただ、そうなると僕がインターンの時に感じた魅力の一つであるLeapMindのコミュニケーションを通した活気のあるカルチャーが薄れてしまいそうで、今は自分から社内へコミュニケーションの機会を提供したり、社内イベントの運営に参加させて頂いています。　</p>
<h2 id="入社して挑戦できたことは">入社して挑戦できたことは？</h2>
<p>入社してまだ1年弱ですが、<strong>プロジェクトのリードも任せて頂いています。</strong>　
入社直後は、チームMgrのリードのもとで研究開発を担当し、製品開発の大枠を掴みました。</p>
<p>マイナーアップデート版の開発を実施する際には、プロジェクトのマネジメントを経験させてほしいとMgrに相談し、開発の承認を得るところから、要件定義、スケジュール策定、実装、テスト、リリースにいたるまで僕がリードを経験させて頂きました。</p>
<p>とはいえ、アップデートに関するベースのアイデアはMgrのお力を多分にお借りしたので、次回はより抽象度の高い仕事のリードに挑戦してみたいです。</p>
<p><strong>このように、入社から早い段階で実際の製品開発にかかわるプロジェクトを任せて頂けるのもスタートアップの良い所</strong>かなと思います。</p>
<p>また、日頃から、セールスやBizDevの方を通じてお客様の希望（どういう機能が必要でどういうニーズがあるのか）を把握することができています。</p>
<p>たとえば、開発側からすると面白いと思えるような最新の技術が実はお客様にはそれほど求められていなかったり、逆に古典的な技術や意外な機能が必要とされていたりするんです。</p>
<p><strong>開発チームの中だけに閉じずにビジネス側からお客様の声をきくのは開発への刺激</strong>にもなるし、本当に必要なものを提供できるように、お客様の存在は意識し続けたいと思います。　</p>
<p><img src="/images/posts/news/employee-r-i/3264e2ae-img_8926-%E3%82%B5%E3%82%A4%E3%82%BA%E5%A4%89%E6%9B%B4%E6%B8%88-660x440.jpg" alt="座っているIさん" title="座っているIさん"></p>
<h2 id="iさんの今後のビジョン-お客さんに使ってもらえる製品を作りたい-leapmindでやりたいこと">Iさんの今後のビジョン～ お客さんに使ってもらえる製品を作りたい-LeapMindでやりたいこと～</h2>
<p>僕が入社を決めた理由は、<strong>お客さんに使ってもらえる製品を作りたかったから</strong>です。今、僕が考えているよりもLeapMindという会社はより強く「<strong>誰が使うのか</strong>」を考えている会社です。</p>
<p>例えば、〈この機能って、技術的には面白いけど実際は必要かな？必要ないよね〉とか、実際にお客様が何に困っているのか、お客様のニーズを常に考え続けることを意識して仕事をしています。　</p>
<p>今は技術開発や組織作りなど、色々なことに挑戦させてもらっています。</p>
<p>異常検知モデルは、まだまだ向上の余地がありアップデート出来ると思っていますし、研究と開発を繋げていきたい想いも、もちろんあります。</p>
<p>製品が世の中に届いて、会社が今の数倍ほど大きくなった暁には、よりチャレンジングな研究を行う専門のチームを発足できたらなと思っています。世の中にインパクトを与えられる技術の研究を行いながら、その社会実装にも取り組むことが出来たら素敵だなと思っています。　</p>
<p><strong>LeapMindは常に新しい技術を生み出し、それを社会に還元していくことが出来る会社</strong>だと思ってるので。</p>
<p><img src="/images/posts/news/employee-r-i/8fb4fd09--660x422.jpg" alt="窓際に手を置くIさん" title="窓際に手を置くIさん"></p>
<h2 id="インターンメンターや取り組みを教えてください">インターンメンターや取り組みを教えてください</h2>
<p>きっかけは、インターン生のメンターとなったことでした。<strong>入社1年目からメンターをさせてもらえたこと</strong>もスタートアップの良いところの一つかもしれませんね（笑）。</p>
<p>メンターをしていたインターン生との雑談の中で、せっかくのインターンだから、他のチームのエンジニアや他の職種の方ともコミュニケーションの機会が欲しいですよね、という話になって、<strong>インターン生と社員との雑談の場として「CoffeeBreak」という時間を設ける企画</strong>をしました。
今では、<strong>全社員が自由に参加していただけるオンラインコミュニケーションの機会</strong>になっていて、社内での認知度も上がっていると思います！</p>
<h2 id="hackdaysleapmindculture">HackDays・LeapMindCulture</h2>
<p><strong>LeapMindのカルチャーの1つであるHackDysは2018年頃から実施</strong>しています。
歴代の運営社員がいて、今は僕がバトンをもらって運営しています。</p>
<p>HackDaysは、インターンの時に発表会に参加する機会があって「すごく面白そう！」と思った記憶があります。<strong>通常業務を一定期間ストップして、好きな開発をして良い</strong>というのは、<strong>エンジニアドリブンな会社</strong>だなと思います。</p>
<p>普段から技術に触れていると、「業務には関係ないけどいつか作ってみたい、試してみたい」というようなアイディアが浮かぶことがあるのですが、やはり業務に関係ないものに時間を割くことはなかなか難しいです。<strong>HackDaysではそれぞれが作りたいものを好きなように作る</strong>ことができるので、日頃のアイディアを実現するとてもいい機会になっていると思っています。また、HackDaysを通して、<strong>「普段はこういう業務役割の人だけど、実はこんなこともできるんだ！」みたいなことを沢山知ることもできる</strong>ので、運営するのも楽しいです。また、チームを組んでプロジェクトに取り組む方々もいたりして、新たなコミュニケーションが生まれる機会にもなっていると思います。</p>
<p>これまでのHackDaysでは、例えば、機械学習に関する知識を遊びながら学べるカードゲームを作ったり、空調の自動制御装置や、話し手の声で音声翻訳をする開発機能を作っている社員の方もいました。</p>
<p>必要があるかないかは関係なく、<strong>＜自分的に作ったら面白そう、誰の邪魔もなくつくれる場＞という機会</strong>でLeapMindで働くエンジニアにとっては素敵な場だと思っています。　</p>
<h2 id="最後に一言">最後に一言</h2>
<p>Efficieraを機軸に新しい技術を取り入れて、<strong>今までにないデバイスを世の中に広めるというミッションに取り組み続ける会社</strong>であることが理想だと思っていますし、そうなるように僕も頑張りたいと思います！</p>
<p>LeapMindに少しでもご興味を持たれましたら、ぜひ<a href="/careers/">採用ページ</a>をご覧ください！</p>

研究開発した技術の社会実装を実現したい

<h2 id="my-summer-internship-experience-at-leapmind">My summer internship experience at LeapMind.</h2>
<p>Shibuya Scramble Crossing, the most iconic Tokyo city landscape. Every minute hundreds of people seamlessly pass by, eventually disappearing in an endless crowd. Could you count them all? Could you track them all down? Well, I can. And I learned this secret skill during my summer internship at LeapMind Inc.</p>
<h2 id="multi-object-tracking">Multi-object tracking</h2>
<p>The task is simple: given a video, track all its objects as they move. You can think of it more atomically: first, detect objects within a single frame, and then link those objects in between frames. Former is simply object detection, whereas the latter is called object re-identification. Ideally, we would like to process frames in an online manner, that is, without looking into future frames while processing the current one. This is a pretty reasonable and desired assumption, especially when it comes to live videos (think of CCTV footage).</p>
<p>As one might expect, recent deep learning models enable multi-object tracking – and <a href="https://motchallenge.net/results/MOT20/?det=Private">they are fairly good</a> at it. Unfortunately, they do not necessarily excel at speed. It is challenging to run a live demo smoothly, and a networking delay while streaming the video from a camera to a GPU makes it all hardly feasible. Overcoming the speed issue was a goal of my internship.</p>
<p><img src="/images/posts/en/news/how-i-became-a-spy/7442f705-image1.gif" alt="Image: Multi-object tracking"></p>
<p>A live object tracking demo running at 70 FPS, recorded at LeapMind office, Shibuya, Tokyo.</p>
<h2 id="accelerating">Accelerating</h2>
<p>We focused on a one state-of-the art multi-object tracking method. Having understood, analyzed and identified its bottleneck, we were able to run a live demo in average almost 5-times faster than a baseline – at 100 FPS at a peak. Noteworthy, we did not suffer from a significant accuracy drop.
Despite an outstanding performance, it’s not the end of further improvements. The model we ended up with can be potentially <a href="https://medium.com/@joel_34050/quantization-in-deep-learning-478417eab72b">quantized</a> (compressed) and embedded on a hardware using LeapMind technology.</p>
<p><img src="/images/posts/en/news/how-i-became-a-spy/08d7ac54-joniak4-660x440.png" alt="Image:Presentation"></p>
<h2 id="leapmind-is-a-place-to-work">LeapMind is a place to work</h2>
<p>I spent five weeks at LeapMind as an intern, and I did enjoy it. I was working with professionals on a challenging project that won’t be archived once I leave. The atmosphere here kept me always motivated and I had no problems communicating – LeapMind is fully bilingual.
Company response to COVID-19 is also worth praising, since it went entirely remote (although one can visit the office if necessary). Last but not least, the salary is competitive, even if you’re an intern.</p>
<p>LeapMind is a place to work!</p>
<p>Written by Przemyslaw Joniak, LeapMind Summer 2020 Intern.</p>

How I became a spy

<p>こんにちは。LeapMind インターン運営担当です。
本日は、2022年サマーインターンに参加されたインターン生の成果発表について記事にまとめたいと思います。</p>
<p>LeapMindで2ヶ月間インターンシップに参加した若井です。
インターンシップでは、Anomaly Detectionチームに所属し、異常分類(anomaly classification)のプロジェクトに取り組みました。</p>
<h2 id="プロジェクトについて">プロジェクトについて</h2>
<p>インターンシップのプロジェクトとして、異常分類の研究に取り組み、
量子化されたニューラルネットワークを用いて異常分類モデルの実装と精度検証を行いました。</p>
<p>異常検知(anomaly detection)は異常の有無の推定や異常の箇所の特定を行うのに対し、
異常分類(anomaly classification)はこれらに加えて異常の種類の特定を行います。</p>
<p>検知対象の異常は軽微なものから深刻なものまで様々ですが、異常の種類が特定できれば検知後の対応を変更できるため、外観検査や故障予知等の様々な場面で異常分類技術が役立つと考えられます。</p>
<p>本プロジェクトでは、あらかじめ異常有無推定と異常箇所特定が行われたデータに対して異常分類を行う、という問題設定でモデルを設計しました。
異常検知段階と異常分類段階の二段階で異常分類を行うことにより、異常検知段階で異常が無いと推定された場合、異常分類の推論を打ち切ることで全体の速度向上が期待できます。</p>
<p>したがって、正常データ・異常データの両方に対して一気通貫で異常分類を行うのではなく、異常検知後のデータに対して異常分類を行いました。</p>
<h2 id="手法について">手法について</h2>
<p>異常検知分野では、正常データのみを用いて学習する手法も頻繁に利用されていますが、本プロジェクトでは異常の分類を目標としたため、異常データを用いて学習した画像分類モデルを利用する方針としました。</p>
<p>また、異常検知分野での前提として、「異常データは非常に稀である」という性質があります。</p>
<p>この性質により、以下の3つが問題となります。
問題1 学習用の異常データが不十分である
問題2 異常データがすべての異常例を網羅できているとは限らない
問題3 正常データと異常データが不均衡である</p>
<p>1の問題に対しては転移学習(transfer learning)やfew-shot learningの手法を、
2の問題に対してはOOD(out-of-distribution)検出手法を用いてモデルを設計しました。</p>
<p>本プロジェクトの問題設定では、異常有無は既に推定されており、分類を行うデータは異常が検知されたデータに限られるため、3の問題については対象外としました。</p>
<p>few-shot learningの手法は、この論文(<a href="https://arxiv.org/abs/1904.04232">https://arxiv.org/abs/1904.04232</a>)を参考にしました。
この論文では、ニューラルネットワークの全結合層にcosine distanceを適用することによりfew-shot時の精度向上を図っています。</p>
<p>OOD検出手法は、この論文(<a href="https://arxiv.org/abs/2205.09310">https://arxiv.org/abs/2205.09310</a>)を参考にしました。
画像分類モデルは学習が進むにつれsoftmax関数の出力値がクラス間で極端な分布になりがちですが、この論文ではlogit normという誤差関数を用いてsoftmax関数の出力値をなだらかにすることで「自信過剰」な推定の防止を図っています。</p>
<p>以上の手法をベースとして異常分類モデルを改善し、量子化されたニューラルネットワーク上で精度検証を行いました。</p>
<p>2ヶ月という限られた期間ではありましたが、メンターの方とディスカッションを行いながら実験を進めることができ、インターンシップでの成果として仕上げることができました。</p>
<h2 id="インターンシップについて">インターンシップについて</h2>
<p>インターンシップでの勤務形態は、フレックスタイム・コアタイム無し・フルリモートと非常に自由度が高かったです。夏休み中も卒業研究の関係で度々大学に行くことがあったため、この勤務形態は大変ありがたかったです。</p>
<p>フルリモートではありましたが、coffee break timeや社内勉強会等の機会に恵まれ多くの社員の方々と交流できました。coffee break timeはメンターの方が中心になって企画してくださったのですが、個性的な社員の方々とチームや立場を超えて交流でき、自身の進路や将来を考えるうえで非常に参考になりました。</p>
<p>2ヶ月間のインターンシップでは、メンターの方々に大変お世話になりました。
プロジェクトに取り組むまでのキャッチアップ期間では、開発手法や異常検知分野の基礎知識について丁寧に教えていただきました。
プロジェクトに取り組み始めてからは、毎日のチームミーティングで、プロジェクトの進め方をはじめ幅広く意見をいただくとともに、思うように進捗が出せなかった時も優しく励ましていただきました。また、頻繁にディスカッションをさせていただき、一人で途方に暮れることなくプロジェクトを進めることができました。</p>
<h2 id="最後に">最後に</h2>
<p>短い期間でしたが、LeapMindのインターンシップでは貴重な経験ができ、非常に大きな財産になりました。
2ヶ月間、大変お世話になりました。</p>

Summer Internship 2022 –Wakai–Investigate the possibility of anomaly classification on quantized neural networks

<p>こんにちは。LeapMind インターン運営担当です。 本日は、2022年サマーインターンに参加されたインターン生の成果発表について記事にまとめたいと思います。</p>
<p>Hello, this is LeapMind Internship Administration Team. Today, we would like to share the presentations of our interns who participated in the 2022 Summer Internship Program.</p>
<p>はじめまして。LeapMindでインターンをしていた劉です。
夏休みの2ヶ月間、Network Development Kit (NDK)チームに参加させていただきました。
この記事ではインターン期間中の取り組みをはじめ、社内の環境や雰囲気など、インターンを通して得られたこと、感じたことを総合的に書かせていただきたいと思います。</p>
<p>Hello, I am Ryu, an intern at LeapMind.
I joined the Network Development Kit (NDK) team for two months as an intern during the summer vacation.
In this article, I would like to write a comprehensive report on what I gained and felt through my internship, including the project I worked on and the work environment and atmosphere within the company.</p>
<h2 id="インターン期間中の取り組み--the-project-i-worked-on-during-my-internship">インターン期間中の取り組み / The project I worked on during my internship.</h2>
<p>今回のインターンの課題はBinary Neural Networkに関する新しい論文[1]の再現実験をするというものでした。この課題にインターン生2人で取り組みました。論文では、重みパラメータとアクティベーションの両方をそれぞれ1bitにするという大胆な量子化を提案しています。それでいて、ImageNetを用いた分類問題を始め、CNNが得意とするさまざまな課題で量子化前と同程度の性能を出せることを論文では主張しています。ニューラルネットワークの量子化という分野において精度の低下は常に頭を悩ませてきた問題であるため、「量子化前と同程度の性能」をたったの1bitずつで実現できるのであれば、それは驚くべきことであり、今後のLeapMindの製品に役立つことも期待できます。</p>
<p>The project for this internship was to experiment to reproduce a new research paper on Binary Neural Networks [1]. The two interns including me worked on this assignment together. The research paper proposes a bold quantization scheme in which both the weight parameter and the activation are set to 1 bit. Despite this, they claim that they can deliver the same level of performance as before quantization in various tasks that CNNs are good at, such as classification problems using ImageNet. Since accuracy degradation has always been a major problem in the field of neural network quantization, if "the same level of performance as before quantization" with only 1 bit each could be realized, it is a remarkable achievement and will be useful for LeapMind's future products.</p>
<p>こうしたモチベーションによって始まった今回の再現実験ですが、予想以上に難航してしまいます。論文にソースコードは提供されていません。学習率のようなハイパーパラメータや、オプティマイザのような再現に必要な情報も提供されていません。そのため、これらは過去の経験や他の実装から推測することになります。ハイパーパラメータ探索の大変さを見くびることはできませんが、ここまでの苦労であれば他の論文の再現でも必要となることは多いでしょう。本論文の再現において最も苦労したのは、ニューラルネットワークの形が分からないという点でした。</p>
<p>Although these motivations led us to start this reproduction experiment, it turned out to be more difficult than expected. The source code has not been provided in the paper. Neither are hyperparameters like learning rate or necessary information for reproduction, such as optimizers, provided. Therefore, we had to infer these from experience and other implementations. We cannot underestimate the difficulty of hyperparameter search, however, this much effort will often be necessary for the reproduction of other papers. The most difficult part of reproducing this research paper was not knowing the shape of the neural network.</p>
<p>具体的に1つ例を挙げましょう。下の図は論文が提案するネットワークにビット幅の注釈をつけたものです。</p>
<p>Let me give you one specific example. The figure below shows the network proposed by the paper with bit width annotations.</p>
<p><img src="/images/posts/news/summer-internship-2022-ryu-exploring-binary-neural-networks/f05c0373-ryu-san-360x440.png" alt="具体イメージ"></p>
<p>赤の破線は4bitと書かれていますが、なぜ4bitとするのか、どういう構造で4bitになっているのかを論文から読み取ることができませんでした。結局、再現実験ではここを4bitにすることを諦め、ハードウェアでの実行可能性を損ねないように注意しながら、論文の記述になるべく近いアーキテクチャを探索しました。</p>
<p>The red dotted line indicates 4 bits, but we could not figure out from the paper why it should be 4 bits or what kind of structure makes it 4 bits. In the end, we gave up on making this part 4-bit in the reproduction experiment and searched for architecture as close as possible to the description in the paper, being careful not to impair the executability of the hardware.</p>
<p>こうした試行錯誤によって精度は次第に改善されていったものの、論文の言うような「量子化前と同程度の性能」をインターン期間中に出すことはできませんでした。その意味で論文の完全な再現には失敗したものの、重みとアクティベーション両方を1bitにした量子化の結果としてはまずまずな精度を得ることができたと思います。とりわけ、他のメンバーとのディスカッションを通じて、良い精度のアーキテクチャを自ら提案できたことはとても嬉しく思います。</p>
<p>Although the accuracy was gradually improved through these trial and error processes, we were not able to generate "the same level of performance as before quantization," as stated in the paper, during the internship program. Although we failed to reproduce the paper completely, I believe that we were able to produce a good level of accuracy as a result of quantization with 1-bit weights and activation. Above all, I am very happy that I was able to propose a good accuracy architecture through discussions with other members of the group.</p>
<h2 id="開発環境--development-environment">開発環境 / Development environment</h2>
<p>大学の課題や研究において、チームで開発することは多くありません。数十人規模ともなるとなおさらです。LeapMindでは、社内のソースコードをほぼ1つのレポジトリで管理しています。コードを書いたらプルリクエストを出し、読みやすさ等の評価をクリアするとマージされます。このコードレビューのおかげで、ソースコードはとても読みやすく、簡単な変更であればすぐに変更箇所を見つけ出すことができました。実際にプルリクエストを出してレビューしてもらったり、他の人の書いたコードをレビューしたりすることは、私にとって学びの多い新鮮な経験になりました。</p>
<p>In university, there are not many opportunities to develop in teams on assignments or in research, especially when there are dozens of people involved. At LeapMind, internal source code is managed in a single repository. When we write code, submit a pull request, and once it meets readability and other criteria, it is merged. This code review makes the source code very legible and allows us to find changes quickly if they are simple changes. Submitting pull requests to be reviewed and reviewing code written by others was a great learning and refreshing experience for me.</p>
<p>LeapMindでは、Bazel、Neptuneなど、研究開発を効率化するツールをいくつも使用しています。これらのツールは大学の研究に役立ちそうなものも多く、インターン終了後も自分の開発に役立てていきたいと考えています。このようなツールが多く使われている背景には、環境の変化を恐れず新しい技術を貪欲に取り入れていく、ベンチャー企業らしいとも言える風土があると感じます。</p>
<p>LeapMind uses several tools to streamline research and development, including Bazel and Neptune. Many of these tools seem to be useful for university research, and I plan to continue using them for my development even after my internship is over. I feel that the reason why many of these tools are used is because of the corporate culture, which is characteristic of a venture company, of not fearing changes in the environment and eagerly adopting new technologies.</p>
<h2 id="社内の雰囲気環境company-culture-and-environment">社内の雰囲気・環境/Company culture and environment</h2>
<p>フレックスタイム、コアタイムなし、フルリモート可という働き方の自由さにまず驚かされました。休暇も基本的に自由に取ることができ、社員の方も含め休みづらさといったものは全く感じませんでした。オフィスに出勤したいときには出勤することもでき、モニター2台の快適な環境で作業することができました。</p>
<p>I was amazed at the flexibility of the working style: flextime, no core hours, and full remote availability. I was also able to take vacations when I wanted to, and I never felt uncomfortable taking time off, including among the employees. I was also able to go to the office whenever I wanted to and work in a comfortable environment with two monitors.</p>
<p>COVID-19の影響もあり出勤する方が少なく、社員の方と対面でコミュニケーションを取る機会が非常に限られていた点は好みが分かれる部分だと思います。それでも、ランチ会やCoffee Breakを通じて、オンラインで多くの社員の方との会話の機会を確保していただきました。経歴や趣味など個性的な方も多く、会話していて楽しかったです。また、技術的に分からないことがあっても気軽に質問することができ、詳しい方に助けてもらうことができました。社員の方の技術力の高さにも驚かされました。</p>
<p>Due to COVID-19, few people came to the office, and the opportunities for face-to-face communication with employees were very limited, which I think is something that people may have different preferences for. Nevertheless, through lunch meetings and Coffee Breaks, I was able to have opportunities to talk with many employees online. I enjoyed talking with many unique people with unique backgrounds and interests. Also, I was able to easily ask questions about technical issues and was able to get help from people who were familiar with the subject matter. I was also amazed at the high technical skills of the employees.</p>
<h2 id="最後に--conclusion">最後に / Conclusion</h2>
<p>あっという間の2ヶ月間でした。もともと興味のあるテーマでしたが、最後まで興味を持って取り組むことができました。実験の結果、過去最高のスコアが出たときの興奮は今でも忘れません。LeapMindでインターンをすることができて本当に良かったと思っています。大変お世話になりました。</p>
<p>The two months went by very quickly. It was a topic that I had always been interested in, and I was able to work on it with great interest until the very end. I still remember how excited I got when we got the highest score ever as a result of the experiment, and I am very happy to be an intern at LeapMind. Thank you very much for all your support!</p>
<h2 id="参考文献--references">参考文献 / References</h2>
<p>[1] Nie, G., Xiao, L., Zhu, M., Chu, D., Shen, Y., Li, P., ... &#x26; Chen, B. (2022). Binary Neural Networks as a general-propose compute paradigm for on-device computer vision. arXiv preprint arXiv:2202.03716.</p>

Summer Internship 2022 – Ryu – Exploring Binary Neural Networks

<p>こんにちは。LeapMind インターン運営担当です。 本日は、2022年サマーインターンに参加されたインターン生の成果発表について記事にまとめたいと思います。</p>
<h2 id="my-summer-internship-experience-at-leapmind">My summer internship experience at LeapMind</h2>
<p>Hello, my name is Nishio and I participated in the 2022 summer internship program.
For a little less than two months, I worked with the NDK team on an experiment to reproduce a paper of binary neural networks.
The paper I replicated is “Binary Neural Networks as a general-propose compute paradigm for on-device computer vision” [1].
The “BiNealNet” proposed in this paper is claimed to outperform 8-bit quantization methods in the speed-vs-accuracy tradeoff for classification, detection, segmentation, super-resolution, and matching.</p>
<h2 id="implementation-overview">Implementation Overview</h2>
<p>BiNealNet is one of the binary neural networks that achieves high accuracy and computational efficiency for various tasks by using the following two techniques:</p>
<ul>
<li>Binarize a ResNet block by enlarging its channels.</li>
<li>Injecting auxiliary parameters in binaryconvolution and binary activation.</li>
</ul>
<p>Binarizing ResNet blocks allows for easy extension to various tasks, and the larger number of output channels in the block increases the capacity of the network. In addition, auxiliary parameters also improved the expressiveness of the network.</p>
<p>Binarization of ResNet blocks is realized by two methods: binarization of convolution weight parameters and binarization of activation.</p>
<p>Weight parameters of convolution are binarized by
Wb = Sign ( Tanh( Wf ) )
Wf Wb
Where Wb is the value of the binarized weight and Wf is the full precision weight, and are arbitrary parameters.
Sign function calculated the gradient using STE [2]. is a channel-wise parameter. is implemented so that the shape could be selected from one-, two-, or four-dimensional tensors according to the paper.</p>
<p>Activation is binarized by
Ab = Sign ( Htanh( PReLU( Af + b0 ) + b1 ) )
Af = Ab
where Ab is the value of the binarized activation and Af is the full precision activation, , b0, b1 are channel-wise, and is a scalar arbitrary parameter.
Htanh backpropagation was implemented as follows [3]:</p>
<p><img src="/images/posts/news/summer-internship-2022-nishio-go-beyond-the-accuracy-of-the-float-model-with-binary-neural-networks/1b73ab39-gazou-.png" alt="数式"></p>
<p>This implementation reduces the mismatch in the gradient of the backpropagation of the sign function.</p>
<h2 id="results-of-reproduction-experiments-with-cifar10">Results of Reproduction Experiments with CIFAR10</h2>
<p>The implemented BiNealNet was validated using CIFAR10, a typical classiﬁcation task.
The maximum number of training epochs was set to 400 and the batch size to 128, starting with a learning rate of 0.1, and then decaying using the learning rate scheduler with SGDR [4].</p>
<p>Validated ResNet accuracy with full precision activation and weights as a baseline, yielding 0.9479 as validation prediction accuracy.
Verified whether the prediction accuracy is equivalent to a full precision network without degradation when weights or activation are binarized. Thereafter, when binarizing weights and activations, the number of channels was set to 1.5 times the original ResNet, following the paper [1].</p>
<p>First, only the weight parameters were binarized to obtain a validation prediction accuracy of 0.9485. When binarizing the weights, the weight parameters of the first convolution were not binarized. (The same applies thereafter.)
We then binarized the activation and obtained a validation prediction accuracy of 0.922.
Finally, when both the weight parameters and activation were binarized, we obtained 0.911 as the validation prediction accuracy.</p>
<p>Full precision (baseline)
0.9479
Binarize Weight
0.9485
Binarize Activation
0.922
Binarize Weight &#x26; Binarize Activation
0.9112</p>
<p>Binarization of activation caused degradation of prediction accuracy and did not produce the results as in the paper.</p>
<p>For further verification, we changed the following three points.</p>
<ul>
<li>Change the kernel size of the convolution layer of downsampling from 1 to 3.</li>
<li>Clip the negative slope of PReLU so that it is not less than 0.</li>
<li>Move scaling parameters of and to after the convolution.</li>
<li>The initial earning rate of new auxiliary parameters is reduced by a factor of 10.</li>
</ul>
<p>In the original ResNet, the kernel size of the downsampling layer is 1, but it is known empirically that a kernel size of 1 is inaccurate when the convolution weights are binarized.</p>
<p>Kernel size of downsampling = 1
0.9112
Kernel size of downsampling = 3
0.9214</p>
<p>Based on this result, the kernel size of the downsampling layer was subsequently set to 3.</p>
<p>Next, the negative slope of PReLU was verified by replacing it with a function that was clipped so that the negative slope of PReLU was not less than zero. This was because BiNealNet implicitly assumed that the value of the negative slope of PReLU was non-negative.</p>
<p>Normal PReLU function
0.9214
Clipped PReLU function
0.9235</p>
<p>Thereafter, the clipped PReLU was used in the activation binarization.</p>
<p>Thirdly, the position of the scaling factor was verified. The scaling factors for the activation and convolution weights were moved after the convolution operation. This makes all the inputs to the convolution operation 1bit. Accuracy was significantly reduced.</p>
<p>Scaling before conv
0.9235
Scaling after conv
0.9076</p>
<p>Finally, we considered reducing the learning rate of the added arbitrary parameter to make the change smaller.</p>
<p>Same initial LR (0.1)
0.9235
Lower initial LR for new parameters (0.01)
0.9102</p>
<h2 id="summary-and-future-outlook">Summary and Future Outlook</h2>
<p>The BiNealNet paper was ambiguous in many of its descriptions, which was a barrier to validation. We attempted to replicate the paper by experimenting with a variety of patterns, but ultimately ended up with a validation prediction accuracy that was 0.0244 points lower than the full precision network for the CIFAR10 dataset.
Within this summer internship, I also worked on an experiment in object detection using BiNealNet and MSCOCO dataset, but I will not go into details.</p>
<p>BiNealNet is claimed to have produced accuracy comparable to 8-bit models in segmentation, super-resolution, and matching, so we would like to verify its effectiveness for tasks other than classiﬁcation and object detection.</p>
<h2 id="leapmind-is-a-great-place-to-work">LeapMind is a great place to work!</h2>
<p>I worked at LeapMind for less than two months as an intern and had a very enjoyable and productive time. My mentor and other team members were very helpful and polite with code reviews, and I learned a lot from them.
They were also very helpful in discussing technical difficulties with me to deepen my understanding. The company encouraged working remotely, but it was great that I could come to the office if I wanted.
LeapMind is a great place to work!</p>
<h2 id="references">References</h2>
<p>[1] G. Nie et al., arXiv [cs.CV] (2022), (available at <a href="http://arxiv.org/abs/2202.03716">http://arxiv.org/abs/2202.03716</a>).
[2] M. Courbariaux et al., arXiv [cs.LG] (2016), (available at <a href="http://arxiv.org/abs/1602.02830">http://arxiv.org/abs/1602.02830</a>).
[3] Z. Liu et al., arXiv [cs.CV] (2018), (available at <a href="http://arxiv.org/abs/1808.00278">http://arxiv.org/abs/1808.00278</a>).
[4] I. Loshchilov and F. Hutter, arXiv [cs.LG] (2016), (available at <a href="http://arxiv.org/abs/1608.03983">http://arxiv.org/abs/1608.03983</a>).</p>

Summer Internship 2022 – Nishio – Go beyond the accuracy of the Float model with Binary Neural Networks.

<p>エッジAIのスタンダードを創るLeapMind株式会社（所在地：東京都渋谷区、代表取締役CEO：松田 総一、読み方：リープマインド、以下LeapMind）は、基盤技術の一つ「極小量子化技術」に関する特許を台湾で取得したことを発表します。海外での特許取得は初となります。
極小量子化技術はLeapMindが開発する超低消費電力AIアクセラレータIP「Efficiera」の基盤技術です。ディープラーニングモデルの軽量化手法の１つ「量子化」を極限まで突き詰めた技術で、日本では2021年6月より多数の特許を取得しています。この度台湾においてもその技術力が認められ、極小量子化技術を実現するためのEfficieraの構成に関して特許取得に至りました。</p>
<p>特許番号:I773245</p>
<p>特許登録日:8月1日</p>
<p>発明の名称:ニューラルネットワーク回路、エッジデバイスおよびニューラルネットワーク演算方法</p>
<p>特許権者:LeapMind株式会社</p>
<p>LeapMindは極小量子化技術やEfficieraに関する特許出願とその権利化を国内外で行っており、本件を含めてこれまで7件の特許を取得しています。特許取得によってより良い技術開発を実現し、AIの社会実装を加速させることを目的に継続的に取り組んでいます。</p>
<p><img src="/images/posts/news/7739/a0cefcee--1.jpg" alt="LeapMindがこれまでに取得した特許一覧" title="LeapMindがこれまでに取得した特許一覧">
（LeapMindがこれまでに取得した特許一覧）</p>
<p>LeapMindは今後も「次世代の情報端末を実現するためのキーテクノロジーを提供する」というビジョンのもと、エッジAIの実用化による、人々のより便利な暮らしの実現に貢献していきます。</p>
<h2 id="leapmind株式会社について">LeapMind株式会社について</h2>
<p>「機械学習を使った新たなデバイスを、あまねく世に広める」を企業理念に2012年創業しました。累計調達額は49.9億円に達しています。ディープラーニングをコンパクト化する極小量子化技術に強みを持ち、製造業を中心に150社を超える実績を保有しています。次世代の情報端末を実現するためのキーテクノロジーを提供するために、その実現に必要なソフトウェアとハードウェア両面の開発に取り組んでいます。</p>
<p>本社：〒150-0044 東京都渋谷区円山町28-1 渋谷道玄坂スカイビル 3F</p>
<p>代表者：代表取締役CEO 松田　総一</p>
<p>設立：2012年12月</p>
<p>URL：<a href="https://leapmind.io">https://leapmind.io</a></p>
<p>*プレスリリース記載の情報は発表日現在の情報です。</p>

海外で初の特許を取得、超低消費電力AIアクセラレータIP「Efficiera」に関する技術、台湾で特許登録を完了

<h2 id="検査精度が向上高解像度画像の入力に対応-製造現場の多様なニーズに寄り添いai活用を促進">検査精度が向上、高解像度画像の入力に対応 ‐製造現場の多様なニーズに寄り添い、AI活用を促進‐</h2>
<p>エッジAIのスタンダードを創るLeapMind株式会社（所在地：東京都渋谷区、代表取締役CEO：松田 総一、読み方：リープマインド、以下LeapMind）は2022年9月7日、超低消費電力AIアクセラレータIP「Efficiera®（エフィシエラ）」の技術を用いたディープラーニングモデル「Efficiera 異常検知モデル」v1.1を発表しました。製造業向けの外観検査に特化した同モデルにおいて検査精度を向上させ、より高解像度な画像の入力に対応いたしました。複数の画像入力サイズから選択できるように対応いたしました。アップデートによって製造現場の多様なニーズに寄り添い、さらなるAI活用の普及に貢献します。</p>
<h2 id="efficiera異常検知モデルアップデートのポイント">「Efficiera®異常検知モデル」アップデートのポイント</h2>
<ul>
<li>異常検知精度が向上</li>
<li>高解像度画像の入力が可能に
　‐より複雑な検査対象物、広領域を細かく検査する必要のある対象物への対応ができるように</li>
<li>複数の入力サイズから選択が可能に
　‐検査対象物の特性に応じた入力サイズを選択できることによって、応用範囲が拡大</li>
</ul>
<p>慢性的な人手不足により、製造業の現場では自動化へのニーズが高まっています。こうした中、製造業の外観検査に特化した「Efficiera異常検知モデル」は学習と推論がともにFPGA搭載小型エッジデバイス上で完結することに加え、学習が数十枚の正常データのみで完了するという特徴によって、現場での実用に即した高セキュリティかつ運用しやすいAI外観検査を実現しています。今回のアップデートでは汎用性を更に高め、異常検知精度の向上と高解像度画像の入力を可能にしたほか、検査ニーズに合わせて画像入力サイズが選べるようになりました。自動車のエンジンやプリント基板の外観検査といった複雑な検査対象物や、広い領域を細かく検査する必要がある検査対象物への対応が可能です。複数の入力サイズを揃えたことで検査対象物の特性や検査方法などに合わせて選択できるようになり、応用範囲が広がりました。製造業の外観検査には様々な検査対象や検査方法がある中、アップデートによって現場の多様なニーズに応え、AIの普及をさらに促進します。また、8月より開始した、企業からデータセットをお借りしてLeapMindが学習と評価を代行するPoC代行サービスをEfficiera 異常検知モデルにも拡大し、エッジデバイスへのAI導入のハードルを下げ、国内のAI普及を促進します。
LeapMindは今後も「次世代の情報端末を実現するためのキーテクノロジーを提供する」というビジョンのもと、エッジAIの実用化による、人々のより便利な暮らしの実現に貢献していきます。</p>
<h2 id="efficiera異常検知モデルについて">「Efficiera®異常検知モデル」について</h2>
<p>超低消費電力AIアクセラレータIP「Efficiera®」の、外観検査に特化したディープラーニングモデルです。
下記の特徴により、現場への迅速で簡便なAI導入を実現します。</p>
<ul>
<li>正常データのみで学習が完了
　‐学習時に外部委託することの多いアノテーション作業が不要
　‐多量の不良品データの準備も不要な上、数秒で学習が完了するため現場への迅速なAI導入が可能</li>
<li>学習と推論がともにFPGA搭載のエッジデバイス上で完結
　‐画像データの社外送信が不要なため、情報漏えいリスクの低減、煩雑な秘密保持契約が不要
　‐ネットワーク環境のない場所での利用も可能</li>
<li>AIエンジニアがいなくても、現場で再学習可能
　‐ヒートマップで異常箇所を分かりやすく視覚化。IT人材の確保が困難な企業でも利用可能</li>
</ul>
<h2 id="efficieraについて">「Efficiera®」について</h2>
<p>「Efficiera®」は、FPGAデバイス上もしくはASICデバイス上の回路として動作する、CNNの推論演算処理に特化した超低消費電力AIアクセラレータIPです。量子化ビット数を1～2ビットまで最小化する「極小量子化」技術によって、推論処理の大部分を占めるコンボリューションの電力効率と面積効率を最大化するため、最先端の半導体製造プロセスや特別なセルライブラリを使用する必要がありません。本製品を利用することで、家電製品などの民生機器、建設機械などの産業機器、監視カメラ、放送機器をはじめ、従来は技術的に困難であった電力とコスト、放熱に制約のある小型機械やロボットなど、様々なエッジデバイスへディープラーニング機能を組み込むことができます。ディープラーニングモデルは、「物体検知」と「ノイズ低減」、「異常検知」の3種類を提供しています。
製品公式サイトURL：<a href="https://leapmind.io/business/ip/">https://leapmind.io/business/ip/</a></p>
<h2 id="leapmind株式会社について">LeapMind株式会社について</h2>
<p>「機械学習を使った新たなデバイスを、あまねく世に広める」を企業理念に2012年創業しました。累計調達額は49.9億円に達しています。ディープラーニングをコンパクト化する極小量子化技術に強みを持ち、製造業を中心に150社を超える実績を保有しています。次世代の情報端末を実現するためのキーテクノロジーを提供するために、その実現に必要なソフトウェアとハードウェア両面の開発に取り組んでいます。</p>
<p>本社：〒150-0044 東京都渋谷区円山町28-1 渋谷道玄坂スカイビル 3F
代表者：代表取締役CEO 松田 総一
設立：2012年12月
URL：<a href="https://leapmind.io">https://leapmind.io</a></p>
<p>*プレスリリース記載の情報は発表日現在の情報です。</p>

「Efficiera® 異常検知モデル」v1.1を開発

<h2 id="poc代行で企業のai実導入を促進">‐PoC代行で企業のAI実導入を促進‐</h2>
<p>エッジAIのスタンダードを創るLeapMind株式会社（所在地：東京都渋谷区、代表取締役CEO：松田 総一、読み方：リープマインド、以下LeapMind）は、AIの導入検証代行を新たに開始します。LeapMindが提供するAIアクセラレータIP「Efficiera®」用ディープラーニングモデル「Efficiera®物体検知モデル」を対象に実導入を見据えたPoC（概念実証）の代行サービスを行い、AIのさらなる普及を後押しします。</p>
<p><img src="/images/posts/news/7704/8fcee560-.png" alt="Efficiera PoC代行サービスの説明" title="Efficiera PoC代行サービスの説明"></p>
<h2 id="本サービスのポイント">本サービスのポイント</h2>
<p>企業からデータセット*をお借りし、LeapMindが学習と評価を代行。AI導入における企業の下記の課題を解消</p>
<ul>
<li>独自データセットでの実現性を確認したいが、工数が割けない</li>
<li>PoCから実用化までのステップが不明確なので踏み出せない</li>
<li>必要な精度が出なかった場合の改善方法がわからない</li>
<li>実現性評価のための契約締結に時間をかけたくない</li>
</ul>
<p>*AI技術を活用するためには、用途に応じたデータセットが必要となります</p>
<p>人手不足などを背景にAIの活用が注目される一方、日本企業のAI導入は他の先進国に比べて遅れているのが現状です※1。実導入の前段階である概念実証(PoC)は、ライセンス契約締結の手間や、検証に必要となる工数の多さなどが懸念材料となり実施に至らないケースが多く、導入への課題となっています。一方で、実導入前のPoCでは作成したデータセットが課題に対して適切かどうか、実際にAIモデルに対して学習し検証する必要があります。
本サービスは、混雑状況分析の人数カウントや転倒検知などに活用可能で、かつ汎用性の高いFPGA上で高速な物体検知が行える製品として認識されているディープラーニングモデル「Efficiera® 物体検知モデル」を対象に、顧客企業よりデータセットをお借りして学習と評価を実施します。レポートの提供にライセンス契約は不要です。FPGA上で動作するデモプログラムもオプションにて提供可能なほか、デモから実運用への移行を希望される場合には顧客企業に伴走するサポート体制を構築いたします。一連のサービスによってエッジデバイスへのAI導入のハードルを下げ、国内のAI普及を促進します。LeapMindでは、本PoC代行サービスを、他のディープラーニングモデルへも展開する準備をすすめております。</p>
<p>LeapMindは今後も「次世代の情報端末を実現するためのキーテクノロジーを提供する」というビジョンのもと、エッジAIの実用化による人々のより便利な暮らしの実現に貢献していきます。</p>
<p>※1 情報処理推進機構（IPA）「AI白書2020」によると、国内のユーザー企業でAIを導入しているのは4.2%</p>
<h2 id="efficiera-poc代行サービス概要">Efficiera PoC代行サービス概要</h2>
<p>＜ポイント＞</p>
<ul>
<li>データセットをお借りして、LeapMindが学習と評価を実施</li>
<li>レポートの提供にライセンス契約は不要※利用規約への同意が必要</li>
<li>FPGA上で動作するデモプログラムも提供可能です※オプション</li>
<li>デモから実運用への移行も可能</li>
</ul>
<p>＜顧客企業にご準備いただくもの＞</p>
<ul>
<li>データセット：学習・検証・テスト用</li>
<li>評価の目的と優先度</li>
</ul>
<p>＜LeapMindが提供するもの＞</p>
<ul>
<li>レポート：データセットの統計情報、評価条件・推論精度・推論速度</li>
<li>推論結果例：バウンディングボックスを描画した画像または推論結果のテキストデータ</li>
</ul>
<p>本サービスに関しては<a href="mailto:business@leapmind.io">こちら</a>までお問い合わせください。</p>
<h2 id="efficiera-fpga-partner-program2-参画企業paltek様からのエンドースメント">Efficiera FPGA Partner Program※2 参画企業PALTEK様からのエンドースメント</h2>
<p>株式会社PALTEK　<a href="https://www.paltek.co.jp/index.html">https://www.paltek.co.jp/index.html</a>
（半導体製品販売、所在地：神奈川県横浜市、代表取締役社長：福田 光治）
「当社ではFPGA及びSoCをベースとした評価ボードやエッジAI向けに適応型システム オン モジュール等を取り扱っており、小型なSoCにAI処理機能を実装されたいお客様には実装容量が小さい特徴を持ったLeapMind社のIPである「Efficiera®」をご提案差し上げるケースが御座います。
その際にIP自身の性能面や精度面、実際のデータを使用した場合にどうかという議題がお客様から寄せられていましたが、今回新たに用意された「Efficiera PoC代行サービス」により、今後のAI開発がより一層加速していくと期待しております。
第1弾の物体検知から広がり、今後さまざまなモデルに対する検証サービスを展開して頂ける事も期待しております。」</p>
<p>※2 顧客課題を解決可能なAI搭載製品・ソリューションの共創を目的とするプログラム</p>
<h2 id="efficieraについて">「Efficiera®」について</h2>
<p>「Efficiera®」は、FPGAデバイス上もしくはASICデバイス上の回路として動作する、CNNの推論演算処理に特化した超低消費電力AIアクセラレータIPです。量子化ビット数を1～2ビットまで最小化する「極小量子化」技術によって、推論処理の大部分を占めるコンボリューションの電力効率と面積効率を最大化するため、最先端の半導体製造プロセスや特別なセルライブラリを使用する必要がありません。本製品を利用することで、家電製品などの民生機器、建設機械などの産業機器、監視カメラ、放送機器をはじめ、従来は技術的に困難であった電力とコスト、放熱に制約のある小型機械やロボットなど、様々なエッジデバイスへディープラーニング機能を組み込むことができます。ディープラーニングモデルは、「物体検知」と「ノイズ低減」、「異常検知」の3種類を提供しています。
製品公式サイトURL：<a href="https://leapmind.io/products/efficiera-ip/">https://leapmind.io/products/efficiera-ip/</a></p>
<h2 id="leapmind株式会社について">LeapMind株式会社について</h2>
<p>「機械学習を使った新たなデバイスを、あまねく世に広める」を企業理念に2012年創業しました。累計調達額は49.9億円に達しています。ディープラーニングをコンパクト化する極小量子化技術に強みを持ち、製造業を中心に150社を超える実績を保有しています。次世代の情報端末を実現するためのキーテクノロジーを提供するために、その実現に必要なソフトウェアとハードウェア両面の開発に取り組んでいます。</p>
<p>本社：〒150-0044 東京都渋谷区円山町28-1 渋谷道玄坂スカイビル 3F
代表者：代表取締役CEO 松田　総一
設立：2012年12月
URL：<a href="https://leapmind.io">https://leapmind.io</a></p>
<p>*プレスリリース記載の情報は発表日現在の情報です。</p>
<p>製品、サービスに関するお問い合わせ先
LeapMind株式会社
Efficiera事業部　Business Development Team
TEL：03-6696-6267
メール：<a href="mailto:business@leapmind.io">business@leapmind.io</a></p>

News