<p>エッジAIのスタンダードを創るLeapMind株式会社（所在地：東京都渋谷区、代表取締役CEO：松田 総一、読み方：リープマインド、以下LeapMind）は、12月7日（水）～9日（金）にパシフィコ横浜で開催する「国際画像機器展2022」にブースを出展することをお知らせいたします。</p>
<p>「国際画像機器展2022」は、国内最大・最先端のマシンビジョンが集う展示会です。ウィズコロナ時代において新たな価値観も生まれ、社会経済活動の再開・活性化が強く期待される中、人、モノ、情報が集う場所としてビジネスマッチングの場を創出します。ロボットビジョン、メディカル、セキュリティ、3次元、ITS、ディープラーニング、インフラ整備などさまざまな分野から多くのマシンビジョン関連の企業が出展するほか、44回目の開催となる今年は、【ロボティクステクノロジーゾーン】を新設しました。生産性向上・品質向上・省人化・自動化に寄与するロボット部品／材料、ロボット制御、自動化システム／RPA、その他ロボット関連の製品・サービスにスポットを当てます。
LeapMindはAI/ディープラーニング分野の企業としてブースを出展し、ディープラーニングモデル「Efficiera ノイズ低減モデル」「Efficiera 異常検知モデル」のデモを公開します。暗い場所で撮影されたノイズの多い画像を鮮明な画質へ改善する高画質化する「Efficiera ノイズ低減モデル」については、最新デモ動画を公開します。製造業の外観検査に特化した「Efficiera 異常検知モデル」では、「学習データが揃わない」「データを外部に出せない」「AIの専門知識がない」などの現場の課題に対し、AIの導入から継続的なAI改善まで、現場で完結できるLeapMind独自の外観検査のリアルタイムデモを展示いたします。</p>
<p>LeapMindは今後も「次世代の情報端末を実現するためのキーテクノロジーを提供する」というビジョンのもと、エッジAIの実用化による、人々のより便利な暮らしの実現に貢献していきます。</p>
<h2 id="国際画像機器展2022概要">「国際画像機器展2022」概要</h2>
<p>日時：2022年12月7日（水）～9日（金）10：00～17：00
場所:パシフィコ横浜 展示ホールD
内容: 国内外のマシンビジョン・画像関連団体や企業によるブース展示、セミナー、講演
主催：アドコム・メディア
参加費：無料（事前登録制）
申し込み方法：<a href="https://www.adcom-media.co.jp/ite/registry/">https://www.adcom-media.co.jp/ite/registry/</a></p>
<h2 id="国際画像機器展2022">「国際画像機器展2022」</h2>
<p>国内最大・最先端のマシンビジョンが集う展示会です。ロボットビジョン、メディカル、セキュリティ、3次元、ITS、ディープラーニング、インフラ整備などさまざまな分野から多くのマシンビジョン関連の企業が出展します。展示ホールに隣接された会場では国際画像セミナーを開催し、マシンビジョンに最前線で関わる専門家による最新の話題や、出展企業による市場動向などについての講演も行います。</p>
<h2 id="leapmind株式会社について">LeapMind株式会社について</h2>
<p>「機械学習を使った新たなデバイスを、あまねく世に広める」を企業理念に2012年創業しました。累計調達額は49.9億円に達しています。ディープラーニングをコンパクト化する極小量子化技術に強みを持ち、製造業を中心に150社を超える実績を保有しています。次世代の情報端末を実現するためのキーテクノロジーを提供するために、その実現に必要なソフトウェアとハードウェア両面の開発に取り組んでいます。</p>
<p>本社：〒150-0044 東京都渋谷区円山町28-1 渋谷道玄坂スカイビル 3F
代表者：代表取締役CEO 松田　総一
設立：2012年12月
URL：<a href="https://leapmind.io">https://leapmind.io</a></p>
<p>*プレスリリース記載の情報は発表日現在の情報です。</p>
<p>報道関係　お問い合わせ先
LeapMind株式会社
Marketing &#x26; Communication Group　広報担当
TEL：03-6696-6267
メール：<a href="mailto:pr@leapmind.io">pr@leapmind.io</a></p>

12月7日（水）～9日（金）の「国際画像機器展2022」に出展 暗所の画像を鮮明化する「Efficiera ノイズ低減モデル」最新デモ動画を公開 「Efficiera 異常検知モデル」による外観検査デモも紹介

<p>エッジAIのスタンダードを創るLeapMind株式会社（所在地：東京都渋谷区、代表取締役CEO：松田 総一、読み方：リープマインド、以下LeapMind）は、11月25日（金）に川崎市コンベンションホールとオンラインにて開催する「Design Solution Forum 2022」に参加することをお知らせいたします。代表取締役CEOの松田総一が講演するほか、オンライン展示も行います。</p>
<p>Design Solution Forumは、組み込みシステムにおけるソフトウェアおよびハードウェアのデザイン手法をエンジニア同士で議論する場として、2014年にスタートした技術フォーラムです。今年は川崎市コンベンションホールとオンラインによるハイブリッド開催とし、AIや組み込み技術に関する講演などを行います。このほか、会場限定の特別企画としてAIカーの製作体験や、講演者らのおすすめの本を紹介する書籍展示などを行います。
LeapMindからは代表取締役CEOの松田総一が、「エッジハードウェアの性能限界において、AIを実用化するために必要な極小量子化技術について」と題して録画講演します。LeapMindではAIの実用化と普及への貢献を掲げ、ディープラーニングモデルの軽量化手法の１つである量子化技術を研究・開発しています。講演では量子化を突き詰めて計算処理の高速化を実現したLeapMindのコア技術「極小量子化技術」について紹介します。さらに、同技術を活用する超低消費電力AIアクセラレータIP「Efficiera」について、実用化に向けた取り組みの概要と事例について解説します。
オンライン展示では、LeapMindが一部協力した産官学共同プロジェクトを動画でご紹介します。国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO)と、産業技術総合研究所（産総研）、国立大学法人東京大学（東京大学）が共同で構築に取り組んでいるAIアクセラレータ開発のための評価プラットフォームで、LeapMindはAIアクセラレータ提供企業として協力しています。LeapMindのAIアクセラレータIP「Efficiera」が搭載されている同プロジェクトの実証チップ「AI-One」で、「Efficiera」が安定動作する様子をご覧いただけます。</p>
<p>LeapMindは今後も「次世代の情報端末を実現するためのキーテクノロジーを提供する」というビジョンのもと、エッジAIの実用化による、人々のより便利な暮らしの実現に貢献していきます。</p>
<h2 id="design-solution-forum-2022概要">「Design Solution Forum 2022」概要</h2>
<p>日時：2022年11月25日（金）
セミナー 9:50-17:10, 交流会 17:20-19:00（現地会場のみ）
LeapMind CEO 松田総一の録画講演は12:40〜13:10、Room E
場所:川崎市コンベンションホール（〒211-0063　川崎市中原区小杉町2丁目276番地1 パークシティ武蔵小杉 ザ ガーデン タワーズイースト2階）
内容:基調講演、ゲスト講演、AIカー製作体験、書籍展示
見どころ:
・製造業系YouTuber ものづくり太郎による基調講演　「日本に必要なビジョナリーとは？」
・5つの講演会場で計44セッションの講演
・36社のスポンサー企業
・賞品付き名刺交換会、食事付き交流会、プレゼント抽選会の開催（講演会場のみ）
・特別企画
　1. AIカー製作体験：ラズパイで走るAIミニ四駆「TatamiRacer」
　2. DSF選書：DSF参加者に今読んで欲しい一冊
　3. DSF×アダプティブコンピューティング研究推進体(ACRi）コラボ企画
本音で語ろう！日本のものづくりとエンジニアはどうなる！？
タイムテーブル:<a href="https://dsforum.jp/2022/seminer/">https://dsforum.jp/2022/seminer/</a>
主催：特定非営利活動法人DSF
参加費：無料（事前登録制）
申し込み方法：<a href="https://client.eventhub.jp/ticket/3b7mEKTqR">https://client.eventhub.jp/ticket/3b7mEKTqR</a></p>
<h2 id="design-solution-forum-2022">「Design Solution Forum 2022」</h2>
<p>Design Solution Forumは、組み込みシステムにおけるソフトウェアおよびハードウェアのデザイン手法をエンジニア同士で議論する場として、2014年にスタートした技術フォーラムです。エンジニアの企画によりエンジニアが運営する同フォーラムは、「創ろう、 拡げよう、設計者ネットワーク」を基本コンセプトに、エンジニア同士の情報交流を目的としたセミナー・イベントを毎年開催しています。</p>
<h2 id="leapmind株式会社について">LeapMind株式会社について</h2>
<p>「機械学習を使った新たなデバイスを、あまねく世に広める」を企業理念に2012年創業しました。累計調達額は49.9億円に達しています。ディープラーニングをコンパクト化する極小量子化技術に強みを持ち、製造業を中心に150社を超える実績を保有しています。次世代の情報端末を実現するためのキーテクノロジーを提供するために、その実現に必要なソフトウェアとハードウェア両面の開発に取り組んでいます。</p>
<p>本社：〒150-0044 東京都渋谷区円山町28-1 渋谷道玄坂スカイビル 3F
代表者：代表取締役CEO 松田　総一
設立：2012年12月
URL：<a href="https://leapmind.io">https://leapmind.io</a></p>
<p>*プレスリリース記載の情報は発表日現在の情報です。</p>
<p>報道関係　お問い合わせ先
LeapMind株式会社
Marketing &#x26; Communication Group　広報担当
TEL：03-6696-6267
メール：<a href="mailto:pr@leapmind.io">pr@leapmind.io</a>　</p>

11月25日（金）の「Design Solution Forum 2022」に参加 代表・松田がAIの実用化に向けた「極小量子化技術」の重要性について講演

<p>エッジAIのスタンダードを創るLeapMind株式会社（所在地：東京都渋谷区、代表取締役CEO：松田 総一、読み方：リープマインド、以下LeapMind）は、11月15日（火）～18日（金）にオンラインにて開かれる「インテル® FPGA テクノロジー・デイ 2022」に、協賛企業として参加することをお知らせいたします。</p>
<p><img src="/images/posts/events/7819/0af14296-iftd2022_banner_320x100.png" alt=""></p>
<p>世界で生成されるデジタルデータの量が増大する中、エッジやネットワーク、データセンターのほか、クラウド、AI(人工知能)、IoT、産業機器や車載機器など、幅広い分野でアルゴリズムのアクセラレーターとして演算処理を高速化できるFPGA(フィールド・プログラマブル・ゲート・アレイ)の採用が拡大しています。こうした中、「インテル® FPGA テクノロジー・デイ 2022」では、FPGA 製品およびソリューションの最新情報をパートナー各社のソリューション、お客様製品での採用事例とともにオンライン講演にて紹介いたします。
LeapMindは協賛企業として参加し、製造現場で学習・調整ができる「Efficiera 異常検知モデル」によるエッジAI外観検査をご紹介します。「Efficiera 異常検知モデル」は正常データのみでAIの学習が可能なほか、エッジデバイス上で学習と推論が完結するのが特徴です。プレゼンテーションでは「Efficiera 異常検知モデル」の特徴や性能について、複数の検査例のデモ動画をお見せしながらご説明します。このほか、LeapMindのプロモーションページでは超低消費電力AIアクセラレータ「Efficiera」の最新開発状況についてもご紹介いたします。</p>
<p>LeapMindは今後も「次世代の情報端末を実現するためのキーテクノロジーを提供する」というビジョンのもと、エッジAIの実用化による、人々のより便利な暮らしの実現に貢献していきます。</p>
<h2 id="インテル-fpga-テクノロジーデイ-2022概要">「インテル® FPGA テクノロジー・デイ 2022」概要</h2>
<p>日時：2022年11月15日（火）～18日（金）※12月30日（金）までオンデマンド配信
場所：オンライン開催
内容：基調講演、インテル講演、ゲスト講演、パートナー講演
主催：インテル株式会社
参加費：無料（事前登録制）
申し込み方法：<a href="https://webinar.intel.com/IFTD2022_JP_REG">https://webinar.intel.com/IFTD2022_JP_REG</a></p>
<h2 id="インテル-fpga-テクノロジーデイ-2022">「インテル® FPGA テクノロジー・デイ 2022」</h2>
<p>FPGA 製品およびソリューションの最新情報を、パートナー各社のソリューション、お客様製品での採用事例とともに紹介するオンラインイベントです。</p>
<h2 id="leapmind株式会社について">LeapMind株式会社について</h2>
<p>「機械学習を使った新たなデバイスを、あまねく世に広める」を企業理念に2012年創業しました。累計調達額は49.9億円に達しています。ディープラーニングをコンパクト化する極小量子化技術に強みを持ち、製造業を中心に150社を超える実績を保有しています。次世代の情報端末を実現するためのキーテクノロジーを提供するために、その実現に必要なソフトウェアとハードウェア両面の開発に取り組んでいます。</p>
<p>本社：〒150-0044 東京都渋谷区円山町28-1 渋谷道玄坂スカイビル 3F
代表者：代表取締役CEO 松田　総一
設立：2012年12月
URL：<a href="https://leapmind.io">https://leapmind.io</a></p>
<p>*プレスリリース記載の情報は発表日現在の情報です。</p>
<p>報道関係　お問い合わせ先
LeapMind株式会社
Marketing &#x26; Communication Group　広報担当
TEL：03-6696-6267
メール：<a href="mailto:pr@leapmind.io">pr@leapmind.io</a>　</p>

11月15日（火）～18日（金）の「インテル® FPGA テクノロジー・デイ 2022」に参加 製造業の外観検査に特化したAI「Efficiera® 異常検知モデル」の検査例をご紹介

<p>今回は、NR Product Biz Team でご活躍中のYさんに、入社決定に至った経緯やLeapMindでの業務についてをお話しいただきました！</p>
<h2 id="担当の業務内容範囲を教えてください">担当の業務内容、範囲を教えてください。</h2>
<p>画像処理モデルをメインに、LeapMindの製品全般のビジネス開発を担当しています。
見込みユーザーのお客様に会社概要や製品説明を行い、お客様が抱える課題をどのように自社の製品で解決できるか、ビジネス面と技術面の両面からソリューションをご提案します。
また、新規に企画された製品や事業のコンセプトが市場ニーズとマッチするよう、お客様からいただいたフィードバックを基に、製品仕様や販売戦略の立案も行います。時には、トライアンドエラーを繰り返しながら内容をブラッシュアップしていくこともあります。</p>
<p>その他、展示会やウェビナーで会社や製品のプロモーションを行ったり、マーケティングチームとプロモーションプランを検討したりと、業務は多岐にわたります。</p>
<h2 id="前職含め職務経歴を教えてください">前職含め、職務経歴を教えてください。</h2>
<p>前職では外資系半導体ベンダーでポストセールスのサポートエンジニアとして働いていました。実装中のプロセッサや製品化されたチップについて、技術的な質問や不具合報告を、メールやオンサイトでサポートする役割でした。</p>
<p>それ以前は、日系企業で組み込み系システムのソフトウェアエンジニアやプロジェクトマネージャーとしてシステム開発に長く携わっていました。技術的な知見を深めることができる一方で、お客様の声からは遠いと感じていました。</p>
<p>前職では、サポート業務を通じて、製品の改善や将来の会社の方向性を定めるのにお客様からのフィードバックが重要だということを実感しましたが、プロセッサは最終製品の一部品のため、エンドユーザーの声や市場ニーズを知ることからは遠い立場にあったと思います。</p>
<p>自社の製品がどう使われどんな課題を解決するのかを、よりお客様に近い立場で検討したいと思い、AIのソフトウェア・ハードウェアの両方を手がけるLeapMindに転職しました。</p>
<p><img src="/images/posts/news/employee-k-y/y2.jpg" alt="y-san2" title="y-san2"></p>
<h2 id="lmの良いところを教えてください印象は変わりましたか">LMの良いところを教えてください。印象は変わりましたか。</h2>
<p>人が素晴らしいです。国籍や年齢、バックグラウンドが様々ですが、垣根なくフラットなコミュニケーションが取れます。現在は、6か国出身のメンバーとともに英語と日本語を交えて仕事を推進しています。小さな会社ですが、各部門にその分野でのエキスパートが集まっていて本当に優秀な方ばかりですので、難しい課題に直面した時は一人で煮詰まらず誰かに相談するようにしています。コミュニケーションツールも充実していて、皆さん快く助けてくれるので、リモート環境でも安心です。
非エンジニアでもエンジニアの方が開催する勉強会などを通じて技術をキャッチアップできますし、社内のほとんど全ての情報がオープンですので、必要に応じて技術資料を確認したりエンジニアのミーティングに参加したりと、業務を通じて技術的な知見が深まる点も魅力の一つです。</p>
<h2 id="bizdevとしてlmで働く魅力他社にない良い点を教えてください">BizdevとしてLMで働く魅力、他社にない良い点を教えてください。</h2>
<p>お客様に近い立場で、ビジネス面と技術面の両方の知識や経験を深めることができる点がBizdevの魅力です。自社の製品がどんなユーザーに使われ、どのような課題を解決するのか、ユーザーとも社内のメンバーとも密にコミュニケーションを取りながら最適な解を見つけていく部分にやりがいを感じています。</p>
<p>また、業務が多岐に渡るため、エンジニアチームをはじめ、マーケティング、法務、知財などあらゆる部門と連携して仕事を進めます。自身の職務のみに留まらず、会社として必要なタスクに優先度をつけてプロアクティブに取り組む必要がありますが、大企業では知り得なかった他部門の業務や会社運営についても身近に知ることができて大変勉強になります。</p>
<p>新たな取り組みの際には制度やプロセスが無いこともありますが、新しいルール作りに一から参加できるというのはスタートアップ企業ならではの面白さだと感じています。</p>
<h2 id="ワークライフバランスが取りやすいと感じたエピソードはありますか">ワークライフバランスが取りやすいと感じたエピソードはありますか？</h2>
<p>フルフレックスのため、目標に対してしっかり積み重ねていくことは大前提ですが、比較的自分のペースで仕事を行うことができています。趣味の旅行や音楽ライブに行くために早めに業務を切り上げることもありますが、その場合は業務開始を早めたり、前日までに予定タスクを終わらせておいたり、と調整しながら進められる点が気に入っています。
現在はほぼリモートワークで働いていますが、コロナ禍を経て以前よりも出社する機会も増えハイブリッドなど自由に選択しています。
最近では会社のメンバーとお酒を飲みにいく機会も増え、対面でのコミュニケーションも活発にとれるようになってきて充実しています。　</p>
<p><img src="/images/posts/news/employee-k-y/y3.jpg" alt="y-san3" title="y-san3"></p>
<h2 id="最後に自由に一言お願いします">最後に自由に一言お願いします。</h2>
<p>Generative AIの普及によりAIがより身近なものになりつつありますが、同時に膨大な電力消費という課題にも直面しています。LeapMindは、高性能でありながら低消費電力を実現するAI技術で、真に実用的なAIの社会実装を、ひいては地球にも優しい未来を目指しています。
日々変化する市場動向やニーズを捉えながら、突出した技術で社会課題を解決するチャレンジングな職場です。ぜひLeapMindにご興味をお持ちいただけると嬉しいです。</p>

お客様の声とともに省電力AI半導体拡大の未来を目指して

<p>エッジAIのスタンダードを創るLeapMind株式会社（所在地：東京都渋谷区、代表取締役CEO：松田 総一、読み方：リープマインド、以下LeapMind）は、AIの社会実装をさらに推し進めるため、新たな事業戦略を策定し、社外取締役として比戸 将平氏を迎え入れ経営布陣を強化、新組織体制へ移行したことをお知らせします。新しい事業戦略においては、弊社が長年取り組んでいる量子化技術をベースに、急速に進展する大規模言語モデルなどのAIモデルを処理するために最適なハードウェア、ソフトウェア両面の技術開発に取り組んでいきます。そして、新体制の元、進化を続けるAI市場の動きに対し、迅速かつ柔軟な対応を行い、事業戦略の展開に邁進いたします。</p>
<h2 id="新体制の背景">新体制の背景</h2>
<p>LeapMindは、創業以来「機械学習を使った、今までにないデバイスをあまねく世に広める」ことをミッションに、AI技術の手法としての量子化技術に特化した研究開発と独自開発したAIアクセラレータの半導体設計を行う世界でも数少ない企業として、大手企業との共同開発を通し、長年研究開発を続けてまいりました。<br>
AI技術がさまざまな形で急速に人々の生活に浸透してきている現在、AIモデルの大規模化に伴う計算量増大と、それを処理する大型システムの電力効率に対する課題は、今後ますます重要視されると考えています。これらの課題を解決するためには、当社がこれまで培ったAIハードウェア、ソフトウェア技術両面での研究開発を活かし、ビジネス開拓をこれまで以上のスピード感を以て推し進め、実社会への展開を加速させることを目的とした経営体制を強化する必要がありました。そして、この度、当社経営陣に産業界への展開にも造詣の深い比戸将平氏をお迎えし、体制の強化を図るに至っています。　</p>
<p>比戸将平氏は、機械学習研究と人工知能技術の産業応用を専門として、国内のみならず海外においても高い専門性を発揮されてきました。また、この分野を通しての幅広いネットワークは、私たちの経営チームに大きな価値をもたらすものと確信しています。</p>
<h2 id="新役員体制">新役員体制</h2>








































<table><thead><tr><th align="center">氏名</th><th align="center">役職名</th><th align="center">種別</th></tr></thead><tbody><tr><td align="center">松田　総一　（まつだ　そういち）</td><td align="center">代表取締役 CEO</td><td align="center">現職</td></tr><tr><td align="center">徳永　拓之　（とくなが　ひろゆき）</td><td align="center">取締役 CTO</td><td align="center">現職</td></tr><tr><td align="center">阿部　剛士　（あべ　こうじ）</td><td align="center">社外取締役</td><td align="center">現職</td></tr><tr><td align="center">小林　徳弘　（こばやし　とくひろ ）</td><td align="center">社外取締役</td><td align="center">現職</td></tr><tr><td align="center">古川　徳厚　（ふるかわ　のりあつ）</td><td align="center">社外取締役</td><td align="center">現職</td></tr><tr><td align="center">比戸　将平　（ひど　しょうへい）</td><td align="center">社外取締役</td><td align="center">新任</td></tr></tbody></table>
<h2 id="比戸将平ひどしょうへい氏からのコメント">比戸　将平（ひど　しょうへい）氏からのコメント</h2>
<div style="display:flex;gap:16px;">
  <div>「企業に競争力をもたらす最先端AIモデルの構築と運用にかかる計算量は、大規模言語モデルに代表される基盤モデルの急速な発展により、加速度的に増大しています。LeapMindはその要である深層学習アルゴリズムの効率的な実行と社会実装に一貫して取り組んでいる、日本で最も先進的なエッジAIスタートアップとして創業以来ウォッチしており、今回縁あってその経営陣の末席に加われたことを大変嬉しく思います。私がこれまでのキャリアで学んだ様々な業界におけるAI活用のノウハウを、社外取締役の立場から提供することにより、LeapMindとそのお客様のビジネス革新に貢献して参ります。」</div>
  <div><img style="margin:0;" alt="Profile_Hido-san" src="/images/posts/news/20230817/Hido_edit_bluebg.jpg"></div>
</div>
<p><strong>・略歴</strong>
2006年京都大学大学院情報学研究科修士修了。日本IBM東京基礎研究所、株式会社Preferred Infrastructure、Preferred Networks America、株式会社Preferred Networks 執行役員を経て、現在ダイキン株式会社 テクノロジー・イノベーションセンター技師長。2023年5月末よりLeapMind株式会社 社外取締役に就任。</p>
<p>LeapMindは今後も「次世代の情報端末を実現するためのキーテクノロジーを提供する」というビジョンのもと、エッジAIの実用化による、人々のより便利な暮らしの実現に貢献していきます。</p>
<h2 id="leapmind株式会社について">LeapMind株式会社について</h2>
<p>2012年に創業したLeapMindは、「機械学習を使った新たなデバイスを、あまねく世に広める」を企業理念に、AIをコンパクト化する極小量子化技術と独自に開発したAIアクセラレータの半導体設計を行う世界でも数少ない企業として、主にコンシューマエレクトロニクスや自動車産業など製造業中心に、ソリューション提供を行ってきました。次世代の情報端末を実現するためのキーテクノロジーを提供するため、その実現に必要なソフトウェアとハードウェア両面の開発に取り組んでいます。LeapMindの事業は高く評価されており、累計調達額は49.9億円に達しています（2023年6月現在）。詳細はこちらをご参照ください(<a href="https://leapmind.io/">https://leapmind.io/</a>)</p>
<p>本社：〒150-0044 東京都渋谷区円山町28-1 渋谷道玄坂スカイビル 3F
代表者：代表取締役CEO　松田 総一
設立：2012年12月
URL：<a href="https://leapmind.io">https://leapmind.io</a></p>
<ul>
<li>プレスリリース記載の情報は発表日現在の情報です。</li>
</ul>
<p>報道関係　お問い合わせ先
LeapMind株式会社
Marketing &#x26; Communication Group　広報担当
TEL：03-6696-6267
メール：<a href="mailto:pr@leapmind.io">pr@leapmind.io</a>　</p>

LeapMind、AIの社会実装加速を目指し新組織体制を構築

<p>AIのスタンダードを創るLeapMind株式会社（所在地：東京都渋谷区、代表取締役CEO：松田 総一、読み方：リープマインド、以下LeapMind）は、同社のコア技術である極小量子化技術を使った超低消費電力AIアクセラレータIP「Efficiera」（エフィシエラ）で業界トップクラスとなる電力効率、107.8TOPS/W*1,2を達成しました。これを現在市場にあるデバイスと比較すると、GPUの場合で1~5TOPS/W、エッジ向けAIアクセラレータでも20TOPS/W程度となっており、当社の「Efficiera」は、同じ消費電力での性能がこれらのデバイスの約5〜100倍となることを意味します。</p>
<h1 id="aiタスクの大規模化に伴うハードウェアの課題">AIタスクの大規模化に伴うハードウェアの課題</h1>
<p>近年、様々なデバイスでAIタスクの実行が実用化されていますが、AIタスクは年々大規模化、複雑化しています。OpenAI社の分析*3によると、2012年以降、AI処理で使用される計算量は、3-4ヶ月で2倍の速度で指数関数的に急増しており（ムーアの法則は2年で2倍）、現在の処理能力をはるかに超えたシステムに備える価値がある、としています。また、このようなAIタスクの処理は、GPUなどのカスタムハードウェアやより多くのチップを並列に使うことで推進されてきた、とも分析しています。これは、エッジAIの実用化にとって、二つの技術的な課題を示唆します。ひとつは、AIタスクが複雑化・大規模化しており、AIによる学習時・推論時に必要とされる演算性能が従来以上に非常に高くなっているということ、ふたつ目は、複雑なAIタスクを処理するような高性能AIチップを搭載するデバイスの消費電力です。スマートフォンやARグラスでAIタスクを安定的に処理するためにAIチップが消費可能な電力は1W未満、高度なAI処理を必要とする自動運転では25W程度となっており、エッジAIには高い電力効率も求められます。（図1)
これらの事実は、スペース制約のあるエッジデバイス上でリアルタイムかつ安定的にAI処理を実行するためには、高い省電力性と計算処理能力の両立が必須であることを表しています。</p>
<p><img src="/images/posts/news/230801/01.png" alt="AIタスクと要求性能の図">
図1　AIタスクと要求性能　</p>
<p><img src="/images/posts/news/230801/02-ja.png" alt="電力効率比較図">
参考：電力効率比較（自社調べ）</p>
<h1 id="低ビット量子化技術とefficieraによるエッジaiの実用化">低ビット量子化技術と「Efficiera」によるエッジAIの実用化</h1>
<p>ディープラーニングを使った演算では、通常、精度を確保するために32ビットの浮動小数点数（FP32）で計算されます。しかし、この方法では行列演算（積和演算）が繰り返されるため、多くの演算リソースが必要となり、メモリや電力に制約のある、かつリアルタイム実行が求められるエッジデバイスでAIタスクを実行するためには、ソフトウェア、ハードウェアの両方でいくつかの重要な要件を満たす必要があります。
まず、ソフトウェア要件として、モデルの軽量化とFP32と同等のモデル精度、AIアクセラレータの実行効率を最大化するためのモデルコンバートが挙げられます。また、ハードウェア要件としては、低消費電力、様々なAIタスク実行のための高い性能、少ないメモリ帯域と少ないメモリ使用量があります。</p>
<p>エッジAIを実現するためには、これらの要求を全て同時に満たすことが必要ですが、一般的なアプローチでは、まずモデルの軽量化には量子化という手法が用いられます。スマートフォンのようなエッジデバイスで動作するAIモデルの軽量化は、8bit量子化が一般的ですが、これでも消費電力や発熱の観点から、実行可能なAIタスクは、物体検知や静止画の画像処理などに留まっていることが現状です。様々なAIタスクを実行するためには、このAIタスクの規模に対して、それを支える電力効率、ハードウェア性能が十分ではないことが課題となっているのです。</p>
<p>これに対し、当社は、あらゆるデバイスでのAI実用化を目指し、ソフトウェアとハードウェア両方に対する要求を、当社の強みである「極小量子化」技術を用いて実現しています。
ソフトウェア面での取り組みとして、モデルの軽量化にこの極小量子化を用い、1bit weight x 2bit activationという超低ビット量子化を実現し、特許を取得した独自の量子化技術により、精度低下を最小限に抑えた低ビット量子化に成功しています。また、「Efficiera」専用のモデルコンバーターにより、演算効率の最適化とメモリ転送量の最適化を行い、ハードウェアの実行効率を最大限に高めることを実現しています。さらに、極小量子化モデルを効率的に実行するためのハードウェアとしてAIアクセラレータ「Efficiera」の開発を進めてきています。当社の極小量子化技術により、行列演算が単純な論理演算で表現できるため、小さな回路面積で高い演算効率を備えています。推論実行時のDRAMメモリ転送データは、1,2bitのため、データ圧縮を利用した際と同等レベルのデータサイズとなり、メモリ使用量およびメモリ帯域を削減することができます。
このように、極小量子化技術を活用することで、量子化による精度低下を抑えつつ、電力効率、演算効率、面積効率を高めることが可能となっています。</p>
<h1 id="leapmind-ceo-松田総一のコメント">LeapMind CEO 松田総一のコメント</h1>
<p>「当社はAIの実用化に向けて、AI技術の手法としての量子化技術に特化した研究開発と独自開発したAIアクセラレータの半導体設計を行う世界でも数少ない企業として、大手企業との共同開発を通し、長年研究開発を続けてまいりました。AIアクセラレータによる高い電力効率とAIタスク処理性能の両立は、AIの社会実装にとって必須です。そして、今回当社では、従来のGPUやNPUを電力効率面ではるかに上回る、107.8TOPS/Wという電力効率を達成することができました。これにより、AIを広く世に広めるための重要なマイルストンを達成したと考えております。今後もお客様の課題解決に努め、AI技術の進化に貢献できるよう研究開発を進めてまいります」</p>
<p><strong>Efficieraに関する詳細は、当社ウェブサイトでご確認ください。</strong>
<a href="https://leapmind.io/products/efficiera-ip/">https://leapmind.io/products/efficiera-ip/</a></p>
<p><strong>補足</strong>
*1  Cadence社 Genus Synthesis Solutionを使った論理合成結果からの見積もり値となります。動作条件は以下の通りです。
・IP単体の電力から計算 (DRAM 、メインバス・プロセッサなど他のサブシステムの電力は含みません)
・プロセス: 7nm
・動作周波数：533MHz
・電源電圧: Center
・温度: 25℃
・MAC使用率: 75.8%
*2  TOPS/W: 消費電力1Wあたりの処理性能（TOPS: tera operations per second）として電力効率を表す単位です。この数値が大きいほど、省電力で処理する計算量が大きいことを表します。
*3 <a href="https://openai.com/research/ai-and-compute">https://openai.com/research/ai-and-compute</a></p>
<h2 id="leapmindについて">LeapMindについて</h2>
<p>2012年に創業したLeapMindは、「機械学習を使った新たなデバイスを、あまねく世に広める」を企業理念に、AIをコンパクト化する極小量子化技術と独自に開発したAIアクセラレータの半導体設計を行う世界でも数少ない企業として、主にコンシューマエレクトロニクスや自動車産業など製造業中心に、ソリューション提供を行ってきました。次世代の情報端末を実現するためのキーテクノロジーを提供するため、その実現に必要なソフトウェアとハードウェア両面の開発に取り組んでいます。LeapMindの事業は高く評価されており、累計調達額は49.9億円に達しています（2023年6月現在）。詳細はこちらをご参照ください(<a href="https://leapmind.io/">https://leapmind.io/</a>)</p>
<p>本社：〒150-0044 東京都渋谷区円山町28-1 渋谷道玄坂スカイビル 3F
代表者：代表取締役CEO 松田 総一
設立：2012年12月
URL：<a href="https://leapmind.io">https://leapmind.io</a></p>
<p>*社名、ロゴ、文中の製品名はLeapMind株式会社の商標または登録商標です。
*プレスリリース記載の情報は発表日現在の情報です。</p>
<p>お問い合わせ先
LeapMind株式会社
マーケティングコミュニケーショングループ　広報担当
TEL：03-6696-6267
メール：<a href="mailto:pr@leapmind.io">pr@leapmind.io</a></p>

LeapMind、超低消費電力AIアクセラレータIP「Efficiera」
業界トップクラスの電力効率 107.8TOPS/Wを達成

外観検査向け異常検知手法に関する論文紹介: EfficientAD

<p>LeapMindの花元です。</p>
<p>異常検知、してますか？</p>
<p>学習済み深層学習モデルを使って外観検査向け異常検知をしたいけど、良い感じの特徴量が得られなくて困ること、長い人生で、たまにはありますよね。今日はそんなときに使える外観検査向け異常検知の手法である<a href="https://arxiv.org/abs/2111.07677">FastFlow</a>のアルゴリズムを紹介したいと思います。</p>
<h2 id="背景">背景</h2>
<p><a href="https://techblog.leapmind.io/blog/20220511-hanamoto-survey_on_ad_model/">以前の記事</a>で紹介したとおり、近年、外観検査向け異常検知の手法として、画像の特徴を得るために学習済み深層学習モデルを用いる手法が多く提案されています。これらの手法では、訓練データから学習済み深層学習モデルを用いて特徴量を取得し、推論時に対象となる画像から得られた特徴量が、訓練データにおける特徴量の分布からどの程度離れているかを、何らかの基準に基づいて算出します。例えば、<a href="https://arxiv.org/abs/2011.08785">PaDiM</a>では「何らかの基準」としてマハラノビス距離を用いますが、これは訓練データから得られる特徴量の分布が多変量正規分布に従うことを仮定しています。経験的に、多くのデータセットに対してこの仮定を置いて問題ないことが分かっていますが、訓練データの特徴量の分布が多変量正規分布から大きく外れるようなデータセットの場合、うまく動かない場合があります。</p>
<p>うまく動かない可能性があるデータセットの例として、訓練データに複数種類の画像がある場合が挙げられます。例えば訓練データに「赤りんご」と「洋梨」があり、「和梨」を異常として検知したいケースを考えます。この場合、訓練データに「赤りんご」と「洋梨」の2種類があるため、得られる特徴量の分布に多峰性が生じると考えられます。この場合、マハラノビス距離は訓練データの平均と共分散のみを用いて算出されるため、訓練データにほとんど出現しなかったような特徴量（例えば和梨）であったとしても距離が小さい（＝正常である）と計算されてしまうことがあります（図1）。</p>
<p><img src="/images/posts/techblog/20230120-introduction_to_fastflow/mahalanobis.png" alt="mahalanobis">
図1: マハラノビス距離を使った異常検知がうまくいく例（左図）とうまくいかない例（右図）。左図では、トレーニング画像にりんごのみを用いているとする。左図のように訓練データから得られた特徴量の分布が正規分布に近い場合、推定された確率密度関数が訓練データの分布に近い形になるため、高い異常検知性能が得られることが期待できる。一方で、右図のように、訓練データから得られた特徴量の分布に多峰性があるなど、正規分布から離れている場合、推定された確率密度関数が訓練データの分布と離れた形になり、高い異常検知性能が得られない場合がある。</p>
<p><a href="https://arxiv.org/abs/2111.07677">FastFlow</a>では、この問題に対処するために、Normalizing Flowと呼ばれる技術を用いて、訓練時に訓練データから得られた特徴量の分布を、扱いやすい分布（正規分布）に変換できるようなニューラルネットワークを作っていきます。</p>
<h2 id="アルゴリズム">アルゴリズム</h2>
<p><a href="https://arxiv.org/abs/2111.07677">FastFlow</a>は</p>
<ul>
<li>画像の特徴抽出</li>
<li>2D Flow Model</li>
</ul>
<p>の2点から構成されます。これらを順に説明していきます。</p>
<h3 id="画像の特徴抽出">画像の特徴抽出</h3>
<p><a href="https://arxiv.org/abs/2111.07677">FastFlow</a>では、他の学習済み深層学習モデルを用いる手法と同様に、様々な種類のバックボーンを特徴抽出器として用いることができます。論文中ではViTやResNetを用いて実験を行っています。</p>
<h3 id="2d-flow-model">2D Flow Model</h3>
<p>2D Flowでは画像を特徴抽出器に入力して得られる特徴量の空間から、その分布が扱いやすくなる分布（FastFlowでは正規分布）へ変換する写像<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>f</mi></mrow><annotation encoding="application/x-tex">f</annotation></semantics></math></span></span>を学習します。ここで、画像を特徴抽出器に入力して得られる特徴量の空間<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>X</mi></mrow><annotation encoding="application/x-tex">X</annotation></semantics></math></span></span>、変換後の空間を<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>Z</mi></mrow><annotation encoding="application/x-tex">Z</annotation></semantics></math></span></span>とすると、これらの確率密度関数には以下の等式が成り立ちます。</p>
<div class="math math-display"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><semantics><mtable rowspacing="0.16em" columnspacing="1em"><mtr><mtd class="mtr-glue"></mtd><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow><msub><mi>p</mi><mi>X</mi></msub><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mi>p</mi><mi>Z</mi></msub><mo stretchy="false">(</mo><mi>z</mi><mo stretchy="false">)</mo><mi mathvariant="normal">∣</mi><mi>det</mi><mo>⁡</mo><mo stretchy="false">(</mo><mfrac><mrow><mi mathvariant="normal">∂</mi><mi>z</mi></mrow><mrow><mi mathvariant="normal">∂</mi><mi>x</mi></mrow></mfrac><mo stretchy="false">)</mo><mi mathvariant="normal">∣</mi></mrow></mstyle></mtd><mtd class="mtr-glue"></mtd><mtd class="mml-eqn-num"></mtd></mtr></mtable><annotation encoding="application/x-tex">\begin{equation}
 p_X(x) = p_Z(z)|\det(\frac{\partial z}{\partial x} )|
\end{equation}</annotation></semantics></math></span></div>
<p>上式の対数は以下の通り計算されます。</p>
<div class="math math-display"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><semantics><mtable rowspacing="0.16em" columnspacing="1em"><mtr><mtd class="mtr-glue"></mtd><mtd><mstyle scriptlevel="0" displaystyle="true"><mtable rowspacing="0.25em" columnalign="right left" columnspacing="0em"><mtr><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow><mi>log</mi><mo>⁡</mo><msub><mi>p</mi><mi>X</mi></msub><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></mrow></mstyle></mtd><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow><mrow></mrow><mo>=</mo><mi>log</mi><mo>⁡</mo><msub><mi>p</mi><mi>Z</mi></msub><mo stretchy="false">(</mo><mi>z</mi><mo stretchy="false">)</mo><mo>+</mo><mi>log</mi><mo>⁡</mo><mi mathvariant="normal">∣</mi><mi>det</mi><mo>⁡</mo><mo stretchy="false">(</mo><mfrac><mrow><mi mathvariant="normal">∂</mi><mi>z</mi></mrow><mrow><mi mathvariant="normal">∂</mi><mi>x</mi></mrow></mfrac><mo stretchy="false">)</mo><mi mathvariant="normal">∣</mi></mrow></mstyle></mtd></mtr><mtr><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow></mrow></mstyle></mtd></mtr><mtr><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow></mrow></mstyle></mtd></mtr><mtr><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow></mrow></mstyle></mtd><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow><mrow></mrow><mo>=</mo><mi>log</mi><mo>⁡</mo><msub><mi>p</mi><mi>Z</mi></msub><mo stretchy="false">(</mo><msub><mi>f</mi><mi>θ</mi></msub><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>+</mo><mi>log</mi><mo>⁡</mo><mi mathvariant="normal">∣</mi><mi>det</mi><mo>⁡</mo><mo stretchy="false">(</mo><mfrac><mrow><mi mathvariant="normal">∂</mi><msub><mi>f</mi><mi>θ</mi></msub><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></mrow><mrow><mi mathvariant="normal">∂</mi><mi>x</mi></mrow></mfrac><mo stretchy="false">)</mo><mi mathvariant="normal">∣</mi></mrow></mstyle></mtd></mtr></mtable></mstyle></mtd><mtd class="mtr-glue"></mtd><mtd class="mml-eqn-num"></mtd></mtr></mtable><annotation encoding="application/x-tex">\begin{equation}
\begin{split}
\log p_X(x) &#x26;= \log p_Z(z) + \log |\det(\frac{\partial z}{\partial x} )| \\\\\\
&#x26;=  \log p_Z(f_\theta(x)) + \log |\det(\frac{\partial f_\theta(x)}{\partial x} )|
\end{split}
\end{equation}</annotation></semantics></math></span></div>
<p>ここで、<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>θ</mi></mrow><annotation encoding="application/x-tex">\theta</annotation></semantics></math></span></span>は2D Flow Modelのパラメータとします。学習時には、写像<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>f</mi><mi>θ</mi></msub></mrow><annotation encoding="application/x-tex">f_\theta</annotation></semantics></math></span></span>を用いて得られた分布と目標とする分布（FastFlowでは正規分布）の距離（KL Divergence）を最小化するように学習します。この際、写像<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>f</mi><mi>θ</mi></msub></mrow><annotation encoding="application/x-tex">f_\theta</annotation></semantics></math></span></span>の<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>θ</mi></mrow><annotation encoding="application/x-tex">\theta</annotation></semantics></math></span></span>に関する微分とヤコビアン（<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>det</mi><mo>⁡</mo><mo stretchy="false">(</mo><mfrac><mrow><mi mathvariant="normal">∂</mi><msub><mi>f</mi><mi>θ</mi></msub><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></mrow><mrow><mi mathvariant="normal">∂</mi><mi>x</mi></mrow></mfrac><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">\det(\frac{\partial f_\theta(x)}{\partial x})</annotation></semantics></math></span></span>）を計算する必要が生じます。写像<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>f</mi><mi>θ</mi></msub></mrow><annotation encoding="application/x-tex">f_\theta</annotation></semantics></math></span></span>の<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>θ</mi></mrow><annotation encoding="application/x-tex">\theta</annotation></semantics></math></span></span>に関する微分は、写像<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>f</mi><mi>θ</mi></msub></mrow><annotation encoding="application/x-tex">f_\theta</annotation></semantics></math></span></span>をニューラルネットワークで構築すれば、自動微分により計算することが可能です。一方で、ヤコビアンを愚直に計算しようとすると、行列の大きさを<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>n</mi><mo>×</mo><mi>n</mi></mrow><annotation encoding="application/x-tex">n \times n</annotation></semantics></math></span></span>とした際に<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>O</mi><mo stretchy="false">(</mo><msup><mi>n</mi><mn>3</mn></msup><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">O(n^3)</annotation></semantics></math></span></span>の計算量を要してしまいます。これは計算効率が悪くなってしまうため、ヤコビアンが自明になるように<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>f</mi><mi>θ</mi></msub></mrow><annotation encoding="application/x-tex">f_\theta</annotation></semantics></math></span></span>の構造を設定したものに<a href="https://arxiv.org/pdf/1410.8516.pdf">NICE</a>と呼ばれるネットワークがあり、FastFlowではこのネットワークを2D Flow Modelに採用しています。ネットワークの構造を以下に示します。</p>
<p><img src="/images/posts/techblog/20230120-introduction_to_fastflow/fastflow.png" alt="2D Flow Model">
図2: 2D Flow Modelの構造（論文より引用）</p>
<h2 id="性能比較">性能比較</h2>
<p>論文中では、MVTec ADを対象とした実験で、バックボーンにWide-ResNet50-2を用いた際の平均AUROCが99.3であり、これまでのSoTAである<a href="https://techblog.leapmind.io/blog/20220701-introduction_to_patchcore/">PatchCore</a>を、バックボーンにWide-ResNet50-2を用いて動作させた際のAUROCの99.1を上回っていると主張されています。<a href="https://github.com/openvinotoolkit/anomalib">ANOMALiB</a>による再実装に基づく実験では、FastFlowの平均AUROCが96.3、PatchCoreの平均AUROCが98.0となっており性能が逆転していますが、SoTAに近い異常検知性能が得られているとは言えそうです。</p>
<p>現在のSoTAとされるPatchCoreと性能の点で大きく異なる点は、トレーニング時間と推論時間です。FastFlowでは、トレーニング時にニューラルネットワークのパラメータを学習させる必要があります。一方で、PatchCoreでは特徴ベクトルを抽出し、貪欲法に基づき特徴ベクトルのサブセットを抽出するだけでトレーニングが終了するため、一般にトレーニング時間はPatchCoreの方が速いと言えます。一方で、推論時においては、FastFlowはニューラルネットワークの計算をすることになるため、実行環境にこの計算を速く行う仕組みがあれば（例えばGPUを搭載している）速く推論することが可能です。一方で、PatchCoreでは推論時に、推論ごとに膨大な特徴ベクトルの中からk個の最近傍を得る必要があり、比較的遅くなります。実際、論文中では、FastFlowは、GPUが搭載されている環境において、特徴抽出後の処理時間が画像1枚あたり100ms程度、PatchCoreより速いと主張されています。従って、トレーニング時間と推論時間のどちらを重視するのか、また、推論する際の実行環境に応じて使い分けるのが良いと考えられます。</p>
<h2 id="まとめ">まとめ</h2>
<p>この記事では、学習済み深層学習モデルを用いた外観検査向け異常検知手法であるFastFlowを紹介しました。この手法では、Normalizing Flowと呼ばれる、解析的に表現することが難しい特徴量の分布を解析的に表現することが容易な分布（FastFlowにおいては正規分布）へと変換するニューラルネットワークを用いることで、正常画像における特徴量の分布が複雑な場合においても異常検知の精度を高めることを図っています。</p>
<p>ところで、LeapMindでは異常検知モデルだったり、異常検知とは全く関係ないモデルだったりを開発する機械学習エンジニアを絶賛募集中です！興味のある方は以下からぜひご応募ください！</p>
<p><a href="https://leapmind.io/careers/">https://leapmind.io/careers/</a></p>

外観検査向け異常検知手法に関する論文紹介: FastFlow

<h2 id="概要">概要</h2>
<p>LeapMindの高橋です。現在Efficieraで提供する極小量子化された物体検出(Object Detection)モデルを開発しています。</p>
<p>物体検出モデルはComputer Visionの中でもメジャーな応用で注目度が高い一方、少し調べてみると「アンカーボックス」や「特徴マップピラミッド」など物体検出タスクに特有の概念がいくつも登場するため、とっつきにくい印象を持つかもしれません。</p>
<p>今回取り上げるAnchor Matchingはそんな物体検出モデルに特有な概念の一つで、ここ3年程で研究が特に発展してきたものです。Anchor Matchingについてそれほど日本語の記事はヒットしないのですが、これが分かれば物体検出モデルの全体像も把握しやすいのではないかと思い取り上げます。</p>
<h2 id="物体検出モデルの概略">物体検出モデルの概略</h2>
<p>Anchor Matchingを導入するために、物体検出モデルについて簡単におさらいしましょう。</p>
<p>物体検出タスクは入力画像に含まれる物体の座標(localization)と種類(classification)を同時に推定し、後処理を行い検出結果としてバウンディングボックス:(center_x, center_y, width, height, score, class_id)のリストを出力します。</p>
<p>CNNによる典型的なODモデルのネットワーク構造は以下の3つのサブモジュールから構成されています。</p>
<ol>
<li>Backbone: ResNet50などで入力画像から特徴量を抽出する。</li>
<li>Neck: Backboneから複数スケールの特徴マップを得て変換する。</li>
<li>Head: Neckで得た各特徴マップごとに最終的なバウンディングボックスの出力に合わせて変換する。</li>
</ol>
<p>図示すると次のようになります。</p>
<p><img src="/images/posts/techblog/20220824-shtakahashi-anchor_matching/fpn.png" alt="FPN">
(図1. 文献2より加工して引用。Feature Pyramid Networks (FPNs)を採用した典型的なODモデルの例。)</p>
<p>図1の左下オレンジに囲われた入力画像から上方向への処理がBackboneに相当します。上に行くことにダウンサンプリングされ空間スケールが粗い特徴量が得られます。次にNeckモジュールでは、Feature Pyramid Networks (FPNs)や類似したNeck構造を採用した場合、Backboneの各空間解像度の特徴量とNeckモジュールから得られた特徴量を組み合わせて、複数スケールからなる特徴マップピラミッドを構成します。最後にHeadモジュールでNeckから得られた特徴マップごとに最終的な出力をします。</p>
<p>Headから得られる最終的なネットワークの出力は、(batch_size, num_predictors, head_dim)となります。</p>
<p>ここでは、1つのバウンディングボックスに対応する出力のことをpredictorと呼び、その数をnum_predictorsとします。また、head_dimはclassificationとlocalizationに必要な情報、つまりCOCO datasetであればクラス数の80次元に加えてboxを表現する4次元が必要になります。
加えて、例えば以下で紹介するYOLOv2/v3の場合には、ネットワークの予測と正解間のIoUを推定するobjectivenessと呼ばれるパラメータが導入されているためhead_dim=85となります。</p>
<p>今回はAnchor Matchingを取り上げるため、以下Anchor-basedのモデルの場合のみを考えます。
Anchor-basedモデルでは各Predictorには対応するanchor boxが事前に定義されています。
図示したものが以下の図2になります。</p>
<p><img src="/images/posts/techblog/20220824-shtakahashi-anchor_matching/anchor.png" alt="Anchor"></p>
<p>(図2.) 2x2のcell(特徴マップの一領域)に設定されたanchor boxesの例。</p>
<p>図2は簡単のために2x2のcell(特徴マップの一領域)があり、左上のcellに3つの縦長/横長/正方形のanchorを描画しました。実際にはすべてのcellに同様のanchorが設定されています。
実際のモデル、例えば以下のように、512x512の入力画像が与えられたとき、cellの数はP3:12288 P4:3072, P5: 768で合計16128個、それぞれに3つのanchor boxを割り当てるとnum_predictorsは16128*3=48384個になります。</p>
<pre><code class="hljs language-python">image_width, image_height = <span class="hljs-number">512</span>, <span class="hljs-number">512</span>
num_anchors_per_cell = <span class="hljs-number">3</span>
p3_stride, p4_stride, p5_stride = <span class="hljs-number">8</span>, <span class="hljs-number">16</span>, <span class="hljs-number">32</span>
p3_num_predictor =
  (image_width // p3_stride)
  * (image_height // p3_stride)
  * num_anchors_per_cell <span class="hljs-comment"># 36864</span>
p4_num_predictor = 
  (image_width // p4_stride)
  * (image_height // p4_stride)
  * num_anchors_per_cell <span class="hljs-comment"># 9216</span>
p5_num_predictor =
  (image_width // p5_stride)
  * (image_height // p5_stride)
  * num_anchors_per_cell <span class="hljs-comment"># 2304</span>
num_predictors = 
  p3_num_predictor
  + p4_num_predictor
  + p5_num_predictor <span class="hljs-comment"># 48384</span>
</code></pre>
<p>どの物体とどのpredictorを対応させるかは自明ではありません。この問題をAnchor Matching、あるいはAnchor AssignmentやLabel Assignmentと呼びます。</p>
<h2 id="anchor-matching">Anchor Matching</h2>
<p>Anchor Matchingのアルゴリズムは、与えられたバウンディングボックスのリストをモデルのpredictorに割り当てます。
各predictorは次の3つの状態のいずれかになります。</p>
<ul>
<li>positive: predictorに特定の物体が割り当てられている</li>
<li>negative: predictorにいずれの物体も割り当てられていない</li>
<li>ignore: predictorにいずれの物体も割り当てられないがnegativeとして学習しない</li>
</ul>
<p>では具体的にどのようなアルゴリズムでマッチングを行うかみていきましょう。</p>
<h3 id="yolov2yolov3">YOLOv2/YOLOv3</h3>
<p>YOLOv2/YOLOv3では、それぞれの物体に対して各feature mapごとにpredictorを最も適した1つだけ割り当てます。このアルゴリズムを我々はMax Matching / Max Matcherと呼んでいます。</p>
<p>具体的には次の2つの条件から最適な1つを選びます。</p>
<ol>
<li>cellに対応するピクセルに物体のcx, cyが含まれる</li>
<li>1で該当したcell内のanchorのうち物体とのIoUが最も高い</li>
</ol>
<p>擬似コードに書き直すと次のようになります。</p>
<pre><code>Max Matcherによる単一の物体に対する割り当て
class MaxMatcher(torch.nn.Module):
  def __init__(self):
    super().__init__()
    self.strides = torch.Tensor(
        [8, 16, 32], dtype=torch.long
    )
    self.anchors = torch.Tensor(
      [[4.0, 4.0], [6.0, 3.0], [3.0, 6.0]],
      dtype=torch.float,
    )
    self.num_anchors = 3
    self.image_width, self.image_height = 512, 512

  def forward(self, gt_label):
    positive_predictors = []
    cx, cy, width, height, class_id = gt_label
    for stride in strides:
      cell_in_row = (image_width // stride)
      cell_index_x = cx // stride
      cell_index_y = cy // stride
      cell_index =
        cell_index_x
        + cell_index_y * cell_in_row
      anchor_gt_ious = compute_ious(
        self.anchors, gt_label[:4]
      )
      anchor_index = torch.argmax(anchor_gt_ious)
      predictor_index = 
        cell_index * self.num_anchors + anchor_index
      positive_predictors.append(predictor_index)
    return positive_predictors
</code></pre>
<p>cell_indexが条件1に対応し、 anchor_indexが条件2に対応します。</p>
<p>上の擬似コードでは省かれていますが、もしpositive_predictors以外が推論したバウンディングボックスと物体のIoUが設定した閾値以上だった場合は、そのpredictorはnegativeからignoreに割り当てなおします。</p>
<h4 id="max-matchingの欠点">Max Matchingの欠点</h4>
<p>YOLOv2/YOLOv3は偉大なモデルですが、Anchor Matchingの観点からみるといくつか欠点があります。</p>
<ol>
<li>同じpredictorに複数のgt_boxが該当する場合に、学習時に1つのgt_boxしかないものとして学習される</li>
<li>各特徴マップごとに1つしか、正例/負例の不均衡(Imbalance Problems)が生じ学習が非効率的になる</li>
</ol>
<p>ところで、YOLOv2/YOLOv3でなぜ暗黙のうちにMax Matchingが採用されているかというと、出力のcenter_x, center_yにsigmoid nonlinearityを適用しているため、表現できるboxの中心座標がcellの内部に限られているためです。以下で紹介するRetinaNetにはこのような制約がありません。</p>
<h3 id="retinanet">RetinaNet</h3>
<p>RetinaNetは最も有名な物体検出モデルの一つです。論文の題が"Focal Loss for Dense Object Detection"とあるように、Classification部分にCross Entropy Lossから新規に提案したFocal Lossに変更して、YOLOv3などにあったobjectivenessパラメータを導入せずlocalization+classificationのみのlossで高精度のモデルを学習できることを明らかにしました。Focal Lossの詳細には立ち入りませんが、Cross Entropyと比べて正例/負例の不均衡を損失関数の重み付けを自動的に適切に行うことで、不均衡問題を緩和しています。</p>
<p>Anchor Matching部分はRetinaNet論文の主題ではないのですが、RetinaNetではYOLOv2/v3とは異なりanchor boxと物体間のIoUがそれぞれの閾値を基準にpredictorをpositive/ignore/negativeに割り当てるアルゴリズムを採用しています。閾値に基づいた割り当て方法なので、我々はこれをThresholdMatcherと呼んでいます。</p>
<p>Pythonの疑似コードで書いてみると次のようになります。</p>
<pre><code>Threshold Matcherによる単一の物体に対する割り当て
class ThresholdMatcher(torch.nn.Module):
  def __init__(
    self,
    positive_threshold=0.5,
    negative_threshold=0.4
  ):
    super().__init__()
    self.positive_threshold=0.5
    self.negative_threshold=0.4
    self.strides = torch.Tensor(
      [8, 16, 32], dtype=torch.long
    )
    self.anchors = torch.Tensor(
      [[4.0, 4.0], [6.0, 3.0], [3.0, 6.0]],
      dtype=torch.float
    )
    self.image_width, self.image_height = 512, 512
    self.anchor_boxes = generate_anchor_boxes(
      self.strides,
      self.anchors,
      self.image_width,
      self.image_height
    )

  def forward(self, gt_label):
    anchor_gt_ious = compute_ious(
      self.anchor_boxes, gt_label
    )
    positive_predictors = torch.nonzero(
      anchor_gt_ious >= self.positive_threshold
    )
    negative_predictors = torch.nonzero(
      anchor_gt_ious &#x3C;= self.negative_threshold
    )
    ignore_predictors = torch.nonzero(
      torch.logical_and(
        anchor_gt_ious &#x3C; self.positive_threshold,
        anchor_gt_ious > self.negative_threshold,
      )
    )
    return positive_predictors, negative_predictors, ignore_predictors
</code></pre>
<p>実装は比較的簡単で、predictorのanchorをあらかじめ用意し、それとgtとの間のIoUを計算し条件式で分類します。</p>
<p>論文中ではこの点に対する言及はないのですが、1つの物体に対して各特徴マップごとに1つしか正例がないYOLOv3のMaxMatcherに比べて、正例/負例の不均衡がAnchor Matchingの面からみて緩和されている、という点は指摘できるでしょう。</p>
<h4 id="threshold-matcherの欠点">Threshold Matcherの欠点</h4>
<p>Threshold MatcherはMax Matcherと比較して、1つの物体に複数のpredictorを割り当てるため、不均衡問題は緩和されました。しかし、次の問題を指摘することができます。</p>
<ol>
<li>大きい物体に対してはpositive predictorが多くなるが、小さい物体に対しては少なくなる。</li>
<li>閾値の設定が恣意的で精度への影響が大きい。</li>
</ol>
<p>こうした問題をAnchor Matchingのアルゴリズムから解決したものがこれから紹介するATSSになります。</p>
<h3 id="adaptive-training-sample-selection-atss">Adaptive Training Sample Selection (ATSS)</h3>
<p>RetinaNetが公開されて以降、YOLO系とは異なった1段階モデルが数多く提案されるようになりました。そのうちの一つがFCOS: Fully Convolutional One-Stage Object Detectionというもので、1段階モデルとして既存のモデルから大幅な精度向上を達成しました。</p>
<p>今回取り上げる、Adaptive Training Sample Selection (適応的学習サンプル選択)論文ではRetinaNetとFCOSの精度の差異がどの要素によって生じているか実験から明らかにし、これがAnchor Matchingによって生じていると議論しました。</p>
<blockquote>
<p>After applying those universal improvements, these are only two differences between the anchor-based RetinaNet (#A=1) and the anchor-free FCOS. One is about the classification sub-task in detection, i.e., the way to define positive and negative samples. Another one is about the regression sub-task, i.e., the regression starting from an anchor box or an anchor point.</p>
<p>意訳) これらの普遍的な改善手法を適用した結果、anchor-basedなRetinaNetとanchor-freeなFCOSには2つのみ違いがあります。1つが分類のサブタスクについてで、すなわちpositive sampleとnegative sampleをどのように定義するかです。もう1つが回帰のサブタスクで、回帰をanchor boxから行うかanchor pointから行うかという違いです。</p>
<p>...</p>
<p>According to these experiments conducted in a fair way, we indicate that the essential difference between one-stage anchor-based detectors and center-based anchorfree detectors is actually how to define positive and negative training samples, which is important for current object detection and deserves further study.</p>
<p>意訳) 公正に行われたこれらの実験によれば、1段階anchor-based検出器とcenter-based anchor-free検出器の違いはpositiiveとnegativeな学習サンプルをどのように適用するかで、これは現在の物体検出モデルにとって重要でさらなる研究が求められています。</p>
</blockquote>
<p>論文ではここからアルゴリズムの導入に入ります。ATSSのアルゴリズムは必ずしも直感的に導かれたものではないですが、論文にも書かれている次の5つの条件を満たすという観点から天下り式に設計されたものです。</p>
<ol>
<li>anchor boxとgt boxの中央座標の距離を用いること</li>
<li>anchor-gt間のIoUを用いること</li>
<li>anchorの中央座標が物体の内側に含まれていること</li>
<li>物体の大きさによってpositive predictorの数が大きく影響されないこと</li>
<li>ハイパーパラメタが少ないこと</li>
</ol>
<p>実際のアルゴリズムは擬似コードでは簡潔に書きにくかったので、ここではアルゴリズムの手続きを書きました。</p>
<p><strong>ATSSのアルゴリズム</strong></p>
<ol>
<li><code>すべてのanchor-gt間のIoUを計算する</code></li>
<li><code>1と同様にanchor-gt間の中心座標の距離を計算する</code></li>
<li><code>L個の特徴マップについて、それぞれのgtについて中心座標が最も近いK個のanchor boxを取得する</code></li>
<li><code>3で得たK*L個のanchor boxのIoUを計算し、その平均+標準偏差を閾値とする</code></li>
<li><code>IoUが閾値以上のanchor-gtペアについて、predictorに物体を割り当てる</code></li>
<li><code>5でpositiveに割り当てられたもののうちanchor boxの中央が物体の内側に含まれていないものを省く</code></li>
<li><code>predictorに複数の物体が割り当てられた場合、IoUが最も高い物体を割り当てる。</code></li>
</ol>
<p>登場するハイパーパラメタはKのみで論文中で最適値はK=9とされているもののK>=5であればモデルの精度に与える影響は軽微だと報告されています。</p>
<p>ResNet-101をbackboneとしたモデルでは、RetinaNetにATSSを導入することでMS COCO test-devでAPが39.1->43.6と4.5ptの大幅な上昇を達成したと記述されています。
推論時の計算量を増加させずに学習時のコストのみでこれだけ向上でき、これはモデル開発に大きなインパクトがあります。</p>
<h2 id="終わりに">終わりに</h2>
<p>物体検出は非常にモデル設計の自由度が高いタスクです。Anchor Matchingはそのうちの一要素で、効率的にモデルを学習させるために重要な要素だとの認識が近年高まってきました。
直近ではProbabilistic Anchor Assignment (PAA)、YOLO-Fで導入されたUniform Matching、最適輸送問題として定式化したOptimal Transport Assignment (OTA)などが提案されており刺激的な領域です。また機会があれば、これらを紹介します。</p>
<p>ところでLeapMindでは物体検出モデルを始めとした、Computer Vision分野のモデル開発する機械学習エンジニアを絶賛募集中です！興味のある方は以下からぜひご応募ください！</p>
<p><a href="https://leapmind.io/careers/">https://leapmind.io/careers/</a></p>
<h2 id="文献">文献</h2>
<ol>
<li>Qiang Chen, Yingming Wang, Tong Yang, Xiangyu Zhang, Jian Cheng and Jian Sun. You Only Look One-level Feature. CVPR 2021.</li>
<li>Tsung-Yi Lin, Piotr Dollár, Ross Girshick, Kaiming He, Bharath Hariharan, Serge Belongie. Feature Pyramid Networks for Object Detection. CVPR 2017.</li>
<li>Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollár. Focal Loss for Dense Object Detection. ICCV 2017.</li>
<li>Joseph Redmon and Ali Farhadi. YOLO9000: Better, Faster, Stronger. CVPR 2017.</li>
<li>Joseph Redmon and Ali Farhadi. YOLOv3: An Incremental Improvement. arXiv:1804.02767 2018.</li>
<li>Zhi Tian, Chunhua Shen, Hao Chen, and Tong He. FCOS: Fully Convolutional One-Stage Object Detection. ICCV 2019.</li>
<li>Shifeng Zhang, Cheng Chi, Yongqiang Yao, Zhen Lei, and Stan Z. Li. Bridging the Gap Between Anchor-based and Anchor-free Detection via Adaptive Training Sample Selection. CVPR 2020.</li>
</ol>

エッジAIの新しいスタンダード

Efficiera IP

Efficiera Models

Efficiera SDK

CLIENTS

EVENTS

NEWS

TECH BLOG