<p>LeapMind株式会社(所在地:東京都渋谷区、代表取締役CEO:松田 総一、読み方:リープマインド、以下LeapMind)は11月22日（水）に川崎市コンベンションホールとオンラインにて開催される「Design Solution Forum 2023」にて、当社 代表の松田が『AIと半導体の未来について』と題して講演することをお知らせします。当講演では、AIの進化や、AI技術の急速な社会への浸透に伴い明らかになっている技術的な課題と、それを解決するために当社が提案するAI専用チップについて説明します。<br>
<br>
<br>
<img src="/images/posts/events/20231108/DSF2023.jpg" alt="DesignSolutionForum2023" title="LeapMind CEO Matsuda"></p>
<p><strong>講演タイトル</strong><br>
「AIと半導体の未来について」</p>
<p><strong>講演内容</strong><br>
巨大化するAIモデルに象徴されるAI技術の急速な進化により、AI処理にはこれまでとは桁違いの計算能力が求められています。このような状況を鑑み、我々LeapMindは、エッジAI向けアクセラレーターの開発で培ってきた技術を応用し、AI学習や推論のための新しいAIチップの開発を開始しました。この講演では、AIを処理する半導体技術のトレンドを踏まえ、今後一層複雑、かつ巨大化するニューラルネットワークに対し、LeapMindが考えるAIのための半導体のあるべき姿を解説します。</p>
<h3 id="design-solution-forum-2023概要">「Design Solution Forum 2023」概要</h3>
<p>Design Solution Forumは、組み込みシステムにおけるソフトウェアおよびハードウェアのデザイン手法をエンジニア同士で議論する場として、2014年にスタートし、今年10周年を迎える技術フォーラムです。  エンジニアの企画によりエンジニアが運営する同フォーラムは、「創ろう、 拡げよう、エンジニア・ネットワーク」を基本コンセプトに、エンジニア同士の情報交流を目的としたセミナー・イベントを毎年開催しています。</p>
<p>開催日時：2022年11月22日（水）セミナー 9:30-17:20, 交流会 17:30-19:00（現地会場のみ）<br>
＊LeapMind CEO 松田総一による講演：15:30~16:00、Room C<br>
場所:　川崎市コンベンションホール（〒211-0063　川崎市中原区小杉町2丁目276番地1 パークシティ武蔵小杉 ザ ガーデン タワーズイースト2階）<br>
イベントURL:　<a href="https://dsforum.jp">https://dsforum.jp</a><br>
主催：特定非営利活動法人DSF<br>
参加費：無料（事前登録制）<br>
申し込み方法：<a href="https://client.eventhub.jp/ticket/HgCVtsZJ2O">https://client.eventhub.jp/ticket/HgCVtsZJ2O</a></p>
<h3 id="leapmindについて">LeapMindについて</h3>
<p>2012年に創業したLeapMindは、日本を拠点とする人工知能（AI）ソフトウェアおよびAIアクセラレータを開発・提供するテクノロジー企業です。AI技術の進歩に貢献し、ビジネスと社会に革命をもたらす使命を担っています。その専門知識とソリューション提供の能力により、顧客のニーズに応え、持続可能な未来に向けたイノベーションを推進し、その実現に必要なソフトウェアとハードウェア両面の開発に取り組んでいます。LeapMindの事業は高く評価されており、累計調達額は49.9億円に達しています（2023年10月現在）。</p>
<p>本社：〒150-0044 東京都渋谷区円山町28-1 渋谷道玄坂スカイビル 3F<br>
代表者：代表取締役CEO　松田 総一<br>
設立：2012年12月<br>
URL：<a href="https://leapmind.io">https://leapmind.io</a></p>
<ul>
<li>社名、ロゴ、文中の製品名はLeapMind株式会社の商標または登録商標です。</li>
<li>プレスリリース記載の情報は発表日現在の情報です。</li>
</ul>
<h3 id="お問い合わせ先">お問い合わせ先</h3>
<p>LeapMind株式会社<br>
マーケティングコミュニケーショングループ　広報担当<br>
TEL：03-6696-6267<br>
メール：<a href="mailto:pr@leapmind.io">pr@leapmind.io</a></p>

11月22日（水）「Design Solution Forum 2023」にて代表・松田がAIモデルの推論と学習に特化した半導体開発について講演

<p>エッジAIのスタンダードを創るLeapMind株式会社（所在地：東京都渋谷区、代表取締役CEO：松田 総一、読み方：リープマインド、以下LeapMind）は、12月7日（水）～9日（金）にパシフィコ横浜で開催する「国際画像機器展2022」にブースを出展することをお知らせいたします。</p>
<p>「国際画像機器展2022」は、国内最大・最先端のマシンビジョンが集う展示会です。ウィズコロナ時代において新たな価値観も生まれ、社会経済活動の再開・活性化が強く期待される中、人、モノ、情報が集う場所としてビジネスマッチングの場を創出します。ロボットビジョン、メディカル、セキュリティ、3次元、ITS、ディープラーニング、インフラ整備などさまざまな分野から多くのマシンビジョン関連の企業が出展するほか、44回目の開催となる今年は、【ロボティクステクノロジーゾーン】を新設しました。生産性向上・品質向上・省人化・自動化に寄与するロボット部品／材料、ロボット制御、自動化システム／RPA、その他ロボット関連の製品・サービスにスポットを当てます。
LeapMindはAI/ディープラーニング分野の企業としてブースを出展し、ディープラーニングモデル「Efficiera ノイズ低減モデル」「Efficiera 異常検知モデル」のデモを公開します。暗い場所で撮影されたノイズの多い画像を鮮明な画質へ改善する高画質化する「Efficiera ノイズ低減モデル」については、最新デモ動画を公開します。製造業の外観検査に特化した「Efficiera 異常検知モデル」では、「学習データが揃わない」「データを外部に出せない」「AIの専門知識がない」などの現場の課題に対し、AIの導入から継続的なAI改善まで、現場で完結できるLeapMind独自の外観検査のリアルタイムデモを展示いたします。</p>
<p>LeapMindは今後も「次世代の情報端末を実現するためのキーテクノロジーを提供する」というビジョンのもと、エッジAIの実用化による、人々のより便利な暮らしの実現に貢献していきます。</p>
<h2 id="国際画像機器展2022概要">「国際画像機器展2022」概要</h2>
<p>日時：2022年12月7日（水）～9日（金）10：00～17：00
場所:パシフィコ横浜 展示ホールD
内容: 国内外のマシンビジョン・画像関連団体や企業によるブース展示、セミナー、講演
主催：アドコム・メディア
参加費：無料（事前登録制）
申し込み方法：<a href="https://www.adcom-media.co.jp/ite/registry/">https://www.adcom-media.co.jp/ite/registry/</a></p>
<h2 id="国際画像機器展2022">「国際画像機器展2022」</h2>
<p>国内最大・最先端のマシンビジョンが集う展示会です。ロボットビジョン、メディカル、セキュリティ、3次元、ITS、ディープラーニング、インフラ整備などさまざまな分野から多くのマシンビジョン関連の企業が出展します。展示ホールに隣接された会場では国際画像セミナーを開催し、マシンビジョンに最前線で関わる専門家による最新の話題や、出展企業による市場動向などについての講演も行います。</p>
<h2 id="leapmind株式会社について">LeapMind株式会社について</h2>
<p>「機械学習を使った新たなデバイスを、あまねく世に広める」を企業理念に2012年創業しました。累計調達額は49.9億円に達しています。ディープラーニングをコンパクト化する極小量子化技術に強みを持ち、製造業を中心に150社を超える実績を保有しています。次世代の情報端末を実現するためのキーテクノロジーを提供するために、その実現に必要なソフトウェアとハードウェア両面の開発に取り組んでいます。</p>
<p>本社：〒150-0044 東京都渋谷区円山町28-1 渋谷道玄坂スカイビル 3F
代表者：代表取締役CEO 松田　総一
設立：2012年12月
URL：<a href="https://leapmind.io">https://leapmind.io</a></p>
<p>*プレスリリース記載の情報は発表日現在の情報です。</p>
<p>報道関係　お問い合わせ先
LeapMind株式会社
Marketing &#x26; Communication Group　広報担当
TEL：03-6696-6267
メール：<a href="mailto:pr@leapmind.io">pr@leapmind.io</a></p>

12月7日（水）～9日（金）の「国際画像機器展2022」に出展 暗所の画像を鮮明化する「Efficiera ノイズ低減モデル」最新デモ動画を公開 「Efficiera 異常検知モデル」による外観検査デモも紹介

<p>エッジAIのスタンダードを創るLeapMind株式会社（所在地：東京都渋谷区、代表取締役CEO：松田 総一、読み方：リープマインド、以下LeapMind）は、11月25日（金）に川崎市コンベンションホールとオンラインにて開催する「Design Solution Forum 2022」に参加することをお知らせいたします。代表取締役CEOの松田総一が講演するほか、オンライン展示も行います。</p>
<p>Design Solution Forumは、組み込みシステムにおけるソフトウェアおよびハードウェアのデザイン手法をエンジニア同士で議論する場として、2014年にスタートした技術フォーラムです。今年は川崎市コンベンションホールとオンラインによるハイブリッド開催とし、AIや組み込み技術に関する講演などを行います。このほか、会場限定の特別企画としてAIカーの製作体験や、講演者らのおすすめの本を紹介する書籍展示などを行います。
LeapMindからは代表取締役CEOの松田総一が、「エッジハードウェアの性能限界において、AIを実用化するために必要な極小量子化技術について」と題して録画講演します。LeapMindではAIの実用化と普及への貢献を掲げ、ディープラーニングモデルの軽量化手法の１つである量子化技術を研究・開発しています。講演では量子化を突き詰めて計算処理の高速化を実現したLeapMindのコア技術「極小量子化技術」について紹介します。さらに、同技術を活用する超低消費電力AIアクセラレータIP「Efficiera」について、実用化に向けた取り組みの概要と事例について解説します。
オンライン展示では、LeapMindが一部協力した産官学共同プロジェクトを動画でご紹介します。国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO)と、産業技術総合研究所（産総研）、国立大学法人東京大学（東京大学）が共同で構築に取り組んでいるAIアクセラレータ開発のための評価プラットフォームで、LeapMindはAIアクセラレータ提供企業として協力しています。LeapMindのAIアクセラレータIP「Efficiera」が搭載されている同プロジェクトの実証チップ「AI-One」で、「Efficiera」が安定動作する様子をご覧いただけます。</p>
<p>LeapMindは今後も「次世代の情報端末を実現するためのキーテクノロジーを提供する」というビジョンのもと、エッジAIの実用化による、人々のより便利な暮らしの実現に貢献していきます。</p>
<h2 id="design-solution-forum-2022概要">「Design Solution Forum 2022」概要</h2>
<p>日時：2022年11月25日（金）
セミナー 9:50-17:10, 交流会 17:20-19:00（現地会場のみ）
LeapMind CEO 松田総一の録画講演は12:40〜13:10、Room E
場所:川崎市コンベンションホール（〒211-0063　川崎市中原区小杉町2丁目276番地1 パークシティ武蔵小杉 ザ ガーデン タワーズイースト2階）
内容:基調講演、ゲスト講演、AIカー製作体験、書籍展示
見どころ:
・製造業系YouTuber ものづくり太郎による基調講演　「日本に必要なビジョナリーとは？」
・5つの講演会場で計44セッションの講演
・36社のスポンサー企業
・賞品付き名刺交換会、食事付き交流会、プレゼント抽選会の開催（講演会場のみ）
・特別企画
　1. AIカー製作体験：ラズパイで走るAIミニ四駆「TatamiRacer」
　2. DSF選書：DSF参加者に今読んで欲しい一冊
　3. DSF×アダプティブコンピューティング研究推進体(ACRi）コラボ企画
本音で語ろう！日本のものづくりとエンジニアはどうなる！？
タイムテーブル:<a href="https://dsforum.jp/2022/seminer/">https://dsforum.jp/2022/seminer/</a>
主催：特定非営利活動法人DSF
参加費：無料（事前登録制）
申し込み方法：<a href="https://client.eventhub.jp/ticket/3b7mEKTqR">https://client.eventhub.jp/ticket/3b7mEKTqR</a></p>
<h2 id="design-solution-forum-2022">「Design Solution Forum 2022」</h2>
<p>Design Solution Forumは、組み込みシステムにおけるソフトウェアおよびハードウェアのデザイン手法をエンジニア同士で議論する場として、2014年にスタートした技術フォーラムです。エンジニアの企画によりエンジニアが運営する同フォーラムは、「創ろう、 拡げよう、設計者ネットワーク」を基本コンセプトに、エンジニア同士の情報交流を目的としたセミナー・イベントを毎年開催しています。</p>
<h2 id="leapmind株式会社について">LeapMind株式会社について</h2>
<p>「機械学習を使った新たなデバイスを、あまねく世に広める」を企業理念に2012年創業しました。累計調達額は49.9億円に達しています。ディープラーニングをコンパクト化する極小量子化技術に強みを持ち、製造業を中心に150社を超える実績を保有しています。次世代の情報端末を実現するためのキーテクノロジーを提供するために、その実現に必要なソフトウェアとハードウェア両面の開発に取り組んでいます。</p>
<p>本社：〒150-0044 東京都渋谷区円山町28-1 渋谷道玄坂スカイビル 3F
代表者：代表取締役CEO 松田　総一
設立：2012年12月
URL：<a href="https://leapmind.io">https://leapmind.io</a></p>
<p>*プレスリリース記載の情報は発表日現在の情報です。</p>
<p>報道関係　お問い合わせ先
LeapMind株式会社
Marketing &#x26; Communication Group　広報担当
TEL：03-6696-6267
メール：<a href="mailto:pr@leapmind.io">pr@leapmind.io</a>　</p>

11月25日（金）の「Design Solution Forum 2022」に参加 代表・松田がAIの実用化に向けた「極小量子化技術」の重要性について講演

<p>今回は、Development でご活躍中のUさんに、入社決定に至った経緯やLeapMindでの業務についてをお話しいただきました！　　</p>
<h2 id="前職含め職務経歴を教えてください">前職含め、職務経歴を教えてください。</h2>
<p>大手総合電気メーカーにてソフトウェアエンジニアとしてキャリアをスタートしました。手がけたのは主にゲーム関係で、エンジニアとしてはゲームの開発環境や動画プレーヤーの設計･実装を行いました。その後ソフトウェアの開発チームを率いることとなり、ゲームプラットフォームの開発およびそのグローバル化に携わり、グローバルな事業拡大を技術面から牽引して参りました。日米での業務経験があり、東京ではゲームプラットフォームの開発組織、サンフランシスコベイエリアではゲーム分野でAI研究等を行うR&#x26;D組織のマネジメントを行ってきました。</p>
<p>自身や家族のライフスタイルの変化に伴って働き方を考え直す機会があり、その中でLeapMindと出会い、新たなチャレンジとして参加することにし、現在に至ります。</p>
<h2 id="lmへ入社を決めたポイントを教えてください">LMへ入社を決めたポイントを教えてください。</h2>
<p>人とやっていることと働く環境です。まずは、弊社のCEOの松田、CTOの徳永からとても熱心にLMと、LM独自の技術やチャレンジについてフランクに説明していただきました。一緒にお仕事をさせていただくイメージができました。また、自らの技術で日本から世界を目指そうとするその姿勢に共感し、自分が分野こそ違うもののこれまでやってきたことが何か役に立つのではないかと思いました。</p>
<p>さらに、ライフステージの変化で自分自身の働き方について考えていた中で、働く環境がとてもフレキシブルで自身の生活スタイルにぴったりマッチしたことは大きいです。フルリモートでの就業が可能であり、時間についてもフレキシブルであるため、仕事と家庭のバランスを取りながら仕事ができるのではないかと思いました。</p>
<h2 id="lmでの担当の業務内容範囲を教えてください">LMでの担当の業務内容、範囲を教えてください。</h2>
<p>LMの開発するAI関連の半導体、およびそれにまつわるソフトウェア群の開発とそのチーム運営です。また、10月にプレスリリースされましたが、現在新たなプロジェクトを進めるべく日々奮闘しています。（プレスリリース：<a href="/news/detail/20231010/">LeapMind、AIモデルの計算処理を高速化する新しいAIチップの開発を開始。業界トップクラスのコストパフォーマンスを目指す</a>）（CTO徳永のBlog：<a href="/tech-blog/detail/new-ai-accelerator/">LeapMind、半導体チップ作るってよ</a> ）</p>
<h2 id="lmの良いところを教えてください印象は変わりましたか">LMの良いところを教えてください。印象は変わりましたか。</h2>
<p>働き始めてみて、フルリモートが言葉だけでなく実際にそうなのだと分かりました。フルリモートでのコミュニケーションは取りにくい印象がありましたが、気軽に話すこともでき、効率的にうまく機能していると思います。また、そこで働いている方々はとても働きやすい方々ばかりに感じます。新しく入ってきている方も多く、外から来てもチームの輪に入りやすい印象でした。情報共有は広く行われており、Slackやドキュメントは個人情報等の機密情報以外は基本的にオープンにされています。経営陣の言葉にも直接定期的に触れることができます。大きな会社にありがちな部署間のサイロ感がないところに風通しの良さを感じます。<br>
また、現在(2023年10月現在)サマーインターンの学生が在籍しています。彼らが卒業をするときに、全社への技術的なプレゼンテーションを実施しました。非常に優秀なインターン生に参加いただいています。全社で懇親会も行いましたが、普段会わない分、そういうイベントがより楽しく感じました。  　</p>
<p><img src="/images/posts/news/employee-k-u/u1.jpg" alt="u-san1" title="u-san1"></p>
<h2 id="lmでやりたい事推進していきたいことは何ですか">LMでやりたい事、推進していきたいことは何ですか。</h2>
<p>LMにいる優秀なエンジニアの力を集結し、会社の目指すビジネスに確実に効率的に貢献できるチーム作りをしていきたいと思います。そこにこれまでの経験を活かしていきたいと考えています。最終的には、技術や製品を世の中に広めることによって、自分を含めチームメンバーがやっていて良かったと誇りと充実感をもてる、そんな経験を一緒にしたいと思います。</p>
<h2 id="ワークライフバランスが取りやすいと感じたエピソードはありますか">ワークライフバランスが取りやすいと感じたエピソードはありますか？</h2>
<p>コアタイムなしの完全フレックスで完全リモートで働くことができます。ですので、たとえば午後個人的な用事がある時でも、有休を取らずに自分の裁量で仕事を調整できます。また、私は遠くに家族が住んでおり、行ったり来たりの生活をする必要がありますが、そんな環境でも業務が問題なくできるのは自分にとっては大きいです。ワークライフバランスは取りやすいと感じています。</p>
<p><img src="/images/posts/news/employee-k-u/u3.jpg" alt="u-san3" title="u-san3"></p>
<h2 id="最後に自由に一言お願いします">最後に自由に一言お願いします。</h2>
<p>自分たちが作ったモノが世の中に出て、それが日本から世界に広がって行く。それは大変であってもとても気分のよいものです。ぜひそれをLeapMindで実現したいと思います。LeapMindは、まだまだ挑戦フェーズではありますが、もしご興味をお持ち頂ける方がいたら是非、一緒に働けたらと思います。</p>

大手電気メーカー･日米で開発組織をマネジメント、AI半導体スタートアップを選んだ理由

<p>LeapMind株式会社(所在地:東京都渋谷区、代表取締役CEO:松田 総一、読み方:リープマインド、以下LeapMind)は大規模なAIモデルの学習と推論を高速化する新しいAIチップの開発を開始しました。</p>
<h2 id="️概要">◾️概要</h2>
<p>大規模言語モデル（LLM）をはじめとする近年のAIモデルのサイズ拡大や計算量の増大により、最先端のAIモデルを学習するためのコストは10年前とは比較にならないほど上昇しています。このコストの上昇は、AIの進化における重大なボトルネックとなっています。</p>
<p>優れたAIモデルを作るためには大量のプロセッサを用いて並列計算を行う必要があります。大量のプロセッサを用意するためには、大規模な予算が必要となります。コストパフォーマンスに優れたプロセッサを使うことができれば、同じ予算規模であっても、より優れたAIモデルを開発できます。換言すると、AI学習用のプロセッサに求められる性質が、絶対性能からコストパフォーマンスに変化しています。</p>
<p>当社は、こうした状況を鑑み、これまでエッジAI向けアクセラレーターの開発で培ってきた技術を応用し、AI学習や推論のための新しいプロセッサ半導体（以下AIチップ）の開発を開始しました。この新しいAIチップは、AIモデルの学習と推論に特化することで、演算性能目標を2PFLOPS(ペタフロップス)とし、同等性能のGPU比で10倍のコストパフォーマンスを目指しています。この製品は、遅くとも2025年中に出荷を開始する予定です。 　</p>
<h2 id="️新しいaiチップの特徴">◾️新しいAIチップの特徴</h2>
<p>新しいAIチップは、以下の特徴を持ちます。</p>
<ul>
<li>AIモデルの学習と推論に特化したデザイン</li>
<li>fp8等、低ビット表現を重点的に採用</li>
<li>オープンソース化されたドライバ、コンパイラ</li>
</ul>
<h4 id="aiモデルの学習と推論に特化したデザイン">AIモデルの学習と推論に特化したデザイン</h4>
<p>AIモデルの学習と推論を計算タスクとしてとらえた場合、以下の特徴があります。</p>
<ul>
<li>行列積が計算ボトルネックである</li>
<li>並列化が容易である</li>
<li>条件分岐は非常に少ない</li>
</ul>
<p>汎用的な計算機としての性能向上を目指すのではなく、上記の特徴を活用し、AIモデルの学習と推論に特化した設計をおこないます。例えば、プログラム中に条件分岐は非常に少ないため、分岐予測ユニットを省くことで、トランジスタ数を削減することができます。</p>
<h4 id="fp8等低ビット表現を重点的に採用">fp8等、低ビット表現を重点的に採用</h4>
<p>AIモデルの計算のボトルネックは行列積であり、極めて多くの乗算と加算が行われます。乗算器は大きくなりがちな回路ですが、fp8等、これまでよりもビット幅の低いデータ型を用いることで、必要なトランジスタ数を削減できます。また、扱うデータが小さくなるので、近年ボトルネックになりがちなDRAM帯域を有効に活用できます。</p>
<h4 id="オープンソース化されたドライバコンパイラ">オープンソース化されたドライバ、コンパイラ</h4>
<p>AIモデルの開発のためには高度なソフトウェアスタックが必要であり、これらを一社で賄うことはできません。複数の会社が関わるオープンソースソフトウェアによるエコシステムがすでに存在しており、このエコシステムの一部になるためには、オープンソースソフトウェアとしてコミュニティに加わることが重要です。</p>
<p>当社は、ハードウェアの仕様を可能な限り公開し、また、ドライバやコンパイラ等のソフトウェアをOSI準拠のライセンスで公開する予定です。</p>
<h2 id="️利用用途">◾️利用用途</h2>
<p>この新しいAIチップでは、大規模言語モデルの学習だけではなく、拡散モデル等の生成AIモデルを含む、広範囲なニューラルネットワークの学習と推論をサポートします。</p>
<h2 id="️leapmind株式会社-代表取締役ceo-松田総一のコメント">◾️LeapMind株式会社 代表取締役CEO 松田総一のコメント</h2>
<p>当社は、これまでエッジAI推論アクセラレータの開発で高い成果と実績を上げてきました。サーバー側においても、これまで培ってきた技術力を活かした新しいAIチップの開発により、AIモデルの計算処理を高速化させ、次世代AIの進化を加速いたします。</p>
<hr>
<p>新しいAIチップに関する具体的な性能値、ベンチマークなどの詳細は、当社テックブログ(<a href="https://leapmind.io/tech-blog/">https://leapmind.io/tech-blog</a>)上で随時アップデートする予定です。</p>
<h3 id="leapmindについて">LeapMindについて</h3>
<p>2012年に創業したLeapMindは、日本を拠点とする人工知能（AI）ソフトウェアおよびAIアクセラレータを開発・提供するテクノロジー企業です。AI技術の進歩に貢献し、ビジネスと社会に革命をもたらす使命を担っています。その専門知識とソリューション提供の能力により、顧客のニーズに応え、持続可能な未来に向けたイノベーションを推進し、その実現に必要なソフトウェアとハードウェア両面の開発に取り組んでいます。LeapMindの事業は高く評価されており、累計調達額は49.9億円に達しています（2023年10月現在）。</p>
<p>本社：〒150-0044 東京都渋谷区円山町28-1 渋谷道玄坂スカイビル 3F<br>
代表者：代表取締役CEO　松田 総一<br>
設立：2012年12月<br>
URL：<a href="https://leapmind.io">https://leapmind.io</a></p>
<ul>
<li>社名、ロゴ、文中の製品名はLeapMind株式会社の商標または登録商標です。</li>
<li>プレスリリース記載の情報は発表日現在の情報です。</li>
</ul>
<h3 id="お問い合わせ先">お問い合わせ先</h3>
<p>LeapMind株式会社<br>
マーケティングコミュニケーショングループ　広報担当<br>
TEL：03-6696-6267<br>
メール：<a href="mailto:pr@leapmind.io">pr@leapmind.io</a></p>

LeapMind、AIモデルの計算処理を高速化する新しいAIチップの開発を開始。業界トップクラスのコストパフォーマンスを目指す

<h1 id="はじめに">はじめに</h1>
<p>こんにちは！本記事を読んでいただきありがとうございます。2023/8 〜 2023/10の約3ヶ月間、LeapMindのObject Detection Product Teamにインターンとして参加した佐藤です。
学部4年の時に取り組んでいたVision Transformerの1bit化に関する研究(*1)がきっかけでLeapMindを知りました。幸運なことに、この度はサマーインターンに参加させていただくことができました。<br>
夏休みの期間はほぼフルタイムで働くことができ、エンジニアとして将来働く姿を想像できました。ここではインターンで経験した内容をお伝えします。</p>
<h1 id="取り組んだ内容">取り組んだ内容</h1>
<p>今回のインターンで私が取り組んだのは、LeapMindが開発しているEfficieraを用いた物体追跡プログラムのエッジデバイスへの実装です。EfficieraはAIの実行に特化したIPで、極小量子化技術を使って圧縮したモデルを、低電力で高速に動作させることができます。Efficieraを使うことで安価なエッジデバイスでも高速にAIモデルを実行することができます。Efficieraの詳細についてはLeapMindのホームページ(*2)を参考にしてください。今回のプロジェクトではAMD社製のKV260(*3)という比較的安価なFPGAボードを使いました。</p>
<h3 id="object-trackingの概要">Object Trackingの概要</h3>
<p>動画内の複数の物体を同時に追跡するタスクをObject Tracking(物体追跡)と言います。物体追跡は1フレームの中の物体を検出するObject Detection(物体検出)という画像認識タスクが基盤となっています。物体検出モデルは物体の座標を出力するので、この情報を元に物体追跡を行うことができます。物体追跡アルゴリズムは動画の各フレームで物体検出モデルによって検出された前フレームと現フレームの物体の紐づけを行うことで、物体の連続的な追跡を実現します。そこで今回のプロジェクトでは、物体検出モデルを基盤にした物体追跡アルゴリズムのEfficieraへの実装を行いました。</p>
<h3 id="bytetrackアルゴリズム">ByteTrackアルゴリズム</h3>
<p>ByteTrack(*4)は物体追跡アルゴリズムの中でも、特にOcclusionへの対応に力を入れているモデルです。Occlusionとは、ある物体が他の物体や障害物に遮蔽されて見えづらくなってしまう事象を指します。従来の物体追跡アルゴリズムでは物体検出モデルの出力結果のうち信頼度スコアの高いボックスのみを事前にフィルターした上で追跡を行っていました。しかし、この方法を採用すると、低い信頼度スコアを持つボックスが除外されます。その結果、追跡中の物体が他の物体に覆われると、追跡情報が直ちに失われてしまいます。</p>
<p><img src="/images/posts/news/summer-internship-2023-ss/chart1.png" alt="Occlusion"><br>
図1. Occlusionの例：赤いボックスの信頼度スコアがOcclusionによって低下している(*4より引用)</p>
<p>この問題を解決するためにByteTrackでは信頼度スコアの高いボックスの追跡の後に、信頼度が低いボックスに対しても追跡を行います。これによって追跡している物体が交差するような場面でも、高精度な追跡ができるようになりました。</p>
<p><img src="/images/posts/news/summer-internship-2023-ss/chart2.jpg" alt="ByteTrack"><br>
図2. ByteTrackの物体追跡アルゴリズム</p>
<p>物体追跡アルゴリズムではフレーム間の物体の紐づけを高精度に行うために、検出された各ボックスに対して計算される識別用の特徴量を用いる場合があります。しかし、この手法では計算量が大きくなってしまい、実行に時間がかかってしまいます。そこで、ByteTrackは追跡をリアルタイムで行うために、検出されたボックスのサイズと座標のみを使ったシンプルで高速なアルゴリズムを採用しています。<br>
これらの特徴からByteTrackは優れた性能を発揮しており、物体追跡タスクのMOTデータセットで発表当時SOTAを達成しました。</p>
<h3 id="デモプログラムの実装">デモプログラムの実装</h3>
<p>FPGAデバイスへの物体追跡プログラムの実装の説明を行う前に、Efficieraを使ったAIモデルの実行について簡単に説明します。<br>
本記事の冒頭で紹介したように、Efficieraは極小量子化の変換を行ったAIモデルの実行に特化したIPです。FPGAなどのエッジデバイスにEfficiera IPを組み込むことでAIモデルを高速に実行することができます。AIモデルの実行をプログラムとして実装する際には、C++で実装されたEfficieraRuntime APIを利用することができます。<br>
以上のEfficieraの説明を踏まえて、図3に示す今回のプロジェクトで作成した物体追跡デモのフローチャートを見てみましょう。</p>
<p><img src="/images/posts/news/summer-internship-2023-ss/chart3.jpg" alt="Demo"><br>
図3. 物体追跡デモのフローチャート</p>
<p>デモのプログラムはFPGAデバイス上で実行する処理になりますが、このうち物体検出モデルはEfficiera IP上で実行され、それ以外はCPU上で実行されることになります。<br>
デモに関しては、図3の通りカメラ画像の取得し、物体検出モデルの推論と物体検出の後処理、ByteTrackアルゴリズムの実行を行い、最後に実行結果の描画と配信を行う処理を実装しました。<br>
プロジェクトの当初は実装予定ではありませんでしたが、以下の２つの機能を追加することでデモのクオリティーをあげることができました。</p>
<ol>
<li>物体検出の後処理の並列化</li>
<li>追跡結果が描画された動画の配信</li>
</ol>
<p>まず物体検出の後処理の並列化です。物体検出モデルの出力はスコアの閾値を使った後処理通して必要な検出ボックスが抽出され、次の処理に渡されるのが一般的です。物体検出のクラス数が多くなると、この後処理がボトルネックになることがあります。一方で、各フレームに対する物体検出は、他のフレームの結果に依存しない操作なので、後処理を並列に実行することが可能です。Efficiera IPの処理(物体検出モデルの推論)はシングルスレッドでしか実行できませんが、物体検出の後処理を並列化することで、物体検出の処理速度を向上させることができました。ただし、ByteTrackアルゴリズムは各フレームが順番通りに処理される必要があるので、並列化を行っていません。しかし、先に触れたようにByteTrackは軽量なアルゴリズムであるため、物体検出に比べ十分高速に実行できます。<br>
次に、追跡結果が描画された動画の配信です。物体追跡アルゴリズムを実行しながら遅延なく結果を閲覧するために、追跡結果が描画された動画を配信する機能をOpenCVのGStreamerプラグインを使って実装しました。GStreamerの動画圧縮オプションなどを使うことで遅延が少なく軽量な配信が行えるようになりました。</p>
<h3 id="実行結果">実行結果</h3>
<p>図4にデモの実行例を示します。緑色の長方形が物体検出の結果で、その左上にトラッキングIDが表示されています。動画の左上にある数字はフレームレートです。画像サイズは640x480で実行しています。</p>
<p><img src="/images/posts/news/summer-internship-2023-ss/chart4.gif" alt="Realtime-demo"><br>
図4. KV260でのリアルタイムデモ</p>
<p>映像ではメンター(ボックスID=1)の前を、私(ボックスID=2)が通過しています。その際にOcclusionが発生し、メンターが完全に隠れてしまっています。しかし私が通過し終わると、メンターがボックスID=1として再び検出されています。動画の左上にあるようにこのデモはフレームレートが30弱で実行されているので、一般的なウェブカメラであれば遅延なく実行することができます。</p>
<h1 id="学んだこと">学んだこと</h1>
<p>今回のインターンでのプロジェクトを通して、その過程で非常の多くのことを学ぶことができました。</p>
<p>まずはドキュメントの重要性です。LeapMindでは開発物やツールに分かりやすいドキュメントがついているついているので、それを辿ることで開発に必要な知識をすぐに身に着けることができました。特にEfficieraのRuntime APIに関するドキュメントは非常に詳細で、実際にプログラムを書く前から完成系を意識することができました。また、様々な人が残した備忘録にも助けられて、スムーズに自分の開発に取り組むことができました。</p>
<p>次に感じたのはコミュニケーションを通した課題解決の大切さです。特にメンターさんが私の疑問を解決する手段を素早く提案してくれたので、大きな開発の助けになりました。他にも自分のチーム以外のプロフェッショナルの方にもプログラムのデザインについてレビューをしていただき、自身の能力を超えた開発を行うことができました。また、会社全体で他の人に質問しやすい雰囲気が、Slackのオープンチャンネルでの社員さんのやり取りから伝わってきました。</p>
<h1 id="インターンでの経験">インターンでの経験</h1>
<p>Object Detection Product TeamのDailyミーティングに参加させていただいたことで、自分が関わる開発以外についてもチームの現状について知ることができました。実際に高速なAIプロダクトがどのように社会で求められているのかという視点は、インターンに参加したからこそ学ぶことができたと感じています。
それ以外にも全社でのミーティングや他チームのミーティングに参加させていただき、多くの人が関わって会社全体として開発を行っていることを実感でき、とても貴重な体験をさせていただいたと思っています。</p>
<p>他にはオフィスで色々な方とお話させていただいたことが、とてもよい体験になりました。様々な会社でエンジニアとして業務を経験された方が多かったので、今後のキャリアを考えるためのヒントをたくさんいただきました。海外出身の方も何名か在籍されており、その方々とエンジニアリングに関して英語で話す機会もありとても楽しかったです。</p>
<p><img src="/images/posts/news/summer-internship-2023-ss/ss-mini.png" alt="Intern-ss"></p>
<h1 id="おわりに">おわりに</h1>
<p>LeapMindのインターンでは多くの人とと関わることができ、とても楽しい時間を過ごすことができました。Efficieraを用いた物体追跡プログラムの実装に関しては、最初は分からないことが多くて不安でしたが、メンターや整備された環境に助けられて目標を達成することができました。</p>
<p>私をインターンとして受け入れてくれたObject Detection Product Team及びLeapMindの皆様に心から感謝します。<br>
<br>
参考</p>
<ol>
<li>佐藤駿, 他. Vision Transformer の係数付き 1bit 化. 2023. In CVIM.</li>
<li>Efficiera IP：<a href="https://leapmind.io/products/efficiera-ip/">https://leapmind.io/products/efficiera-ip/</a></li>
<li>Kria KV260：<a href="https://japan.xilinx.com/products/som/kria/kv260-vision-starter-kit.html">https://japan.xilinx.com/products/som/kria/kv260-vision-starter-kit.html</a></li>
<li>Zhan, Yifu et al. Bytetrack: Multi-object tracking by associating every detection box. 2022. In ECCV.
<br>
</li>
</ol>
<p>Written by Shun Sato LeapMind Summer 2023 Intern.</p>

低コストFPGAデバイスを用いたリアルタイム物体追跡プログラムの実装：Implementing Real-Time Object Tracking on Cost-Effective FPGA Device

<p>LeapMind CTOの徳永です。今日は新しい事業についての話をしたいと思います。</p>
<p>本日<a href="https://leapmind.io/news/detail/20231010/">プレスリリースとして発表しました</a>通り、LeapMindはAI用半導体チップ事業に参入します。開発はすでに開始しています。これまではエッジ向けに半導体IP、つまり、設計だけを売っていましたが、サーバーのマーケットでは半導体のデザインだけという商売は難しいので、実際のチップ（もしくはボード）の形でビジネスしていきます。新しい製品は、推論だけではなく、学習にも使えるものになります。</p>
<p>こう書いてしまうとたった一文のことではありますが、ビジネスとしてやるべきことは大幅に増えます。LeapMindはこれまでIPを販売してきましたので、基本的に在庫管理というものを行ってきませんでした。そのような会社からすると、物理的な商材を扱うというのはそれだけでも大変なことです。在庫管理、キャッシュフローの管理、需要の予測、プロダクトラインナップの絞り込み、などなど。知らないこと、わからないことだらけです。当然、他にも、やらないといけないことはたくさん増えます。</p>
<p>現在の半導体業界というのは非常に動く金額が大きくなっており、先端に近い半導体プロセスでチップを作ろうとすると数十億円から数百億円のお金が必要になります。開発を首尾よく進めればそれでよいわけではなく、様々なことを考えながらビジネスを進めていかねばなりません。</p>
<h1 id="なぜやるのか">なぜやるのか</h1>
<p>上述の通り、IPビジネスと比較するとずっとややこしい市場に参入するわけです。この決断は、複合的な理由によって判断されたものであり、一言で「〜〜だからやる」と明快に答えられるものではありません。しかし、いくつかの理由を断片的に示すことはできます。</p>
<p>まず、ビジネスとしてサーバー向けAI半導体の価値が高まってきていることは、皆様もご承知の通りでしょう。拡散モデルの学習もさることながら、大規模言語モデル（LLM）の学習にかかるコストが数年前よりも何桁も大きくなってきていて、しかも、大きなモデルを長く学習することにどうやら価値がありそうだ、ということが、実感を伴って見えるようになってきました。</p>
<p>弊社はもともと、「ニューラルネットワークの具体的な未来を予測することは難しいが、実用化にあたっては実行デバイスが絶対に必要だから、ニューラルネットワーク専用のプロセッサを提供する」という思想でやってきたので、価値が高まってきているマーケットに対してニューラルネットワーク専用のプロセッサを提供したい、というのは、もともとの会社の思想、目的と合致しています。</p>
<p>また、このビジネスはうまく成功すれば、幅広いデバイスでニューラルネットワークを普及させるための非常に重要な足がかりとなるでしょう。例えば、ニューラルレンダリングは流行している研究分野の一つですが、これからゲームなどでも普及する可能性があると考えています。実際の半導体デバイスを扱う会社に成長することで、そういった新しいマーケットにいち早く対応できるポジションを築きたいと考えています。</p>
<h1 id="勝算はあるのか">勝算はあるのか</h1>
<p>さて、難しいビジネス、難しいマーケットに参入していくわけですが、果たして我々に勝ち目はあるのでしょうか。</p>
<p>技術的には、我々には、実際に半導体IPを提供し、物理的なチップとして動作させた実績があります。分野はちょっと違いますが、まっとうに動作するIPとソフトウェアを作れるという点については実績があります。マーケットにエントリーする資格はある、と自負しています。</p>
<p><a href="https://arxiv.org/abs/2001.08361">スケーリング則</a>を信じるならば、とにかく大規模なモデルを作ることが重要で、そのためには計算力の確保が重要です。ニューラルネットワークの学習は並列化できるため、単体で高速なプロセッサよりもコストパフォーマンスに優れたプロセッサの方が適しています。SIMTはプログラマからすると（SIMDよりも）扱いやすいですし、できることの幅も（SIMDよりも）広いですが、扱いやすさとパフォーマンスを両立するためにはキャッシュがほぼ必須になりますし、ニューラルネットワークだけを対象に考えるならば、ちょっとプログラマフレンドリーすぎて、ハードウェア側にそのしわ寄せが行ってしまっている、とも言えます。このあたりをバッサリとニューラルネットワークの学習と推論に特化することで、コストパフォーマンスを向上させることができると考えています。</p>
<p>また、プロセッサビジネスの場合、ハードウェアを作るだけではダメで、既存のソフトウェア資産を活かせるような仕組みが必要です。この点に関しては、数年前と比べて、状況は大幅に改善されてきています。ここだけ長々と書くのもバランスが悪いのでいくつかリンクを張るだけにとどめておきますが、PyTorchであれば<a href="https://triton-lang.org/main/index.html">Triton</a>の仕組みに乗っかることができるようになってきていますし、TensorFlowやJAXに関しては、OpenXLAプロジェクトの一部として<a href="https://opensource.googleblog.com/2023/05/pjrt-simplifying-ml-hardware-and-framework-integration.html">PJRT</a>という仕組みができました。PJRT向けのプラグインを書けば、<a href="https://github.com/openxla/stablehlo">StableHLOフォーマット</a>でネットワーク定義を受け取ってコンパイルし、実行することができます。このように、膨大なオペレーターのコードを手書きするのではなく、プリミティブなオペレーターさえ実装すれば、それの組み合わせでメジャーなDLフレームワークを動作させることができるようになってきているのです。</p>
<p>勝算があると言うための理由をいくつか並べてみました。正直なところ、どれだけの理由を連ねてみても、100%の勝算があるとは断言できません。とは言え、十分な勝算があると考えています。</p>
<p>最初は大型かつ高性能な製品からスタートする予定ですが、最終的には、今のGPUのように、秋葉原のパーツショップなどでも安価な製品が気軽に手に入るし、スーパーコンピューターにも当社の製品が搭載されている、という未来を目指します。</p>
<h1 id="なぜプレスリリースを出したのか">なぜプレスリリースを出したのか</h1>
<p>開発を始める段階で大仰にプレスリリースを出すというのは、個人的には、好きではありません。うまく行かなかった場合に恥ずかしいですからね。そのようなリスクを負ってまで今回プレスリリースを出したのは、LeapMindが新しいビジネスに参入するのだ、ということを多くの人に知ってもらいたかったからです。冒頭に書いたとおり、チップを作るにあたっては、やらないといけないことがたくさん増えます。これから、様々な立場の人々に協力していただかなければ、成功にたどり着くことは難しいと考えています。</p>
<p>正直、半導体業界の特定の領域を除いて、LeapMindの知名度はまだ高くありません。今回のプレスリリースの主要な目的は、当社がこのようなチャレンジに取り組んでいることを皆様に知っていただくことです。そして、あわよくば、皆様に興味を持っていただけることを期待しています。この記事を通じてLeapMindの名前を初めて知る方々には、ぜひ当社の名前と、新しいAIチップの開発に挑戦していることを覚えていただけたら幸いです。</p>
<h1 id="最後に">最後に</h1>
<p>これまで、個人的にはAIという表現を可能な限り避けてきましたが、これからは、意固地になるのをやめて、AIという表現をふんだんに使っていきます。時代の流れに乗ります。こんにちはAI。</p>

LeapMind、半導体チップ作るってよ

外観検査向け異常検知手法に関する論文紹介: EfficientAD

<p>LeapMindの花元です。</p>
<p>異常検知、してますか？</p>
<p>学習済み深層学習モデルを使って外観検査向け異常検知をしたいけど、良い感じの特徴量が得られなくて困ること、長い人生で、たまにはありますよね。今日はそんなときに使える外観検査向け異常検知の手法である<a href="https://arxiv.org/abs/2111.07677">FastFlow</a>のアルゴリズムを紹介したいと思います。</p>
<h2 id="背景">背景</h2>
<p><a href="https://techblog.leapmind.io/blog/20220511-hanamoto-survey_on_ad_model/">以前の記事</a>で紹介したとおり、近年、外観検査向け異常検知の手法として、画像の特徴を得るために学習済み深層学習モデルを用いる手法が多く提案されています。これらの手法では、訓練データから学習済み深層学習モデルを用いて特徴量を取得し、推論時に対象となる画像から得られた特徴量が、訓練データにおける特徴量の分布からどの程度離れているかを、何らかの基準に基づいて算出します。例えば、<a href="https://arxiv.org/abs/2011.08785">PaDiM</a>では「何らかの基準」としてマハラノビス距離を用いますが、これは訓練データから得られる特徴量の分布が多変量正規分布に従うことを仮定しています。経験的に、多くのデータセットに対してこの仮定を置いて問題ないことが分かっていますが、訓練データの特徴量の分布が多変量正規分布から大きく外れるようなデータセットの場合、うまく動かない場合があります。</p>
<p>うまく動かない可能性があるデータセットの例として、訓練データに複数種類の画像がある場合が挙げられます。例えば訓練データに「赤りんご」と「洋梨」があり、「和梨」を異常として検知したいケースを考えます。この場合、訓練データに「赤りんご」と「洋梨」の2種類があるため、得られる特徴量の分布に多峰性が生じると考えられます。この場合、マハラノビス距離は訓練データの平均と共分散のみを用いて算出されるため、訓練データにほとんど出現しなかったような特徴量（例えば和梨）であったとしても距離が小さい（＝正常である）と計算されてしまうことがあります（図1）。</p>
<p><img src="/images/posts/techblog/20230120-introduction_to_fastflow/mahalanobis.png" alt="mahalanobis">
図1: マハラノビス距離を使った異常検知がうまくいく例（左図）とうまくいかない例（右図）。左図では、トレーニング画像にりんごのみを用いているとする。左図のように訓練データから得られた特徴量の分布が正規分布に近い場合、推定された確率密度関数が訓練データの分布に近い形になるため、高い異常検知性能が得られることが期待できる。一方で、右図のように、訓練データから得られた特徴量の分布に多峰性があるなど、正規分布から離れている場合、推定された確率密度関数が訓練データの分布と離れた形になり、高い異常検知性能が得られない場合がある。</p>
<p><a href="https://arxiv.org/abs/2111.07677">FastFlow</a>では、この問題に対処するために、Normalizing Flowと呼ばれる技術を用いて、訓練時に訓練データから得られた特徴量の分布を、扱いやすい分布（正規分布）に変換できるようなニューラルネットワークを作っていきます。</p>
<h2 id="アルゴリズム">アルゴリズム</h2>
<p><a href="https://arxiv.org/abs/2111.07677">FastFlow</a>は</p>
<ul>
<li>画像の特徴抽出</li>
<li>2D Flow Model</li>
</ul>
<p>の2点から構成されます。これらを順に説明していきます。</p>
<h3 id="画像の特徴抽出">画像の特徴抽出</h3>
<p><a href="https://arxiv.org/abs/2111.07677">FastFlow</a>では、他の学習済み深層学習モデルを用いる手法と同様に、様々な種類のバックボーンを特徴抽出器として用いることができます。論文中ではViTやResNetを用いて実験を行っています。</p>
<h3 id="2d-flow-model">2D Flow Model</h3>
<p>2D Flowでは画像を特徴抽出器に入力して得られる特徴量の空間から、その分布が扱いやすくなる分布（FastFlowでは正規分布）へ変換する写像<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>f</mi></mrow><annotation encoding="application/x-tex">f</annotation></semantics></math></span></span>を学習します。ここで、画像を特徴抽出器に入力して得られる特徴量の空間<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>X</mi></mrow><annotation encoding="application/x-tex">X</annotation></semantics></math></span></span>、変換後の空間を<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>Z</mi></mrow><annotation encoding="application/x-tex">Z</annotation></semantics></math></span></span>とすると、これらの確率密度関数には以下の等式が成り立ちます。</p>
<div class="math math-display"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><semantics><mtable rowspacing="0.16em" columnspacing="1em"><mtr><mtd class="mtr-glue"></mtd><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow><msub><mi>p</mi><mi>X</mi></msub><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mi>p</mi><mi>Z</mi></msub><mo stretchy="false">(</mo><mi>z</mi><mo stretchy="false">)</mo><mi mathvariant="normal">∣</mi><mi>det</mi><mo>⁡</mo><mo stretchy="false">(</mo><mfrac><mrow><mi mathvariant="normal">∂</mi><mi>z</mi></mrow><mrow><mi mathvariant="normal">∂</mi><mi>x</mi></mrow></mfrac><mo stretchy="false">)</mo><mi mathvariant="normal">∣</mi></mrow></mstyle></mtd><mtd class="mtr-glue"></mtd><mtd class="mml-eqn-num"></mtd></mtr></mtable><annotation encoding="application/x-tex">\begin{equation}
 p_X(x) = p_Z(z)|\det(\frac{\partial z}{\partial x} )|
\end{equation}</annotation></semantics></math></span></div>
<p>上式の対数は以下の通り計算されます。</p>
<div class="math math-display"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><semantics><mtable rowspacing="0.16em" columnspacing="1em"><mtr><mtd class="mtr-glue"></mtd><mtd><mstyle scriptlevel="0" displaystyle="true"><mtable rowspacing="0.25em" columnalign="right left" columnspacing="0em"><mtr><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow><mi>log</mi><mo>⁡</mo><msub><mi>p</mi><mi>X</mi></msub><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></mrow></mstyle></mtd><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow><mrow></mrow><mo>=</mo><mi>log</mi><mo>⁡</mo><msub><mi>p</mi><mi>Z</mi></msub><mo stretchy="false">(</mo><mi>z</mi><mo stretchy="false">)</mo><mo>+</mo><mi>log</mi><mo>⁡</mo><mi mathvariant="normal">∣</mi><mi>det</mi><mo>⁡</mo><mo stretchy="false">(</mo><mfrac><mrow><mi mathvariant="normal">∂</mi><mi>z</mi></mrow><mrow><mi mathvariant="normal">∂</mi><mi>x</mi></mrow></mfrac><mo stretchy="false">)</mo><mi mathvariant="normal">∣</mi></mrow></mstyle></mtd></mtr><mtr><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow></mrow></mstyle></mtd></mtr><mtr><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow></mrow></mstyle></mtd></mtr><mtr><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow></mrow></mstyle></mtd><mtd><mstyle scriptlevel="0" displaystyle="true"><mrow><mrow></mrow><mo>=</mo><mi>log</mi><mo>⁡</mo><msub><mi>p</mi><mi>Z</mi></msub><mo stretchy="false">(</mo><msub><mi>f</mi><mi>θ</mi></msub><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>+</mo><mi>log</mi><mo>⁡</mo><mi mathvariant="normal">∣</mi><mi>det</mi><mo>⁡</mo><mo stretchy="false">(</mo><mfrac><mrow><mi mathvariant="normal">∂</mi><msub><mi>f</mi><mi>θ</mi></msub><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></mrow><mrow><mi mathvariant="normal">∂</mi><mi>x</mi></mrow></mfrac><mo stretchy="false">)</mo><mi mathvariant="normal">∣</mi></mrow></mstyle></mtd></mtr></mtable></mstyle></mtd><mtd class="mtr-glue"></mtd><mtd class="mml-eqn-num"></mtd></mtr></mtable><annotation encoding="application/x-tex">\begin{equation}
\begin{split}
\log p_X(x) &#x26;= \log p_Z(z) + \log |\det(\frac{\partial z}{\partial x} )| \\\\\\
&#x26;=  \log p_Z(f_\theta(x)) + \log |\det(\frac{\partial f_\theta(x)}{\partial x} )|
\end{split}
\end{equation}</annotation></semantics></math></span></div>
<p>ここで、<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>θ</mi></mrow><annotation encoding="application/x-tex">\theta</annotation></semantics></math></span></span>は2D Flow Modelのパラメータとします。学習時には、写像<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>f</mi><mi>θ</mi></msub></mrow><annotation encoding="application/x-tex">f_\theta</annotation></semantics></math></span></span>を用いて得られた分布と目標とする分布（FastFlowでは正規分布）の距離（KL Divergence）を最小化するように学習します。この際、写像<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>f</mi><mi>θ</mi></msub></mrow><annotation encoding="application/x-tex">f_\theta</annotation></semantics></math></span></span>の<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>θ</mi></mrow><annotation encoding="application/x-tex">\theta</annotation></semantics></math></span></span>に関する微分とヤコビアン（<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>det</mi><mo>⁡</mo><mo stretchy="false">(</mo><mfrac><mrow><mi mathvariant="normal">∂</mi><msub><mi>f</mi><mi>θ</mi></msub><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></mrow><mrow><mi mathvariant="normal">∂</mi><mi>x</mi></mrow></mfrac><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">\det(\frac{\partial f_\theta(x)}{\partial x})</annotation></semantics></math></span></span>）を計算する必要が生じます。写像<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>f</mi><mi>θ</mi></msub></mrow><annotation encoding="application/x-tex">f_\theta</annotation></semantics></math></span></span>の<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>θ</mi></mrow><annotation encoding="application/x-tex">\theta</annotation></semantics></math></span></span>に関する微分は、写像<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>f</mi><mi>θ</mi></msub></mrow><annotation encoding="application/x-tex">f_\theta</annotation></semantics></math></span></span>をニューラルネットワークで構築すれば、自動微分により計算することが可能です。一方で、ヤコビアンを愚直に計算しようとすると、行列の大きさを<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>n</mi><mo>×</mo><mi>n</mi></mrow><annotation encoding="application/x-tex">n \times n</annotation></semantics></math></span></span>とした際に<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>O</mi><mo stretchy="false">(</mo><msup><mi>n</mi><mn>3</mn></msup><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">O(n^3)</annotation></semantics></math></span></span>の計算量を要してしまいます。これは計算効率が悪くなってしまうため、ヤコビアンが自明になるように<span class="math math-inline"><span class="katex"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>f</mi><mi>θ</mi></msub></mrow><annotation encoding="application/x-tex">f_\theta</annotation></semantics></math></span></span>の構造を設定したものに<a href="https://arxiv.org/pdf/1410.8516.pdf">NICE</a>と呼ばれるネットワークがあり、FastFlowではこのネットワークを2D Flow Modelに採用しています。ネットワークの構造を以下に示します。</p>
<p><img src="/images/posts/techblog/20230120-introduction_to_fastflow/fastflow.png" alt="2D Flow Model">
図2: 2D Flow Modelの構造（論文より引用）</p>
<h2 id="性能比較">性能比較</h2>
<p>論文中では、MVTec ADを対象とした実験で、バックボーンにWide-ResNet50-2を用いた際の平均AUROCが99.3であり、これまでのSoTAである<a href="https://techblog.leapmind.io/blog/20220701-introduction_to_patchcore/">PatchCore</a>を、バックボーンにWide-ResNet50-2を用いて動作させた際のAUROCの99.1を上回っていると主張されています。<a href="https://github.com/openvinotoolkit/anomalib">ANOMALiB</a>による再実装に基づく実験では、FastFlowの平均AUROCが96.3、PatchCoreの平均AUROCが98.0となっており性能が逆転していますが、SoTAに近い異常検知性能が得られているとは言えそうです。</p>
<p>現在のSoTAとされるPatchCoreと性能の点で大きく異なる点は、トレーニング時間と推論時間です。FastFlowでは、トレーニング時にニューラルネットワークのパラメータを学習させる必要があります。一方で、PatchCoreでは特徴ベクトルを抽出し、貪欲法に基づき特徴ベクトルのサブセットを抽出するだけでトレーニングが終了するため、一般にトレーニング時間はPatchCoreの方が速いと言えます。一方で、推論時においては、FastFlowはニューラルネットワークの計算をすることになるため、実行環境にこの計算を速く行う仕組みがあれば（例えばGPUを搭載している）速く推論することが可能です。一方で、PatchCoreでは推論時に、推論ごとに膨大な特徴ベクトルの中からk個の最近傍を得る必要があり、比較的遅くなります。実際、論文中では、FastFlowは、GPUが搭載されている環境において、特徴抽出後の処理時間が画像1枚あたり100ms程度、PatchCoreより速いと主張されています。従って、トレーニング時間と推論時間のどちらを重視するのか、また、推論する際の実行環境に応じて使い分けるのが良いと考えられます。</p>
<h2 id="まとめ">まとめ</h2>
<p>この記事では、学習済み深層学習モデルを用いた外観検査向け異常検知手法であるFastFlowを紹介しました。この手法では、Normalizing Flowと呼ばれる、解析的に表現することが難しい特徴量の分布を解析的に表現することが容易な分布（FastFlowにおいては正規分布）へと変換するニューラルネットワークを用いることで、正常画像における特徴量の分布が複雑な場合においても異常検知の精度を高めることを図っています。</p>
<p>ところで、LeapMindでは異常検知モデルだったり、異常検知とは全く関係ないモデルだったりを開発する機械学習エンジニアを絶賛募集中です！興味のある方は以下からぜひご応募ください！</p>
<p><a href="https://leapmind.io/careers/">https://leapmind.io/careers/</a></p>

エッジAIの新しいスタンダード

Efficiera IP

Efficiera Models

Efficiera SDK

CLIENTS

EVENTS

NEWS

TECH BLOG