AIのスタンダードを創るLeapMind株式会社（所在地：東京都渋谷区、代表取締役CEO：松田 総一、読み方：リープマインド、以下LeapMind）は、同社のコア技術である極小量子化技術を使った超低消費電力AIアクセラレータIP「Efficiera」（エフィシエラ）で業界トップクラスとなる電力効率、107.8TOPS/W*1,2を達成しました。これを現在市場にあるデバイスと比較すると、GPUの場合で1~5TOPS/W、エッジ向けAIアクセラレータでも20TOPS/W程度となっており、当社の「Efficiera」は、同じ消費電力での性能がこれらのデバイスの約5〜100倍となることを意味します。

AIタスクの大規模化に伴うハードウェアの課題

近年、様々なデバイスでAIタスクの実行が実用化されていますが、AIタスクは年々大規模化、複雑化しています。OpenAI社の分析*3によると、2012年以降、AI処理で使用される計算量は、3-4ヶ月で2倍の速度で指数関数的に急増しており（ムーアの法則は2年で2倍）、現在の処理能力をはるかに超えたシステムに備える価値がある、としています。また、このようなAIタスクの処理は、GPUなどのカスタムハードウェアやより多くのチップを並列に使うことで推進されてきた、とも分析しています。これは、エッジAIの実用化にとって、二つの技術的な課題を示唆します。ひとつは、AIタスクが複雑化・大規模化しており、AIによる学習時・推論時に必要とされる演算性能が従来以上に非常に高くなっているということ、ふたつ目は、複雑なAIタスクを処理するような高性能AIチップを搭載するデバイスの消費電力です。スマートフォンやARグラスでAIタスクを安定的に処理するためにAIチップが消費可能な電力は1W未満、高度なAI処理を必要とする自動運転では25W程度となっており、エッジAIには高い電力効率も求められます。（図1) これらの事実は、スペース制約のあるエッジデバイス上でリアルタイムかつ安定的にAI処理を実行するためには、高い省電力性と計算処理能力の両立が必須であることを表しています。

図1　AIタスクと要求性能　

参考：電力効率比較（自社調べ）

低ビット量子化技術と「Efficiera」によるエッジAIの実用化

ディープラーニングを使った演算では、通常、精度を確保するために32ビットの浮動小数点数（FP32）で計算されます。しかし、この方法では行列演算（積和演算）が繰り返されるため、多くの演算リソースが必要となり、メモリや電力に制約のある、かつリアルタイム実行が求められるエッジデバイスでAIタスクを実行するためには、ソフトウェア、ハードウェアの両方でいくつかの重要な要件を満たす必要があります。 まず、ソフトウェア要件として、モデルの軽量化とFP32と同等のモデル精度、AIアクセラレータの実行効率を最大化するためのモデルコンバートが挙げられます。また、ハードウェア要件としては、低消費電力、様々なAIタスク実行のための高い性能、少ないメモリ帯域と少ないメモリ使用量があります。

エッジAIを実現するためには、これらの要求を全て同時に満たすことが必要ですが、一般的なアプローチでは、まずモデルの軽量化には量子化という手法が用いられます。スマートフォンのようなエッジデバイスで動作するAIモデルの軽量化は、8bit量子化が一般的ですが、これでも消費電力や発熱の観点から、実行可能なAIタスクは、物体検知や静止画の画像処理などに留まっていることが現状です。様々なAIタスクを実行するためには、このAIタスクの規模に対して、それを支える電力効率、ハードウェア性能が十分ではないことが課題となっているのです。

これに対し、当社は、あらゆるデバイスでのAI実用化を目指し、ソフトウェアとハードウェア両方に対する要求を、当社の強みである「極小量子化」技術を用いて実現しています。 ソフトウェア面での取り組みとして、モデルの軽量化にこの極小量子化を用い、1bit weight x 2bit activationという超低ビット量子化を実現し、特許を取得した独自の量子化技術により、精度低下を最小限に抑えた低ビット量子化に成功しています。また、「Efficiera」専用のモデルコンバーターにより、演算効率の最適化とメモリ転送量の最適化を行い、ハードウェアの実行効率を最大限に高めることを実現しています。さらに、極小量子化モデルを効率的に実行するためのハードウェアとしてAIアクセラレータ「Efficiera」の開発を進めてきています。当社の極小量子化技術により、行列演算が単純な論理演算で表現できるため、小さな回路面積で高い演算効率を備えています。推論実行時のDRAMメモリ転送データは、1,2bitのため、データ圧縮を利用した際と同等レベルのデータサイズとなり、メモリ使用量およびメモリ帯域を削減することができます。 このように、極小量子化技術を活用することで、量子化による精度低下を抑えつつ、電力効率、演算効率、面積効率を高めることが可能となっています。

LeapMind CEO 松田総一のコメント

「当社はAIの実用化に向けて、AI技術の手法としての量子化技術に特化した研究開発と独自開発したAIアクセラレータの半導体設計を行う世界でも数少ない企業として、大手企業との共同開発を通し、長年研究開発を続けてまいりました。AIアクセラレータによる高い電力効率とAIタスク処理性能の両立は、AIの社会実装にとって必須です。そして、今回当社では、従来のGPUやNPUを電力効率面ではるかに上回る、107.8TOPS/Wという電力効率を達成することができました。これにより、AIを広く世に広めるための重要なマイルストンを達成したと考えております。今後もお客様の課題解決に努め、AI技術の進化に貢献できるよう研究開発を進めてまいります」

Efficieraに関する詳細は、当社ウェブサイトでご確認ください。 https://leapmind.io/products/efficiera-ip/

補足 *1 Cadence社 Genus Synthesis Solutionを使った論理合成結果からの見積もり値となります。動作条件は以下の通りです。 ・IP単体の電力から計算 (DRAM 、メインバス・プロセッサなど他のサブシステムの電力は含みません) ・プロセス: 7nm ・動作周波数：533MHz ・電源電圧: Center ・温度: 25℃ ・MAC使用率: 75.8% *2 TOPS/W: 消費電力1Wあたりの処理性能（TOPS: tera operations per second）として電力効率を表す単位です。この数値が大きいほど、省電力で処理する計算量が大きいことを表します。 *3 https://openai.com/research/ai-and-compute

LeapMindについて

2012年に創業したLeapMindは、「機械学習を使った新たなデバイスを、あまねく世に広める」を企業理念に、AIをコンパクト化する極小量子化技術と独自に開発したAIアクセラレータの半導体設計を行う世界でも数少ない企業として、主にコンシューマエレクトロニクスや自動車産業など製造業中心に、ソリューション提供を行ってきました。次世代の情報端末を実現するためのキーテクノロジーを提供するため、その実現に必要なソフトウェアとハードウェア両面の開発に取り組んでいます。LeapMindの事業は高く評価されており、累計調達額は49.9億円に達しています（2023年6月現在）。詳細はこちらをご参照ください(https://leapmind.io/)

本社：〒150-0044 東京都渋谷区円山町28-1 渋谷道玄坂スカイビル 3F 代表者：代表取締役CEO 松田 総一 設立：2012年12月 URL：https://leapmind.io

*社名、ロゴ、文中の製品名はLeapMind株式会社の商標または登録商標です。 *プレスリリース記載の情報は発表日現在の情報です。

お問い合わせ先 LeapMind株式会社 マーケティングコミュニケーショングループ　広報担当 TEL：03-6696-6267 メール：pr@leapmind.io