Efficiera SDK
Efficieraには、AIモデルのコンパイルと、本番環境でのAIアプリケーションの実装を可能にする総合的なAIソフトウェアスイートが付属しています
AIを実用化に繋げる、量子化モデルに最適化されたソフトウェア開発キット
Efficieraを使うためには、ソフトウェアが非常に重要です。ニューラルネットワークをどのように量子化するかは、重要な問題になります。
もちろん、ニューラルネットワークフレームワークのほとんどは、デフォルトで極端に低いビット数の量子化をサポートしていません。そのため、ニューラルネットワークの量子化器を実装する必要があります。
また、Efficieraのために独自のAIモデルコンパイラを実装する必要もあり、最高の性能を発揮できるように独自のネットワークアーキテクチャを設計する必要があります。Efficieraにとって、ハードウェアと同じくらいソフトウェアが重要になります。
LeapMindは、これらを自動的に最適化するソフトウェアスイートを用意しています。
FEATURES
Efficiera NDK
量子化モデルの構築・学習
極小量子化モデル用オペレータライブラリ
PyTorchをサポート
Efficiera Converter
モデルの最適化・変換
Efficieraが実行可能なインストラクション形式に変換
メモリ帯域の最適化
データ転送と演算の並列化
パフォーマンスプロファイルツールを提供
Efficiera Runtime Library
エッジデバイスでの実行
Runtime API（Python, C++）
複数モデルの実行状態管理
シミュレータ環境を提供
WORKFLOW
横にスクロールできます。
FUNCTIONS
Efficiera NDK
特徴
極小量子化ディープラーニングモデルを開発できる唯一の環境
Efficieraおよびランタイムライブラリにより実行可能なオペレータを定義した、ディープラーニングフレームワーク用ライブラリ
極小量子化の特徴である、量子化係数とスケーリング係数の学習に必要なオペレータを、特別に意識することなくモデルが構築可能
TensorBoardによる可視化など、PyTorchから利用できる機能をそのまま活用可能
学習結果はONNX形式でエクスポート
対応フレームワーク
PyTorch
動作環境
CUDA対応GPU搭載Ubuntu 18.04 もしくは20.04環境
Efficiera Converter
特徴
極小量子化ディープラーニングモデルをEfficiera用命令に変換できる唯一のツール
Efficiera NDKを使用して学習・エクスポートされたONNX形式をEfficiera IPが実行可能な命令列に変換
指定Efficiera構成のリソース制約やメモリ帯域制約に合わせた高度な最適化
データ転送と演算の並列実行による高速化
メモリアクセス削減による省電力化
指定Efficiera構成での実行サイクル数、メモリ帯域、メモリ使用量の見積もり
モデルの規模や構造に適したEfficieraの構成を選択可能
動作環境
Intel 64/AMD64プロセッサ用Ubuntu 18.04環境
Efficiera Runtime
特徴
Efficiera搭載ハードウェアの性能を最大限に引き出すアプリケーションのためのランタイムライブラリ
Efficiera Converterから出力された命令列をターゲット上で実行するためのAPIを提供
複数のディープラーニングモデルとEfficieraインスタンス、CPUスレッドの対応関係を管理可能
利用可能な場合はCPUのSIMD命令により高速化
C++およびPython用APIを定義
ホスト環境上のシミュレータも提供するため、ターゲットが未完成な状態でもアプリケーション開発が可能
動作環境
ターゲット(実機)：Armv8-A AArch64およびArmv7-Aプロセッサ用Ubuntu環境
ホスト：Intel 64/AMD64プロセッサ用Ubuntu 18.04環境