Efficieraを支えるLeapMindの基盤技術の代表例
極小量子化技術
[Extremely low bit quantization]
ディープラーニングに極小量子化技術を適用することで、モデルが軽量化され、容量と計算量を大幅に削減できます。しかも、性能の劣化は最小限に抑えることができます(図1)。
具体的には、推論モデルを構成するパラメータを、通常用いられる単精度浮動小数点数(32ビット)から1ビットまたは2ビットに置き換えることで、軽量化を達成します。一般には、性能の劣化を起こさない限界は8ビットまでとされていますが、LeapMindでは、8ビットを大きく下回る1ビットのWeight(重み係数)、2ビットのActivation(入力)という組合せでも性能をほとんど劣化させないことに成功しています(図2)。
オプティカルフロー推定
[Optical Flow Estimation]
オプティカルフローとは、画像のピクセルが次のフレームまでに動いた量です。連続するフレームに対してオプティカルフローを知ることで、映像中の物体の動きを知ることができます。

姿勢推定
[Pose Estimation]
画像から、人間の関節や主要点(首・肩・肘・手首・足首など)の位置とそれらの接続関係を推定する技術です。

セグメンテーション
[Segmentation]
物体の領域を塗り分ける技術です。各ピクセルについてどのカテゴリに属するものか分類します。

超解像
[Super-resolution]
入力された画像よりも高い解像度の画像を出力し、画質を向上させる技術です。

物体検出
[Object Detection]
画像に写っているものを囲う矩形を出力する技術で、人や車両などが画像中のどこにあるかを検出します。

物体追跡
[Object Tracking]
連続した画像フレームに写っているものの場所を、見失わないように追従して出力しつづけます。

ノイズ除去
[Noise reduction]
画像からノイズを取り除き、より高画質の画像を出力する技術です。超解像とは異なり、解像度は変化しません。

画像分類
[Image Classification]
画像に写っているものを認識し、何が写っているかを出力する技術です。
異常検知
[Anomaly Detection]
大多数のデータとは振る舞いが異なる「異常な」データを検出する技術です。