ハードウェアとソフトウェアの両面で機械学習技術の開発を行うLeapMind（リープマインド）は1月31日、エッジデバイス上でリアルタイムで動作し、ノイズ除去によりスマートフォンレベルの高画質を実現したAI画像処理モデルを発表した。これまでエッジデバイスで挙げられてきた性能面と画質面の課題を同時に解決し、高性能・高画質・軽量化を実現するものとなった。
エッジデバイスでは、計算コストの高いAIによる画像処理は、リアルタイム動作が困難であるとされてきた。またAI画像処理においては、アナログ信号をデジタル化する際の精度を示す量子ビット数を小さくすると画質が低下するとされてきた。しかしLeapMindは、同社独自の「極小量子化」技術と、超低消費電力AI推論アクセラレータIP「Efficiera」(エフィシエラ）を組み合わせることで、動画カメラのリアルタイム動作を可能にし、「Pixel embedding」（ピクセル・エンベッディング）技術で高画質化を実現させた。
これにより、高価な高感度センサーや大型レンズを使わずとも、32bit浮動小数点モデルと同等の画質が得られるようになった。監視カメラや検査用カメラなど産業用カメラを高画質化できるため、物体認識や検査の精度が向上する。LeapMind取締役CTOの徳永拓之氏は、「低ビット量子化モデルによるAI画像処理技術の製品化は我々が調べる限りでは世界初です」と話す。
LeapMindはこのモデルの特徴を、Raw-to-rawによるノイズの低減と既存画像処理パイプラインへの影響の最小化、ディープラーニングベースのノイズ低減処理、センサー固有のノイズ再学習で最適化が行える学習済みモデルの提供、リアルタイム動作可能な軽量処理としている。
入力画像。左：ISO51200、1/800sec, F4.0で撮影。右：ISO102400、1/320sec、F8.0で撮影
出力画像：32bit浮動小数点モデルの出力
出力画像：LeapMindの極小量子化モデルの出力