<h1 id="はじめに">はじめに</h1>
<p>こんにちは！本記事を読んでいただきありがとうございます。2023/8 〜 2023/10の約3ヶ月間、LeapMindのObject Detection Product Teamにインターンとして参加した佐藤です。
学部4年の時に取り組んでいたVision Transformerの1bit化に関する研究(*1)がきっかけでLeapMindを知りました。幸運なことに、この度はサマーインターンに参加させていただくことができました。<br>
夏休みの期間はほぼフルタイムで働くことができ、エンジニアとして将来働く姿を想像できました。ここではインターンで経験した内容をお伝えします。</p>
<h1 id="取り組んだ内容">取り組んだ内容</h1>
<p>今回のインターンで私が取り組んだのは、LeapMindが開発しているEfficieraを用いた物体追跡プログラムのエッジデバイスへの実装です。EfficieraはAIの実行に特化したIPで、極小量子化技術を使って圧縮したモデルを、低電力で高速に動作させることができます。Efficieraを使うことで安価なエッジデバイスでも高速にAIモデルを実行することができます。Efficieraの詳細についてはLeapMindのホームページ(*2)を参考にしてください。今回のプロジェクトではAMD社製のKV260(*3)という比較的安価なFPGAボードを使いました。</p>
<h3 id="object-trackingの概要">Object Trackingの概要</h3>
<p>動画内の複数の物体を同時に追跡するタスクをObject Tracking(物体追跡)と言います。物体追跡は1フレームの中の物体を検出するObject Detection(物体検出)という画像認識タスクが基盤となっています。物体検出モデルは物体の座標を出力するので、この情報を元に物体追跡を行うことができます。物体追跡アルゴリズムは動画の各フレームで物体検出モデルによって検出された前フレームと現フレームの物体の紐づけを行うことで、物体の連続的な追跡を実現します。そこで今回のプロジェクトでは、物体検出モデルを基盤にした物体追跡アルゴリズムのEfficieraへの実装を行いました。</p>
<h3 id="bytetrackアルゴリズム">ByteTrackアルゴリズム</h3>
<p>ByteTrack(*4)は物体追跡アルゴリズムの中でも、特にOcclusionへの対応に力を入れているモデルです。Occlusionとは、ある物体が他の物体や障害物に遮蔽されて見えづらくなってしまう事象を指します。従来の物体追跡アルゴリズムでは物体検出モデルの出力結果のうち信頼度スコアの高いボックスのみを事前にフィルターした上で追跡を行っていました。しかし、この方法を採用すると、低い信頼度スコアを持つボックスが除外されます。その結果、追跡中の物体が他の物体に覆われると、追跡情報が直ちに失われてしまいます。</p>
<p><img src="/images/posts/news/summer-internship-2023-ss/chart1.png" alt="Occlusion"><br>
図1. Occlusionの例：赤いボックスの信頼度スコアがOcclusionによって低下している(*4より引用)</p>
<p>この問題を解決するためにByteTrackでは信頼度スコアの高いボックスの追跡の後に、信頼度が低いボックスに対しても追跡を行います。これによって追跡している物体が交差するような場面でも、高精度な追跡ができるようになりました。</p>
<p><img src="/images/posts/news/summer-internship-2023-ss/chart2.jpg" alt="ByteTrack"><br>
図2. ByteTrackの物体追跡アルゴリズム</p>
<p>物体追跡アルゴリズムではフレーム間の物体の紐づけを高精度に行うために、検出された各ボックスに対して計算される識別用の特徴量を用いる場合があります。しかし、この手法では計算量が大きくなってしまい、実行に時間がかかってしまいます。そこで、ByteTrackは追跡をリアルタイムで行うために、検出されたボックスのサイズと座標のみを使ったシンプルで高速なアルゴリズムを採用しています。<br>
これらの特徴からByteTrackは優れた性能を発揮しており、物体追跡タスクのMOTデータセットで発表当時SOTAを達成しました。</p>
<h3 id="デモプログラムの実装">デモプログラムの実装</h3>
<p>FPGAデバイスへの物体追跡プログラムの実装の説明を行う前に、Efficieraを使ったAIモデルの実行について簡単に説明します。<br>
本記事の冒頭で紹介したように、Efficieraは極小量子化の変換を行ったAIモデルの実行に特化したIPです。FPGAなどのエッジデバイスにEfficiera IPを組み込むことでAIモデルを高速に実行することができます。AIモデルの実行をプログラムとして実装する際には、C++で実装されたEfficieraRuntime APIを利用することができます。<br>
以上のEfficieraの説明を踏まえて、図3に示す今回のプロジェクトで作成した物体追跡デモのフローチャートを見てみましょう。</p>
<p><img src="/images/posts/news/summer-internship-2023-ss/chart3.jpg" alt="Demo"><br>
図3. 物体追跡デモのフローチャート</p>
<p>デモのプログラムはFPGAデバイス上で実行する処理になりますが、このうち物体検出モデルはEfficiera IP上で実行され、それ以外はCPU上で実行されることになります。<br>
デモに関しては、図3の通りカメラ画像の取得し、物体検出モデルの推論と物体検出の後処理、ByteTrackアルゴリズムの実行を行い、最後に実行結果の描画と配信を行う処理を実装しました。<br>
プロジェクトの当初は実装予定ではありませんでしたが、以下の２つの機能を追加することでデモのクオリティーをあげることができました。</p>
<ol>
<li>物体検出の後処理の並列化</li>
<li>追跡結果が描画された動画の配信</li>
</ol>
<p>まず物体検出の後処理の並列化です。物体検出モデルの出力はスコアの閾値を使った後処理通して必要な検出ボックスが抽出され、次の処理に渡されるのが一般的です。物体検出のクラス数が多くなると、この後処理がボトルネックになることがあります。一方で、各フレームに対する物体検出は、他のフレームの結果に依存しない操作なので、後処理を並列に実行することが可能です。Efficiera IPの処理(物体検出モデルの推論)はシングルスレッドでしか実行できませんが、物体検出の後処理を並列化することで、物体検出の処理速度を向上させることができました。ただし、ByteTrackアルゴリズムは各フレームが順番通りに処理される必要があるので、並列化を行っていません。しかし、先に触れたようにByteTrackは軽量なアルゴリズムであるため、物体検出に比べ十分高速に実行できます。<br>
次に、追跡結果が描画された動画の配信です。物体追跡アルゴリズムを実行しながら遅延なく結果を閲覧するために、追跡結果が描画された動画を配信する機能をOpenCVのGStreamerプラグインを使って実装しました。GStreamerの動画圧縮オプションなどを使うことで遅延が少なく軽量な配信が行えるようになりました。</p>
<h3 id="実行結果">実行結果</h3>
<p>図4にデモの実行例を示します。緑色の長方形が物体検出の結果で、その左上にトラッキングIDが表示されています。動画の左上にある数字はフレームレートです。画像サイズは640x480で実行しています。</p>
<p><img src="/images/posts/news/summer-internship-2023-ss/chart4.gif" alt="Realtime-demo"><br>
図4. KV260でのリアルタイムデモ</p>
<p>映像ではメンター(ボックスID=1)の前を、私(ボックスID=2)が通過しています。その際にOcclusionが発生し、メンターが完全に隠れてしまっています。しかし私が通過し終わると、メンターがボックスID=1として再び検出されています。動画の左上にあるようにこのデモはフレームレートが30弱で実行されているので、一般的なウェブカメラであれば遅延なく実行することができます。</p>
<h1 id="学んだこと">学んだこと</h1>
<p>今回のインターンでのプロジェクトを通して、その過程で非常の多くのことを学ぶことができました。</p>
<p>まずはドキュメントの重要性です。LeapMindでは開発物やツールに分かりやすいドキュメントがついているついているので、それを辿ることで開発に必要な知識をすぐに身に着けることができました。特にEfficieraのRuntime APIに関するドキュメントは非常に詳細で、実際にプログラムを書く前から完成系を意識することができました。また、様々な人が残した備忘録にも助けられて、スムーズに自分の開発に取り組むことができました。</p>
<p>次に感じたのはコミュニケーションを通した課題解決の大切さです。特にメンターさんが私の疑問を解決する手段を素早く提案してくれたので、大きな開発の助けになりました。他にも自分のチーム以外のプロフェッショナルの方にもプログラムのデザインについてレビューをしていただき、自身の能力を超えた開発を行うことができました。また、会社全体で他の人に質問しやすい雰囲気が、Slackのオープンチャンネルでの社員さんのやり取りから伝わってきました。</p>
<h1 id="インターンでの経験">インターンでの経験</h1>
<p>Object Detection Product TeamのDailyミーティングに参加させていただいたことで、自分が関わる開発以外についてもチームの現状について知ることができました。実際に高速なAIプロダクトがどのように社会で求められているのかという視点は、インターンに参加したからこそ学ぶことができたと感じています。
それ以外にも全社でのミーティングや他チームのミーティングに参加させていただき、多くの人が関わって会社全体として開発を行っていることを実感でき、とても貴重な体験をさせていただいたと思っています。</p>
<p>他にはオフィスで色々な方とお話させていただいたことが、とてもよい体験になりました。様々な会社でエンジニアとして業務を経験された方が多かったので、今後のキャリアを考えるためのヒントをたくさんいただきました。海外出身の方も何名か在籍されており、その方々とエンジニアリングに関して英語で話す機会もありとても楽しかったです。</p>
<p><img src="/images/posts/news/summer-internship-2023-ss/ss-mini.png" alt="Intern-ss"></p>
<h1 id="おわりに">おわりに</h1>
<p>LeapMindのインターンでは多くの人とと関わることができ、とても楽しい時間を過ごすことができました。Efficieraを用いた物体追跡プログラムの実装に関しては、最初は分からないことが多くて不安でしたが、メンターや整備された環境に助けられて目標を達成することができました。</p>
<p>私をインターンとして受け入れてくれたObject Detection Product Team及びLeapMindの皆様に心から感謝します。<br>
<br>
参考</p>
<ol>
<li>佐藤駿, 他. Vision Transformer の係数付き 1bit 化. 2023. In CVIM.</li>
<li>Efficiera IP：<a href="https://leapmind.io/products/efficiera-ip/">https://leapmind.io/products/efficiera-ip/</a></li>
<li>Kria KV260：<a href="https://japan.xilinx.com/products/som/kria/kv260-vision-starter-kit.html">https://japan.xilinx.com/products/som/kria/kv260-vision-starter-kit.html</a></li>
<li>Zhan, Yifu et al. Bytetrack: Multi-object tracking by associating every detection box. 2022. In ECCV.
<br>
</li>
</ol>
<p>Written by Shun Sato LeapMind Summer 2023 Intern.</p>

低コストFPGAデバイスを用いたリアルタイム物体追跡プログラムの実装：Implementing Real-Time Object Tracking on Cost-Effective FPGA Device

<p>はじめまして。LeapMindでインターンをしていた大神です。 夏休みの2ヶ月間、Network Development Kit (NDK)チームに参加させていただきました。この記事ではインターン期間中の取り組みや、インターンを通して感じたことを書きたいと思います。</p>
<p>Greetings, my name is Ogami and I was an intern at LeapMind. I joined the Network Development Kit (NDK) team for two months during the summer vacation. In this article, I would like to write about my efforts during my internship and what I felt through the internship.</p>
<p>今回のインターンでは、<a href="https://arxiv.org/pdf/2306.13515.pdf">Binary domain generalization for sparsifying binary neural networks</a>(*1) という論文で提唱された量子化ニューラルネットワークの枝刈りの手法をEfficiera NDK(LeapMindが開発している量子化ディープラーニングモデルを開発するためのAPI)上で再現することを目標にしました。</p>
<p>The goal of the project was to reproduce a method of pruning quantized neural networks proposed in the paper <a href="https://arxiv.org/pdf/2306.13515.pdf">Binary domain generalization for sparsifying binary neural networks</a> on Efficiera NDK (API to build quantized neural networks that are supported by Efficiera IP).</p>
<h1 id="概要--overview">概要 / Overview</h1>
<p>ニューラルネットワークの推論コストを削減するための有力な手法として、(1)重みや活性化関数の出力を少ないビット幅で表現する量子化 と(2)重みの一部を0にする枝刈り があります。<br>
この論文では、重みの量子化手法と誤差関数を工夫することで、モデルのパフォーマンスを著しく落とすことなく量子化と枝刈りを同時に行うことができると主張しています。画像分類CIFAR10、 CIFAR100、ImageNetで実験を行い、CIFAR10、 CIFAR100では95%の重みを枝刈りしても枝刈りをしない場合と同等の性能を示せること、ImageNetではAccuracyが3.4%下がるのと引き換えに、90%の重みを枝刈りすることができるという結果を示しています。</p>
<p>Two promising methods for reducing the inference cost of neural networks are (1) quantization, which represents the output of the activation function, the weights, with a small bit width, and (2) pruning, which sets some of the weights to zero.<br>
This paper argues that by devising the error function and quantization method used to quantize neural networks, it is possible to obtain quantized and pruned networks without significantly degrading the performance of the model.Experiments were conducted with CIFAR10, CIFAR100, and ImageNet, and the results show that with CIFAR10 and CIFAR100, pruning 95% of the weights can produce the same Accuracy as without pruning, and on ImageNet, 90% of the weights can be pruned in exchange for a 3.4% reduction in Accuracy.</p>
<h2 id="general-domain-quantizer">General Domain Quantizer</h2>
<p>多くの量子化手法では重みを2値化する際に、0より小さい値は-0.5に、0より大きい値は0.5に変換するというように0に関して対称な値に2値化します。しかし、この論文で提案されたGeneral Domain Quantizerでは、0より小さい値はɑに、0より大きい値はβに変換し、ɑとβの値もbackpropagationで最適化することにより、モデルの表現力をなるべく保持しようとしています。</p>
<p>In most quantization methods, the weights are binarized to symmetric values with respect to 0, such that values less than 0 are converted to -0.5 and values greater than or equal to 0 are converted to 0.5. The General Domain Quantizer proposed in this paper, however, converts values less than 0 to ɑ and values greater than 0 to β. The values of ɑ and β are also optimized by backpropagation to preserve the expressiveness of the model as much as possible.</p>
<p><img src="/images/posts/news/summer-internship-2023-to/chart1.png" alt="Quantization"><br>
図1: 対称な重みへの量子化 / Quantization into symmetric weight (XNOR-Net(*2))</p>
<p><img src="/images/posts/news/summer-internship-2023-to/chart2.png" alt="Weight Quantization"><br>
図2 General Domain Quantizerによる重みの量子化</p>
<p>General Domain Quantizerによって2値化された重みと入力との畳み込みの計算は図3のように分割して行われます。上側の計算については、重みがスパースである時(特に1の重みが0個または1個の時)、畳み込みの計算は高速に行うことができます。また、下側の全て1のカーネルの計算は入力のチャネルが同じであれば全ての出力チャネルについて結果が等しいため、一度だけ計算を行えば十分です。そのため、量子化後にβの値をとるような重みを減らすような枝刈りを行うことによって、モデルの推論を高速化することができます。</p>
<p>The computation of the convolution between the weights binarized by the General Domain Quantizer and the input is performed as shown in Figure 3. For the upper side of the computation, when the weights are sparse (especially when there is zero weight kernel or one hot kernel like in the figure., the convolution computation is fast. Also, for the lower side, computation of the all 1's kernel only needs to be done once, since the result is equal for all output channels if the input channels are the same. Therefore, the inference of the model can be speeded up by pruning to reduce the weights such that they take on a value of β after quantization.</p>
<p><img src="/images/posts/news/summer-internship-2023-to/chart3.png" alt="Convolutional Calculation"><br>
図3 General Domain Quantizerで量子化された重みの畳み込み計算</p>
<h2 id="sparsification-regularizer">Sparsification Regularizer</h2>
<p>2値化によってβへと変換される重みの割合(pos_weight_ratio)が所望の割合(EC)を超えている場合にはペナルティをかけるような誤差関数を分類誤差に加えます。例えば、EC=5%と設定すると、95%の重みが枝刈りされるように学習が進みます。</p>
<p>A loss function is added to the classification error that penalizes if the percentage of weights converted to β by quantization (pos_weight_ratio) exceeds the desired percentage (EC). For example, setting EC=5% will cause learning to proceed so that 95% of the weights are pruned.</p>
<p><img src="/images/posts/news/summer-internship-2023-to/formula1.png" alt="Formula"></p>
<h1 id="プロジェクトの目標--the-goal-of-the-project">プロジェクトの目標 / The Goal of the project</h1>
<p>Efficiera NDKに実装されている量子化ニューラルネットワークに対して、論文中で提案された手法を適用し学習を行うことで、多くのデータセットでモデルの精度を落とすことなく畳み込み層の重みの枝刈りを行うことを目指しました。現在のEfficiera NDKでは枝刈りが行われていないため、性能を落とすことなく枝刈りを行うことができれば推論の高速化が見込めます。</p>
<p>We applied the method proposed in the paper to a quantized neural network already implemented in Efficiera NDK to prune the convolutional layer weights without degrading the accuracy of the model on various datasets. Since the current Efficiera NDK does not perform pruning, it is expected to speed up inference if pruning can be performed without compromising performance.</p>
<h1 id="取り組んだこと---what-i-did">取り組んだこと /  What I did</h1>
<p>まずはニューラルネットワークの量子化に関する論文やNDK上での実装を読み、量子化に関する基礎知識を身につけるところから始めました。普段はあまり意識していないようなニューラルネットワークの低いレイヤーの部分について考える機会になり、深層学習に関する理解度が上がったように思います。</p>
<p>I started by reading papers on quantization of neural networks and their implementation on NDK to acquire basic knowledge about quantization. I think this gave me an opportunity to think about the lower layers of neural networks, which I am not usually aware of, and improved my understanding of deep learning.</p>
<p>その後、再現実装のターゲットとなる論文を読み、NDK上で実装するメリットや、新たに実装するべき機能、どのような実験を行う必要があるかについて確認しました。そして実際に、論文中で提案された量子化手法、誤差関数、モデルのスパースさを測定する機能を実装しました。この段階を通して、新しい技術を取り入れていく際に必要なプロセスが理解できました。さらに、社員の方が実装した既存のコードを読んだりレビューを受けたりすることで、自分のコードの質を上げることができました。</p>
<p>After that, we read the papers targeted for reproduction and implementation, and confirmed the advantages of implementing on NDK, what new functions should be implemented, and what kind of experiments need to be conducted. We then actually implemented the quantization method, the loss function proposed in the paper, and the function to measure the sparsity of the model. Through this phase, I gained an understanding of the process required to incorporate new technologies. Furthermore, I was able to improve the quality of my code by reading existing code implemented by employees and receiving reviews.</p>
<p>必要な機能を実装した後に、NDK上での性能を確認するための実験を行いました。論文と同様にCIFAR10、CIFAR100、ImageNetで実験を行いました。CIFAR10、CIFAR100では95%の重みを枝刈りし、枝刈りをしない場合と同等の性能を示すことを目指しました。ImageNetでは90%の重みを枝刈りし、5%以内の性能低下に抑えることを目指しました。<br>
実験をしてみると、訓練の途中で誤差が発散する、枝刈りが進まないなどの問題が起こり、思うように再現実験が進みませんでした。初めは著者実装に近いハイパーパラメータを使用していたのですが、実際にはかなり異なる値を使うことや、論文中では特に言及されていなかったGeneral Domain Quantizerのɑとβの初期値の調整など工夫が必要でした。</p>
<p>After implementing the required functionality, we conducted experiments to verify its performance on the NDK. As in the paper, experiments were conducted on CIFAR10, CIFAR100, and ImageNet. Our goal with CIFAR10 and CIFAR100 was to prune 95% of the weights and show performance comparable to that without pruning. Our goal with ImageNet was to prune 90% of the weights and save accuracy reduction to within 5%.<br>
In our experiments, we encountered problems such as diverging errors in the middle of the training, and the pruning did not proceed as expected, so we were unable to replicate the experiment. Initially, we used hyperparameters that were close to the authors' implementation, but in practice it was necessary to use very different values. In addition, we had to devise adjustments to the initial values of ɑ and β for the General Domain Quantizer, which were not specifically mentioned in the paper.</p>
<p>試行錯誤を重ねた結果、最終的にはCIFAR10、CIFAR100では目標を達成することができました。ImageNetではおよそ6%の精度低下が起こり、惜しくも目標を達成することができませんでしたが、NDK上でも論文に近い結果を示すことができ、今回実装した枝刈りの手法が有望であることが確認できました。<br>
機械学習の実験結果は数多くのパラメータに依存しているため、良い結果や知見を得るために必要な実験の数は自分が思っている以上に多いということがわかりました。Leapmindでは多くの試行錯誤を行いその結果を整理できるような実験環境があったためスムーズに実験を進めることができました。</p>
<p>After much trial and error, we finally achieved our goal with CIFAR10 and CIFAR100, and although we could not achieve our goal with ImageNet due to an accuracy loss of approximately 6%, we were able to show results similar to those in the paper on NDK, which confirmed the promise of the branch pruning However, we were able to show results on NDK that were similar to those in the paper, confirming that the branch pruning method implemented here is promising.</p>
<p><img src="/images/posts/news/summer-internship-2023-to/chart4.png" alt="Results"><br>
図4 実験結果</p>
<p><img src="/images/posts/news/summer-internship-2023-to/intern-to-2.jpg" alt="Intern-to"></p>
<h1 id="労働環境について--working-environment">労働環境について / Working Environment</h1>
<p>インターンシップ開始時点ではニューラルネットワークの量子化についてはほとんど何もわからない状態だったのでした。しかし、メンターの方がキャッチアップのためのマテリアルを準備してくださっていたおかげで、量子化についての知識やLeapmindでの開発のプラクティスを理解し比較的早くプロジェクトに着手することができました。新しく入ったメンバーがストレス少なくプロジェクトに合流できる環境が整えられている点がとてもありがたく感じました。</p>
<p>また、コードレビューを通して質の高いコードを書くことへの意識が身についた点、機械学習の実験管理やプロジェクトのコード管理の方法を学べた点がとても良かったです。さらに、英語でコミュニケーションを取りながらプロジェクトを進めることや、リモートメインで働くことは初めての経験で、とても新鮮でした。</p>
<p>At the start of my internship, I knew almost nothing about neural network quantization. However, thanks to the mentor who prepared materials for me to catch up, I was able to understand the knowledge of quantization and the practices of development at Leapmind and start working on the project relatively quickly. I really appreciated the fact that the environment was set up so that new members could join the project with less stress.</p>
<p>I also appreciated the fact that I gained an awareness of writing high-quality code through code reviews, and that I learned how to manage machine learning experiments and project code. Furthermore, it was my first experience to work on a project while communicating in English and working mainly remotely, which was very fresh.<br>
<br>
<strong>参考 / Reference</strong></p>
<ol>
<li>Riccardo Schiavone, Francesco Galati, and Maria A Zuluaga. Binary domain generalization for sparsifying binary neural networks. arXiv preprint arXiv:2306.13515, 2023.</li>
<li>Mohammad Rastegari, Vicente Ordonez, Joseph Redmon, and Ali Farhadi. Xnor-net: Imagenet classification using binary convolutional neural net-works. In ECCV 2016.</li>
</ol>

量子化ニューラルネットワークの枝刈りによる超高速推論の検討 / Investigating Super-fast Inference by Pruning Quantized Neural Networks

<h2 id="my-summer-internship-experience-at-leapmind">My summer internship experience at LeapMind.</h2>
<p>Shibuya Scramble Crossing, the most iconic Tokyo city landscape. Every minute hundreds of people seamlessly pass by, eventually disappearing in an endless crowd. Could you count them all? Could you track them all down? Well, I can. And I learned this secret skill during my summer internship at LeapMind Inc.</p>
<h2 id="multi-object-tracking">Multi-object tracking</h2>
<p>The task is simple: given a video, track all its objects as they move. You can think of it more atomically: first, detect objects within a single frame, and then link those objects in between frames. Former is simply object detection, whereas the latter is called object re-identification. Ideally, we would like to process frames in an online manner, that is, without looking into future frames while processing the current one. This is a pretty reasonable and desired assumption, especially when it comes to live videos (think of CCTV footage).</p>
<p>As one might expect, recent deep learning models enable multi-object tracking – and <a href="https://motchallenge.net/results/MOT20/?det=Private">they are fairly good</a> at it. Unfortunately, they do not necessarily excel at speed. It is challenging to run a live demo smoothly, and a networking delay while streaming the video from a camera to a GPU makes it all hardly feasible. Overcoming the speed issue was a goal of my internship.</p>
<p><img src="/images/posts/en/news/how-i-became-a-spy/7442f705-image1.gif" alt="Image: Multi-object tracking"></p>
<p>A live object tracking demo running at 70 FPS, recorded at LeapMind office, Shibuya, Tokyo.</p>
<h2 id="accelerating">Accelerating</h2>
<p>We focused on a one state-of-the art multi-object tracking method. Having understood, analyzed and identified its bottleneck, we were able to run a live demo in average almost 5-times faster than a baseline – at 100 FPS at a peak. Noteworthy, we did not suffer from a significant accuracy drop.
Despite an outstanding performance, it’s not the end of further improvements. The model we ended up with can be potentially <a href="https://medium.com/@joel_34050/quantization-in-deep-learning-478417eab72b">quantized</a> (compressed) and embedded on a hardware using LeapMind technology.</p>
<p><img src="/images/posts/en/news/how-i-became-a-spy/08d7ac54-joniak4-660x440.png" alt="Image:Presentation"></p>
<h2 id="leapmind-is-a-place-to-work">LeapMind is a place to work</h2>
<p>I spent five weeks at LeapMind as an intern, and I did enjoy it. I was working with professionals on a challenging project that won’t be archived once I leave. The atmosphere here kept me always motivated and I had no problems communicating – LeapMind is fully bilingual.
Company response to COVID-19 is also worth praising, since it went entirely remote (although one can visit the office if necessary). Last but not least, the salary is competitive, even if you’re an intern.</p>
<p>LeapMind is a place to work!</p>
<p>Written by Przemyslaw Joniak, LeapMind Summer 2020 Intern.</p>

How I became a spy

<p>こんにちは。LeapMind インターン運営担当です。
本日は、2022年サマーインターンに参加されたインターン生の成果発表について記事にまとめたいと思います。</p>
<p>LeapMindで2ヶ月間インターンシップに参加した若井です。
インターンシップでは、Anomaly Detectionチームに所属し、異常分類(anomaly classification)のプロジェクトに取り組みました。</p>
<h2 id="プロジェクトについて">プロジェクトについて</h2>
<p>インターンシップのプロジェクトとして、異常分類の研究に取り組み、
量子化されたニューラルネットワークを用いて異常分類モデルの実装と精度検証を行いました。</p>
<p>異常検知(anomaly detection)は異常の有無の推定や異常の箇所の特定を行うのに対し、
異常分類(anomaly classification)はこれらに加えて異常の種類の特定を行います。</p>
<p>検知対象の異常は軽微なものから深刻なものまで様々ですが、異常の種類が特定できれば検知後の対応を変更できるため、外観検査や故障予知等の様々な場面で異常分類技術が役立つと考えられます。</p>
<p>本プロジェクトでは、あらかじめ異常有無推定と異常箇所特定が行われたデータに対して異常分類を行う、という問題設定でモデルを設計しました。
異常検知段階と異常分類段階の二段階で異常分類を行うことにより、異常検知段階で異常が無いと推定された場合、異常分類の推論を打ち切ることで全体の速度向上が期待できます。</p>
<p>したがって、正常データ・異常データの両方に対して一気通貫で異常分類を行うのではなく、異常検知後のデータに対して異常分類を行いました。</p>
<h2 id="手法について">手法について</h2>
<p>異常検知分野では、正常データのみを用いて学習する手法も頻繁に利用されていますが、本プロジェクトでは異常の分類を目標としたため、異常データを用いて学習した画像分類モデルを利用する方針としました。</p>
<p>また、異常検知分野での前提として、「異常データは非常に稀である」という性質があります。</p>
<p>この性質により、以下の3つが問題となります。
問題1 学習用の異常データが不十分である
問題2 異常データがすべての異常例を網羅できているとは限らない
問題3 正常データと異常データが不均衡である</p>
<p>1の問題に対しては転移学習(transfer learning)やfew-shot learningの手法を、
2の問題に対してはOOD(out-of-distribution)検出手法を用いてモデルを設計しました。</p>
<p>本プロジェクトの問題設定では、異常有無は既に推定されており、分類を行うデータは異常が検知されたデータに限られるため、3の問題については対象外としました。</p>
<p>few-shot learningの手法は、この論文(<a href="https://arxiv.org/abs/1904.04232">https://arxiv.org/abs/1904.04232</a>)を参考にしました。
この論文では、ニューラルネットワークの全結合層にcosine distanceを適用することによりfew-shot時の精度向上を図っています。</p>
<p>OOD検出手法は、この論文(<a href="https://arxiv.org/abs/2205.09310">https://arxiv.org/abs/2205.09310</a>)を参考にしました。
画像分類モデルは学習が進むにつれsoftmax関数の出力値がクラス間で極端な分布になりがちですが、この論文ではlogit normという誤差関数を用いてsoftmax関数の出力値をなだらかにすることで「自信過剰」な推定の防止を図っています。</p>
<p>以上の手法をベースとして異常分類モデルを改善し、量子化されたニューラルネットワーク上で精度検証を行いました。</p>
<p>2ヶ月という限られた期間ではありましたが、メンターの方とディスカッションを行いながら実験を進めることができ、インターンシップでの成果として仕上げることができました。</p>
<h2 id="インターンシップについて">インターンシップについて</h2>
<p>インターンシップでの勤務形態は、フレックスタイム・コアタイム無し・フルリモートと非常に自由度が高かったです。夏休み中も卒業研究の関係で度々大学に行くことがあったため、この勤務形態は大変ありがたかったです。</p>
<p>フルリモートではありましたが、coffee break timeや社内勉強会等の機会に恵まれ多くの社員の方々と交流できました。coffee break timeはメンターの方が中心になって企画してくださったのですが、個性的な社員の方々とチームや立場を超えて交流でき、自身の進路や将来を考えるうえで非常に参考になりました。</p>
<p>2ヶ月間のインターンシップでは、メンターの方々に大変お世話になりました。
プロジェクトに取り組むまでのキャッチアップ期間では、開発手法や異常検知分野の基礎知識について丁寧に教えていただきました。
プロジェクトに取り組み始めてからは、毎日のチームミーティングで、プロジェクトの進め方をはじめ幅広く意見をいただくとともに、思うように進捗が出せなかった時も優しく励ましていただきました。また、頻繁にディスカッションをさせていただき、一人で途方に暮れることなくプロジェクトを進めることができました。</p>
<h2 id="最後に">最後に</h2>
<p>短い期間でしたが、LeapMindのインターンシップでは貴重な経験ができ、非常に大きな財産になりました。
2ヶ月間、大変お世話になりました。</p>

Summer Internship 2022 –Wakai–Investigate the possibility of anomaly classification on quantized neural networks

<p>こんにちは。LeapMind インターン運営担当です。 本日は、2022年サマーインターンに参加されたインターン生の成果発表について記事にまとめたいと思います。</p>
<p>Hello, this is LeapMind Internship Administration Team. Today, we would like to share the presentations of our interns who participated in the 2022 Summer Internship Program.</p>
<p>はじめまして。LeapMindでインターンをしていた劉です。
夏休みの2ヶ月間、Network Development Kit (NDK)チームに参加させていただきました。
この記事ではインターン期間中の取り組みをはじめ、社内の環境や雰囲気など、インターンを通して得られたこと、感じたことを総合的に書かせていただきたいと思います。</p>
<p>Hello, I am Ryu, an intern at LeapMind.
I joined the Network Development Kit (NDK) team for two months as an intern during the summer vacation.
In this article, I would like to write a comprehensive report on what I gained and felt through my internship, including the project I worked on and the work environment and atmosphere within the company.</p>
<h2 id="インターン期間中の取り組み--the-project-i-worked-on-during-my-internship">インターン期間中の取り組み / The project I worked on during my internship.</h2>
<p>今回のインターンの課題はBinary Neural Networkに関する新しい論文[1]の再現実験をするというものでした。この課題にインターン生2人で取り組みました。論文では、重みパラメータとアクティベーションの両方をそれぞれ1bitにするという大胆な量子化を提案しています。それでいて、ImageNetを用いた分類問題を始め、CNNが得意とするさまざまな課題で量子化前と同程度の性能を出せることを論文では主張しています。ニューラルネットワークの量子化という分野において精度の低下は常に頭を悩ませてきた問題であるため、「量子化前と同程度の性能」をたったの1bitずつで実現できるのであれば、それは驚くべきことであり、今後のLeapMindの製品に役立つことも期待できます。</p>
<p>The project for this internship was to experiment to reproduce a new research paper on Binary Neural Networks [1]. The two interns including me worked on this assignment together. The research paper proposes a bold quantization scheme in which both the weight parameter and the activation are set to 1 bit. Despite this, they claim that they can deliver the same level of performance as before quantization in various tasks that CNNs are good at, such as classification problems using ImageNet. Since accuracy degradation has always been a major problem in the field of neural network quantization, if "the same level of performance as before quantization" with only 1 bit each could be realized, it is a remarkable achievement and will be useful for LeapMind's future products.</p>
<p>こうしたモチベーションによって始まった今回の再現実験ですが、予想以上に難航してしまいます。論文にソースコードは提供されていません。学習率のようなハイパーパラメータや、オプティマイザのような再現に必要な情報も提供されていません。そのため、これらは過去の経験や他の実装から推測することになります。ハイパーパラメータ探索の大変さを見くびることはできませんが、ここまでの苦労であれば他の論文の再現でも必要となることは多いでしょう。本論文の再現において最も苦労したのは、ニューラルネットワークの形が分からないという点でした。</p>
<p>Although these motivations led us to start this reproduction experiment, it turned out to be more difficult than expected. The source code has not been provided in the paper. Neither are hyperparameters like learning rate or necessary information for reproduction, such as optimizers, provided. Therefore, we had to infer these from experience and other implementations. We cannot underestimate the difficulty of hyperparameter search, however, this much effort will often be necessary for the reproduction of other papers. The most difficult part of reproducing this research paper was not knowing the shape of the neural network.</p>
<p>具体的に1つ例を挙げましょう。下の図は論文が提案するネットワークにビット幅の注釈をつけたものです。</p>
<p>Let me give you one specific example. The figure below shows the network proposed by the paper with bit width annotations.</p>
<p><img src="/images/posts/news/summer-internship-2022-ryu-exploring-binary-neural-networks/f05c0373-ryu-san-360x440.png" alt="具体イメージ"></p>
<p>赤の破線は4bitと書かれていますが、なぜ4bitとするのか、どういう構造で4bitになっているのかを論文から読み取ることができませんでした。結局、再現実験ではここを4bitにすることを諦め、ハードウェアでの実行可能性を損ねないように注意しながら、論文の記述になるべく近いアーキテクチャを探索しました。</p>
<p>The red dotted line indicates 4 bits, but we could not figure out from the paper why it should be 4 bits or what kind of structure makes it 4 bits. In the end, we gave up on making this part 4-bit in the reproduction experiment and searched for architecture as close as possible to the description in the paper, being careful not to impair the executability of the hardware.</p>
<p>こうした試行錯誤によって精度は次第に改善されていったものの、論文の言うような「量子化前と同程度の性能」をインターン期間中に出すことはできませんでした。その意味で論文の完全な再現には失敗したものの、重みとアクティベーション両方を1bitにした量子化の結果としてはまずまずな精度を得ることができたと思います。とりわけ、他のメンバーとのディスカッションを通じて、良い精度のアーキテクチャを自ら提案できたことはとても嬉しく思います。</p>
<p>Although the accuracy was gradually improved through these trial and error processes, we were not able to generate "the same level of performance as before quantization," as stated in the paper, during the internship program. Although we failed to reproduce the paper completely, I believe that we were able to produce a good level of accuracy as a result of quantization with 1-bit weights and activation. Above all, I am very happy that I was able to propose a good accuracy architecture through discussions with other members of the group.</p>
<h2 id="開発環境--development-environment">開発環境 / Development environment</h2>
<p>大学の課題や研究において、チームで開発することは多くありません。数十人規模ともなるとなおさらです。LeapMindでは、社内のソースコードをほぼ1つのレポジトリで管理しています。コードを書いたらプルリクエストを出し、読みやすさ等の評価をクリアするとマージされます。このコードレビューのおかげで、ソースコードはとても読みやすく、簡単な変更であればすぐに変更箇所を見つけ出すことができました。実際にプルリクエストを出してレビューしてもらったり、他の人の書いたコードをレビューしたりすることは、私にとって学びの多い新鮮な経験になりました。</p>
<p>In university, there are not many opportunities to develop in teams on assignments or in research, especially when there are dozens of people involved. At LeapMind, internal source code is managed in a single repository. When we write code, submit a pull request, and once it meets readability and other criteria, it is merged. This code review makes the source code very legible and allows us to find changes quickly if they are simple changes. Submitting pull requests to be reviewed and reviewing code written by others was a great learning and refreshing experience for me.</p>
<p>LeapMindでは、Bazel、Neptuneなど、研究開発を効率化するツールをいくつも使用しています。これらのツールは大学の研究に役立ちそうなものも多く、インターン終了後も自分の開発に役立てていきたいと考えています。このようなツールが多く使われている背景には、環境の変化を恐れず新しい技術を貪欲に取り入れていく、ベンチャー企業らしいとも言える風土があると感じます。</p>
<p>LeapMind uses several tools to streamline research and development, including Bazel and Neptune. Many of these tools seem to be useful for university research, and I plan to continue using them for my development even after my internship is over. I feel that the reason why many of these tools are used is because of the corporate culture, which is characteristic of a venture company, of not fearing changes in the environment and eagerly adopting new technologies.</p>
<h2 id="社内の雰囲気環境company-culture-and-environment">社内の雰囲気・環境/Company culture and environment</h2>
<p>フレックスタイム、コアタイムなし、フルリモート可という働き方の自由さにまず驚かされました。休暇も基本的に自由に取ることができ、社員の方も含め休みづらさといったものは全く感じませんでした。オフィスに出勤したいときには出勤することもでき、モニター2台の快適な環境で作業することができました。</p>
<p>I was amazed at the flexibility of the working style: flextime, no core hours, and full remote availability. I was also able to take vacations when I wanted to, and I never felt uncomfortable taking time off, including among the employees. I was also able to go to the office whenever I wanted to and work in a comfortable environment with two monitors.</p>
<p>COVID-19の影響もあり出勤する方が少なく、社員の方と対面でコミュニケーションを取る機会が非常に限られていた点は好みが分かれる部分だと思います。それでも、ランチ会やCoffee Breakを通じて、オンラインで多くの社員の方との会話の機会を確保していただきました。経歴や趣味など個性的な方も多く、会話していて楽しかったです。また、技術的に分からないことがあっても気軽に質問することができ、詳しい方に助けてもらうことができました。社員の方の技術力の高さにも驚かされました。</p>
<p>Due to COVID-19, few people came to the office, and the opportunities for face-to-face communication with employees were very limited, which I think is something that people may have different preferences for. Nevertheless, through lunch meetings and Coffee Breaks, I was able to have opportunities to talk with many employees online. I enjoyed talking with many unique people with unique backgrounds and interests. Also, I was able to easily ask questions about technical issues and was able to get help from people who were familiar with the subject matter. I was also amazed at the high technical skills of the employees.</p>
<h2 id="最後に--conclusion">最後に / Conclusion</h2>
<p>あっという間の2ヶ月間でした。もともと興味のあるテーマでしたが、最後まで興味を持って取り組むことができました。実験の結果、過去最高のスコアが出たときの興奮は今でも忘れません。LeapMindでインターンをすることができて本当に良かったと思っています。大変お世話になりました。</p>
<p>The two months went by very quickly. It was a topic that I had always been interested in, and I was able to work on it with great interest until the very end. I still remember how excited I got when we got the highest score ever as a result of the experiment, and I am very happy to be an intern at LeapMind. Thank you very much for all your support!</p>
<h2 id="参考文献--references">参考文献 / References</h2>
<p>[1] Nie, G., Xiao, L., Zhu, M., Chu, D., Shen, Y., Li, P., ... &#x26; Chen, B. (2022). Binary Neural Networks as a general-propose compute paradigm for on-device computer vision. arXiv preprint arXiv:2202.03716.</p>

Summer Internship 2022 – Ryu – Exploring Binary Neural Networks

<p>こんにちは。LeapMind インターン運営担当です。 本日は、2022年サマーインターンに参加されたインターン生の成果発表について記事にまとめたいと思います。</p>
<h2 id="my-summer-internship-experience-at-leapmind">My summer internship experience at LeapMind</h2>
<p>Hello, my name is Nishio and I participated in the 2022 summer internship program.
For a little less than two months, I worked with the NDK team on an experiment to reproduce a paper of binary neural networks.
The paper I replicated is “Binary Neural Networks as a general-propose compute paradigm for on-device computer vision” [1].
The “BiNealNet” proposed in this paper is claimed to outperform 8-bit quantization methods in the speed-vs-accuracy tradeoff for classification, detection, segmentation, super-resolution, and matching.</p>
<h2 id="implementation-overview">Implementation Overview</h2>
<p>BiNealNet is one of the binary neural networks that achieves high accuracy and computational efficiency for various tasks by using the following two techniques:</p>
<ul>
<li>Binarize a ResNet block by enlarging its channels.</li>
<li>Injecting auxiliary parameters in binaryconvolution and binary activation.</li>
</ul>
<p>Binarizing ResNet blocks allows for easy extension to various tasks, and the larger number of output channels in the block increases the capacity of the network. In addition, auxiliary parameters also improved the expressiveness of the network.</p>
<p>Binarization of ResNet blocks is realized by two methods: binarization of convolution weight parameters and binarization of activation.</p>
<p>Weight parameters of convolution are binarized by
Wb = Sign ( Tanh( Wf ) )
Wf Wb
Where Wb is the value of the binarized weight and Wf is the full precision weight, and are arbitrary parameters.
Sign function calculated the gradient using STE [2]. is a channel-wise parameter. is implemented so that the shape could be selected from one-, two-, or four-dimensional tensors according to the paper.</p>
<p>Activation is binarized by
Ab = Sign ( Htanh( PReLU( Af + b0 ) + b1 ) )
Af = Ab
where Ab is the value of the binarized activation and Af is the full precision activation, , b0, b1 are channel-wise, and is a scalar arbitrary parameter.
Htanh backpropagation was implemented as follows [3]:</p>
<p><img src="/images/posts/news/summer-internship-2022-nishio-go-beyond-the-accuracy-of-the-float-model-with-binary-neural-networks/1b73ab39-gazou-.png" alt="数式"></p>
<p>This implementation reduces the mismatch in the gradient of the backpropagation of the sign function.</p>
<h2 id="results-of-reproduction-experiments-with-cifar10">Results of Reproduction Experiments with CIFAR10</h2>
<p>The implemented BiNealNet was validated using CIFAR10, a typical classiﬁcation task.
The maximum number of training epochs was set to 400 and the batch size to 128, starting with a learning rate of 0.1, and then decaying using the learning rate scheduler with SGDR [4].</p>
<p>Validated ResNet accuracy with full precision activation and weights as a baseline, yielding 0.9479 as validation prediction accuracy.
Verified whether the prediction accuracy is equivalent to a full precision network without degradation when weights or activation are binarized. Thereafter, when binarizing weights and activations, the number of channels was set to 1.5 times the original ResNet, following the paper [1].</p>
<p>First, only the weight parameters were binarized to obtain a validation prediction accuracy of 0.9485. When binarizing the weights, the weight parameters of the first convolution were not binarized. (The same applies thereafter.)
We then binarized the activation and obtained a validation prediction accuracy of 0.922.
Finally, when both the weight parameters and activation were binarized, we obtained 0.911 as the validation prediction accuracy.</p>
<p>Full precision (baseline)
0.9479
Binarize Weight
0.9485
Binarize Activation
0.922
Binarize Weight &#x26; Binarize Activation
0.9112</p>
<p>Binarization of activation caused degradation of prediction accuracy and did not produce the results as in the paper.</p>
<p>For further verification, we changed the following three points.</p>
<ul>
<li>Change the kernel size of the convolution layer of downsampling from 1 to 3.</li>
<li>Clip the negative slope of PReLU so that it is not less than 0.</li>
<li>Move scaling parameters of and to after the convolution.</li>
<li>The initial earning rate of new auxiliary parameters is reduced by a factor of 10.</li>
</ul>
<p>In the original ResNet, the kernel size of the downsampling layer is 1, but it is known empirically that a kernel size of 1 is inaccurate when the convolution weights are binarized.</p>
<p>Kernel size of downsampling = 1
0.9112
Kernel size of downsampling = 3
0.9214</p>
<p>Based on this result, the kernel size of the downsampling layer was subsequently set to 3.</p>
<p>Next, the negative slope of PReLU was verified by replacing it with a function that was clipped so that the negative slope of PReLU was not less than zero. This was because BiNealNet implicitly assumed that the value of the negative slope of PReLU was non-negative.</p>
<p>Normal PReLU function
0.9214
Clipped PReLU function
0.9235</p>
<p>Thereafter, the clipped PReLU was used in the activation binarization.</p>
<p>Thirdly, the position of the scaling factor was verified. The scaling factors for the activation and convolution weights were moved after the convolution operation. This makes all the inputs to the convolution operation 1bit. Accuracy was significantly reduced.</p>
<p>Scaling before conv
0.9235
Scaling after conv
0.9076</p>
<p>Finally, we considered reducing the learning rate of the added arbitrary parameter to make the change smaller.</p>
<p>Same initial LR (0.1)
0.9235
Lower initial LR for new parameters (0.01)
0.9102</p>
<h2 id="summary-and-future-outlook">Summary and Future Outlook</h2>
<p>The BiNealNet paper was ambiguous in many of its descriptions, which was a barrier to validation. We attempted to replicate the paper by experimenting with a variety of patterns, but ultimately ended up with a validation prediction accuracy that was 0.0244 points lower than the full precision network for the CIFAR10 dataset.
Within this summer internship, I also worked on an experiment in object detection using BiNealNet and MSCOCO dataset, but I will not go into details.</p>
<p>BiNealNet is claimed to have produced accuracy comparable to 8-bit models in segmentation, super-resolution, and matching, so we would like to verify its effectiveness for tasks other than classiﬁcation and object detection.</p>
<h2 id="leapmind-is-a-great-place-to-work">LeapMind is a great place to work!</h2>
<p>I worked at LeapMind for less than two months as an intern and had a very enjoyable and productive time. My mentor and other team members were very helpful and polite with code reviews, and I learned a lot from them.
They were also very helpful in discussing technical difficulties with me to deepen my understanding. The company encouraged working remotely, but it was great that I could come to the office if I wanted.
LeapMind is a great place to work!</p>
<h2 id="references">References</h2>
<p>[1] G. Nie et al., arXiv [cs.CV] (2022), (available at <a href="http://arxiv.org/abs/2202.03716">http://arxiv.org/abs/2202.03716</a>).
[2] M. Courbariaux et al., arXiv [cs.LG] (2016), (available at <a href="http://arxiv.org/abs/1602.02830">http://arxiv.org/abs/1602.02830</a>).
[3] Z. Liu et al., arXiv [cs.CV] (2018), (available at <a href="http://arxiv.org/abs/1808.00278">http://arxiv.org/abs/1808.00278</a>).
[4] I. Loshchilov and F. Hutter, arXiv [cs.LG] (2016), (available at <a href="http://arxiv.org/abs/1608.03983">http://arxiv.org/abs/1608.03983</a>).</p>

Summer Internship 2022 – Nishio – Go beyond the accuracy of the Float model with Binary Neural Networks.

<p>「何か一つでも多くのことを持ち帰ってくれたら、それだけでインターンとしては大成功だと思います。」</p>
<h2 id="introduction">introduction</h2>
<p>はじめまして！
2021 年の夏の間、LeapMind の Summer Internship Program として Anomaly Detection チームに参加させていただいておりました、伊集です。</p>
<p>今年で学部二年生になって、そろそろ進学や就職について考え始める時期にさしかかったこともあり、思い切ってインターンに参加させていただきました。
何もかもが初めてのことだらけであり、正直なところ不安に思うことは多くありました。そんな中、チームや会社のみなさんはとても暖かく迎えていただけましたし、とても快適なインターン生活だったかと思います。</p>
<p>中でも、インターンが始まって一週間ほどが経過したときに、チームメンバーやサブメンターとして仕事をサポートしていただいた今村さんがかけてくださった言葉が冒頭のものでした。
このインターンを通して一番うれしかった一言でもありますので、この post では、私がこのインターンから持ち帰った思い出たちの一部を、会社やインターンの雰囲気とともにお伝えできたらなと思います。</p>
<h2 id="働き方や働いてみてのこと">働き方や働いてみてのこと</h2>
<p>私が作業をするときに感じる煩わしさの一つとして、各種サービスにおけるアカウントの管理などがあります。IDがあったり、メールアドレスでログインしたり、パスワードに記号が使えないサービスがあるかと思えば、逆にパスワードに記号がないとアカウントが作れないサービスもあったりなどです。</p>
<p>しかし、LeapMind でインターンを始めてから業務を終えるまでの間を振り返ってみると、Google アカウントでのログインが基本になっていることもあってそういった煩わしさが一切なく、非常に快適に過ごすことができたかと思います。</p>
<p>また、何かわからないことがあれば何でも自由に聞ける slack のチャンネルがあったりと、どうしても発生してしまう煩わしさや業務上のストレスが削ぎ落とされており、こうした工夫が快適な労働環境に繋がっていたのではないかなと思います。</p>
<p>COVID-19 の影響もあって、今回のインターンはフルリモートでの開催となりました。東北の片田舎からしか働けなかったことを残念に思う一方で、</p>
<p>コアタイムなし！！
フルフレックス！！
オンライン出社！！</p>
<p>という、時間に一切縛られない働き方ができたことで、精神的にはとても穏やかに働くことができたのかなと思います。</p>
<h2 id="coffee-break-ができた">Coffee Break ができた</h2>
<p>一方で、やはりオンラインでインターンをする大きなデメリットとして、社内の他のチームの方とコミュニケーションをする機会が一切ないというものがあります。入社して一週間が経過したタイミングのミーティングでもこの話題が上がり、今村さんが「せっかくインターン来たのにもったいないですね〜」と仰られていたことを覚えております。</p>
<p>そのことをきっかけとして、毎日 16:45 頃から、雑談をする時間として Coffee Break という誰でも参加できる場を設けられました。話が出た翌日には企画として立ち上がっていたこともあり、フットワークの軽さには感動しました。</p>
<p>時間の都合などもあり、来た方は一部の人に限られてはいたのですが、人事の方が他部署の方々を引っ張ってきてくれたりと、多くのチームの方とお話する機会になりました。</p>
<p>「他のところのインターンにも行ってみて、ここが本当に合っているのか、自分に合う場所はどういうところかをちゃんと模索した方が良い」などといった、どちらかと言うと会社としてはデメリットになり得るようなアドバイスなども個人的にしていただいたりと、業務には関わらない多くのことをこの場で学べたのではないかと思います。</p>
<p>僕が早く出勤して早く退勤した翌日の朝、先輩社員の方が残した「コーヒーブレイク誰もこん」「松田さん(※CEO)と二人きり気まずい」といったログをみて、朝から声を出して笑ったこともありました。その節はタイミングが悪くて出席できず、大変申し訳なかったです。</p>
<h2 id="ランチ会">ランチ会</h2>
<p>その他のコミュニケーションの場として、インターン中に 5 回ほどオンラインランチ会が設けられました。</p>
<p>それぞれの会ごとに異なるメンバーが集まっていましたが、本当に雑談をするだけの場という雰囲気で開催されていました。CRO の兼村さんと CTO の徳永さんが参加された会ですら、顕微鏡を使う歯医者さんの話が一番長く話されたのではないかと思います。</p>
<p>オンライン上でのコミュニケーションだと相手の為人がわかりにくい側面があり、実はユニークで面白い人がそっけなく見えたりと、短い期間で打ち解けるには難しい部分もあったかと思います。あとから振り返ってみると、インターンとして参加した私達に対して、こうした雑談の場を設けていただけたことは、そのとき考えていた以上に作業を円滑に進められるようになることに役立っていたのかなと思いました。</p>
<h2 id="全社ミーティングに参加したこと">全社ミーティングに参加したこと</h2>
<p>自己紹介も兼ねて、全社ミーティングに参加させていただく機会もありました。</p>
<p>開始時の挨拶として、山崎さん(※えらい人)が「本日、私の誕生日の、ちょうど1ヶ月後であるめでたい日に開催できることを嬉しく思います。」などと冗談を仰られていたので、(おっ、山崎さんとたまたま誕生日がちょうど半年違いだな)と思い、「私の誕生日のちょうど 5 ヶ月前の記念すべきこの日に自己紹介させていただけることを〜」なんて言おうと用意していたところ、そこから自己紹介までの間に松田さんがかなり真面目な話をされていて、全くそんなことを言い出せる雰囲気ではなく、「こんにちは、伊集と申します。え〜〜〜〜……福島県の大学二年生で……」といった普通の自己紹介に落ち着きました。
社会では、その場の空気を読んで用意した手札を躊躇せず捨てるスキルが求められることを学べました。捨てた手札の代わりに持ち帰りたいと思います。</p>
<p>後々他の方からお話を伺う限り、インターン生に対して経営状況などの内部情報を公開しない会社も多くあるようです。公開するか否かはいずれも一長一短ではあるかと思いますが、僕が参加した限りでは、会社の一員になれたようで嬉しかったですし、松田さんの話を聞いて、少しでも会社に貢献できるよう頑張りたいなというモチベーションにもなり、結果としては良い方向に作用していたのではないかと思います。</p>
<h2 id="最後に">最後に</h2>
<p>一ヶ月半の間 Anomaly Detection チームに所属して異常検知の課題に取り組んだこともそうですし、ここには書けなかったことも含め、たくさんの経験を頬袋をパンパンに膨らませて持ち帰ることができたかと思います。</p>
<p>一度も出社できなかったことだけが心残りですが、また近い将来、お世話になった方々に会える機会があれば、今度はこちらからお土産を渡せたら嬉しいです。</p>
<p>短い期間ではありましたが、大変お世話になりました！</p>

Pure Cultural Chipmunk’s Internship Participation – Hikari IJU

<p>Hello and welcome to my LeapMind Summer Intern summary post!</p>
<h2 id="about-myself">About Myself</h2>
<p>I'm a German-born, Spanish-raised computer scientist with a passion for Neural Networks and Natural Language Processing. I'm a master student at the University of Tokyo and got the opportunity to join LeapMind for a summer itern program. Feel free to follow me on <a href="https://github.com/mariomeissner">GitHub</a> or <a href="https://twitter.com/mario_meissner">Twitter</a>! I also have my own <a href="https://mariomeissner.github.io/">blog</a> where I (very) occasionally write some stuff.</p>
<p>Let's start by giving some background about the topic at hand before I show you the results I obtained!</p>
<h2 id="the-lottery-ticket-hypothesis">The Lottery Ticket Hypothesis</h2>
<p><img src="/images/posts/en/news/summer-internship-2021-mario-finding-lottery-tickets-via-gradient-descent/b7f71fe6--2021-09-24-17.50.45-660x350.png" alt="Image: The Story of the Lottery Ticket Hypothesis: Hidden Networks"></p>
<p>Model pruning is a method to reduce the number of active weights in a neural network, for the purpose of decreasing model size and induce stronger regularization. A recent research direction called <a href="https://arxiv.org/abs/1803.03635">The Lottery Ticket</a> Hypothesis talks about how it is possible to find subnetworks that perform equally well (or even better!) than their full-sized counterparts, while also converging faster. This idea has prompted a number of follow-up works on pruning and lottery tickets and their relationship with the nature of how neural networks learn.</p>
<h2 id="finding-supermasks">Finding Supermasks</h2>
<p>One of the most notorious findings that spawned from the concept of Lottery Tickets is the supermask. This mightly creature is capable of pruning a randomly initialized model in such a way that it achieves full-sized model performance, but without ever changing the weights. Let that sink in for a moment! You randomly initialize the weights of a model, and then apply a certain mask, which zeroes-out a large amount of the weights. Without any weight training, this model performs extremely well on the test set of a certain task.</p>
<p>So what is this black magic? How do we obtain these supermasks? The answer is: gradient descent! Instead of calculating the gradients with respect to the weights, we compute the gradient on the mask and take a step towards a mask that reduces the target loss. Although applying a mask sounds like a non-differentiable task, via some tricks this is a totally possible. The algorithm that trains these masks is called edge-popup. Refer to the <a href="https://arxiv.org/abs/1911.13299">paper</a> and <a href="https://github.com/allenai/hidden-networks">its code</a> for details!</p>
<h2 id="supermasks-for-binarized-models">Supermasks for Binarized Models</h2>
<p>The <a href="https://arxiv.org/abs/2103.09377">Multi-Prize Lottery Ticket Hypothesis</a> paper talks about how we can find very robust binarized models via the supermask method. Models with binarized weights and activations are notoriously difficult to train, and here at LeapMind we wished to investigate the potential of this method to help us improve our own models.</p>
<h2 id="what-i-discovered">What I Discovered</h2>
<p><img src="/images/posts/en/news/summer-internship-2021-mario-finding-lottery-tickets-via-gradient-descent/6b400e0a--2021-09-24-8.36.36-660x350.png" alt="Image: Reproducing their results"></p>
<p>Just like in the Multi-Prize Lottery paper, a fully binarized lottery model remains 10%~20% below in accuracy against a standard weight-trained float model, especially for larger datasets such as ImageNet. However, comparing a binarized lottery model against a weight-trained binarized model is a different story! Here we can see extremely competitive results depending on the model configuration and dataset.</p>
<p>However, an important realization can be made to further improve results. The idea of freezing the weights and performing only mask-optimization is interesting from a theoretical point of view and helps these research papers get published, but when it comes down to the practical benefit, there is no reason for us to restrain ourselves in such a way! Why not combining the power of supermasks with the old-fashioned but well-known weight-training?</p>
<p>It turns out that supermask training in combination with normal weight-training acts like a strong regularizer, helping to improve generalization and avoid learning spurious correlations. Overall, we obtain much better training curves when training an unfrozen model with supermask training.</p>
<p>Additionally, assuming the existence of a powerful sparse-multiplication library, we can speed-up inference time of these models due to the fact that the weights are masked and thus very sparse.</p>
<h2 id="conclusions">Conclusions</h2>
<p>This summer internship was extremely exciting and I learned a ton of things. First and foremost, I got to dive deep into the theoretical guts of model pruning, lottery tickets and edge-popup supermask training. An additional, and in my opinion even more valuable experience was to see firsthand how a large, cutting-edge deep learning repository is organized and maintained. I learned how to <a href="https://techblog.leapmind.io/blog/boost-your-ai-research-with-hydra-and-lightning-templates/">structure complex research experiments</a> aiming for clarity and reproducibility. This will be my biggest takeaway for sure!</p>

Summer Internship 2021 – Mario – Finding Lottery Tickets via Gradient Descent!

<p>こんにちは、Anomaly Detectionチームで1ヶ月半ほどサマーインターンに取り組んだ仲吉と申します。</p>
<h2 id="取り組んだ内容">取り組んだ内容</h2>
<p><img src="/images/posts/news/heuristic-approach-may-be-useful-in-anomaly-detection/6cfee00e--2021-09-16-10.07.44-e1631871043654-660x356.png" alt="What Did I during Internship?"></p>
<p>今回検討を行った異常検知の手法では、最初に特徴ベクトルから代表点を抽出しそれを利用して異常度を出します。</p>
<p>論文中の手法では貪欲法によって代表点を選択しますが、適当な目的関数を設定して焼き鈍し法を適用することで精度を向上させることを目標に取り組みました。</p>
<p>貪欲法でも高い精度が得られることと精度自体を目的関数にするのは難しいことから、この貪欲法がどのような目的関数を小さく、もしくは大きくしようとしているのかを考察し、その最適化を目標とする焼き鈍し法を行うというアプローチを取りました。</p>
<p><img src="/images/posts/news/heuristic-approach-may-be-useful-in-anomaly-detection/2c7a1e88--2021-09-16-10.10.05-e1631871057492-660x353.png" alt="Transition of Objective Function"></p>
<p>期間中は様々な目的関数を試しましたが、なかなか精度向上に繋がる目的関数は見つからず実際の問題に取り組む難しさを実感しました。</p>
<p>始まってからもしばらくは方針が立ちませんでしたが、予想を立てての実験や結果のビジュアライズに合わせてアドバイスを頂くことで最終的には僅かではありますが改善することができました。</p>
<h2 id="労働環境などについて">労働環境などについて</h2>
<p>労働時間は比較的自由が効き、ミーティングなどがなければ仮に寝坊などをしてしまってもなんとかなるため安心して労働することができました。</p>
<p>インターン中はチームのメンターの方にも気軽に質問することができる雰囲気でしたし、毎日マネージャーとの1on1があって取り組んでいる課題について質問したり方向性を修正していただいたりとやりやすかったです。</p>
<p>また、サマーインターンといえば美味しいランチを食べられるイメージがありましたがフルリモートということもあり無理だろうと考えていました。
ただ、ほとんど毎週のようにチームの方だったりCTOやCROの方、過去にインターンに参加した社員の方とオンラインでランチをしながら色々な話を聞く機会がありました。
途中からは夕方にコーヒーブレイクとして会社の色々な方が参加して雑談するイベントもあり面白かったです。</p>
<h2 id="最後に">最後に</h2>
<p>異常検知という分野に関する知識は何もなかった私でも、質問を駆使することで必要な部分は把握して課題に取り組むことができました。
短い期間ですが楽しいインターンでした、ありがとうございました！</p>

Heuristic Approach may be Useful in Anomaly Detection

<p>こんにちは、 2020年度のサマーインターン生の高橋と申します。
一ヶ月強CTOの徳永さんのもとで、調査および研究に取り組みました。</p>
<h2 id="取り組んだ内容">取り組んだ内容</h2>
<p>Data-Free Knowledge Distillationと呼ばれる分野に関する調査研究を行いました。ひとことで言えば、学習データを使用せずに学習済みのモデル(teacher network)のみから新たなモデル(student network)へ転移学習(transfer learning)しよう、という枠組みになります。
例えば、データセットを作成する企業と最終的に最適化されたモデルを作成する企業は別の会社かもしれません。もし学習データを必要としなければ、開発の自由度が上がります。</p>
<p><img src="/images/posts/news/takahashi-summerintern/913caee9-takahashi-san2-660x371.png" alt="Data-Free Knowledge Distillation"></p>
<p>今回のインターンでは、敵対的学習(adversarial learning)による手法を検証しました。この手法では画像を生成する生成器(generator)を導入し、student networkはteacher networkの出力と一致させるように学習し、一方でgeneratorはteacherとstudentの出力が異なるような画像を生成させるよう学習します。</p>
<p>CIFAR-10のようなクラス数が少ない画像分類(image classification)と画像セグメンテーション(semantic segmentation)では、teacher networkとほぼ同程度の性能が実現できることが分かりました。一方、クラス数が多い画像分類や物体検知(object detection)では同等レベルまで学習させることは困難でした。</p>
<p><img src="/images/posts/news/takahashi-summerintern/2507e0fc-takahashi-san3-660x371.png" alt="Classification CIFAR-10(10 classes)"></p>
<h2 id="労働環境など">労働環境など</h2>
<p>フルリモートであるにも関わらず、スムーズに支障なくインターンを始めることができました。機械学習の研究開発に必要な設備が整っており、ミーティング等に参加していても風通しの良さを一貫して感じました。</p>
<p>一ヶ月強のあいだありがとうございました。</p>

News