<p>こんにちは。LeapMind インターン運営担当です。
本日は、2022年サマーインターンに参加されたインターン生の成果発表について記事にまとめたいと思います。</p>
<p>LeapMindで2ヶ月間インターンシップに参加した若井です。
インターンシップでは、Anomaly Detectionチームに所属し、異常分類(anomaly classification)のプロジェクトに取り組みました。</p>
<h2 id="プロジェクトについて">プロジェクトについて</h2>
<p>インターンシップのプロジェクトとして、異常分類の研究に取り組み、
量子化されたニューラルネットワークを用いて異常分類モデルの実装と精度検証を行いました。</p>
<p>異常検知(anomaly detection)は異常の有無の推定や異常の箇所の特定を行うのに対し、
異常分類(anomaly classification)はこれらに加えて異常の種類の特定を行います。</p>
<p>検知対象の異常は軽微なものから深刻なものまで様々ですが、異常の種類が特定できれば検知後の対応を変更できるため、外観検査や故障予知等の様々な場面で異常分類技術が役立つと考えられます。</p>
<p>本プロジェクトでは、あらかじめ異常有無推定と異常箇所特定が行われたデータに対して異常分類を行う、という問題設定でモデルを設計しました。
異常検知段階と異常分類段階の二段階で異常分類を行うことにより、異常検知段階で異常が無いと推定された場合、異常分類の推論を打ち切ることで全体の速度向上が期待できます。</p>
<p>したがって、正常データ・異常データの両方に対して一気通貫で異常分類を行うのではなく、異常検知後のデータに対して異常分類を行いました。</p>
<h2 id="手法について">手法について</h2>
<p>異常検知分野では、正常データのみを用いて学習する手法も頻繁に利用されていますが、本プロジェクトでは異常の分類を目標としたため、異常データを用いて学習した画像分類モデルを利用する方針としました。</p>
<p>また、異常検知分野での前提として、「異常データは非常に稀である」という性質があります。</p>
<p>この性質により、以下の3つが問題となります。
問題1 学習用の異常データが不十分である
問題2 異常データがすべての異常例を網羅できているとは限らない
問題3 正常データと異常データが不均衡である</p>
<p>1の問題に対しては転移学習(transfer learning)やfew-shot learningの手法を、
2の問題に対してはOOD(out-of-distribution)検出手法を用いてモデルを設計しました。</p>
<p>本プロジェクトの問題設定では、異常有無は既に推定されており、分類を行うデータは異常が検知されたデータに限られるため、3の問題については対象外としました。</p>
<p>few-shot learningの手法は、この論文(<a href="https://arxiv.org/abs/1904.04232">https://arxiv.org/abs/1904.04232</a>)を参考にしました。
この論文では、ニューラルネットワークの全結合層にcosine distanceを適用することによりfew-shot時の精度向上を図っています。</p>
<p>OOD検出手法は、この論文(<a href="https://arxiv.org/abs/2205.09310">https://arxiv.org/abs/2205.09310</a>)を参考にしました。
画像分類モデルは学習が進むにつれsoftmax関数の出力値がクラス間で極端な分布になりがちですが、この論文ではlogit normという誤差関数を用いてsoftmax関数の出力値をなだらかにすることで「自信過剰」な推定の防止を図っています。</p>
<p>以上の手法をベースとして異常分類モデルを改善し、量子化されたニューラルネットワーク上で精度検証を行いました。</p>
<p>2ヶ月という限られた期間ではありましたが、メンターの方とディスカッションを行いながら実験を進めることができ、インターンシップでの成果として仕上げることができました。</p>
<h2 id="インターンシップについて">インターンシップについて</h2>
<p>インターンシップでの勤務形態は、フレックスタイム・コアタイム無し・フルリモートと非常に自由度が高かったです。夏休み中も卒業研究の関係で度々大学に行くことがあったため、この勤務形態は大変ありがたかったです。</p>
<p>フルリモートではありましたが、coffee break timeや社内勉強会等の機会に恵まれ多くの社員の方々と交流できました。coffee break timeはメンターの方が中心になって企画してくださったのですが、個性的な社員の方々とチームや立場を超えて交流でき、自身の進路や将来を考えるうえで非常に参考になりました。</p>
<p>2ヶ月間のインターンシップでは、メンターの方々に大変お世話になりました。
プロジェクトに取り組むまでのキャッチアップ期間では、開発手法や異常検知分野の基礎知識について丁寧に教えていただきました。
プロジェクトに取り組み始めてからは、毎日のチームミーティングで、プロジェクトの進め方をはじめ幅広く意見をいただくとともに、思うように進捗が出せなかった時も優しく励ましていただきました。また、頻繁にディスカッションをさせていただき、一人で途方に暮れることなくプロジェクトを進めることができました。</p>
<h2 id="最後に">最後に</h2>
<p>短い期間でしたが、LeapMindのインターンシップでは貴重な経験ができ、非常に大きな財産になりました。
2ヶ月間、大変お世話になりました。</p>

Summer Internship 2022 –Wakai–Investigate the possibility of anomaly classification on quantized neural networks

<p>こんにちは。LeapMind インターン運営担当です。 本日は、2022年サマーインターンに参加されたインターン生の成果発表について記事にまとめたいと思います。</p>
<p>Hello, this is LeapMind Internship Administration Team. Today, we would like to share the presentations of our interns who participated in the 2022 Summer Internship Program.</p>
<p>はじめまして。LeapMindでインターンをしていた劉です。
夏休みの2ヶ月間、Network Development Kit (NDK)チームに参加させていただきました。
この記事ではインターン期間中の取り組みをはじめ、社内の環境や雰囲気など、インターンを通して得られたこと、感じたことを総合的に書かせていただきたいと思います。</p>
<p>Hello, I am Ryu, an intern at LeapMind.
I joined the Network Development Kit (NDK) team for two months as an intern during the summer vacation.
In this article, I would like to write a comprehensive report on what I gained and felt through my internship, including the project I worked on and the work environment and atmosphere within the company.</p>
<h2 id="インターン期間中の取り組み--the-project-i-worked-on-during-my-internship">インターン期間中の取り組み / The project I worked on during my internship.</h2>
<p>今回のインターンの課題はBinary Neural Networkに関する新しい論文[1]の再現実験をするというものでした。この課題にインターン生2人で取り組みました。論文では、重みパラメータとアクティベーションの両方をそれぞれ1bitにするという大胆な量子化を提案しています。それでいて、ImageNetを用いた分類問題を始め、CNNが得意とするさまざまな課題で量子化前と同程度の性能を出せることを論文では主張しています。ニューラルネットワークの量子化という分野において精度の低下は常に頭を悩ませてきた問題であるため、「量子化前と同程度の性能」をたったの1bitずつで実現できるのであれば、それは驚くべきことであり、今後のLeapMindの製品に役立つことも期待できます。</p>
<p>The project for this internship was to experiment to reproduce a new research paper on Binary Neural Networks [1]. The two interns including me worked on this assignment together. The research paper proposes a bold quantization scheme in which both the weight parameter and the activation are set to 1 bit. Despite this, they claim that they can deliver the same level of performance as before quantization in various tasks that CNNs are good at, such as classification problems using ImageNet. Since accuracy degradation has always been a major problem in the field of neural network quantization, if "the same level of performance as before quantization" with only 1 bit each could be realized, it is a remarkable achievement and will be useful for LeapMind's future products.</p>
<p>こうしたモチベーションによって始まった今回の再現実験ですが、予想以上に難航してしまいます。論文にソースコードは提供されていません。学習率のようなハイパーパラメータや、オプティマイザのような再現に必要な情報も提供されていません。そのため、これらは過去の経験や他の実装から推測することになります。ハイパーパラメータ探索の大変さを見くびることはできませんが、ここまでの苦労であれば他の論文の再現でも必要となることは多いでしょう。本論文の再現において最も苦労したのは、ニューラルネットワークの形が分からないという点でした。</p>
<p>Although these motivations led us to start this reproduction experiment, it turned out to be more difficult than expected. The source code has not been provided in the paper. Neither are hyperparameters like learning rate or necessary information for reproduction, such as optimizers, provided. Therefore, we had to infer these from experience and other implementations. We cannot underestimate the difficulty of hyperparameter search, however, this much effort will often be necessary for the reproduction of other papers. The most difficult part of reproducing this research paper was not knowing the shape of the neural network.</p>
<p>具体的に1つ例を挙げましょう。下の図は論文が提案するネットワークにビット幅の注釈をつけたものです。</p>
<p>Let me give you one specific example. The figure below shows the network proposed by the paper with bit width annotations.</p>
<p><img src="/images/posts/news/summer-internship-2022-ryu-exploring-binary-neural-networks/f05c0373-ryu-san-360x440.png" alt="具体イメージ"></p>
<p>赤の破線は4bitと書かれていますが、なぜ4bitとするのか、どういう構造で4bitになっているのかを論文から読み取ることができませんでした。結局、再現実験ではここを4bitにすることを諦め、ハードウェアでの実行可能性を損ねないように注意しながら、論文の記述になるべく近いアーキテクチャを探索しました。</p>
<p>The red dotted line indicates 4 bits, but we could not figure out from the paper why it should be 4 bits or what kind of structure makes it 4 bits. In the end, we gave up on making this part 4-bit in the reproduction experiment and searched for architecture as close as possible to the description in the paper, being careful not to impair the executability of the hardware.</p>
<p>こうした試行錯誤によって精度は次第に改善されていったものの、論文の言うような「量子化前と同程度の性能」をインターン期間中に出すことはできませんでした。その意味で論文の完全な再現には失敗したものの、重みとアクティベーション両方を1bitにした量子化の結果としてはまずまずな精度を得ることができたと思います。とりわけ、他のメンバーとのディスカッションを通じて、良い精度のアーキテクチャを自ら提案できたことはとても嬉しく思います。</p>
<p>Although the accuracy was gradually improved through these trial and error processes, we were not able to generate "the same level of performance as before quantization," as stated in the paper, during the internship program. Although we failed to reproduce the paper completely, I believe that we were able to produce a good level of accuracy as a result of quantization with 1-bit weights and activation. Above all, I am very happy that I was able to propose a good accuracy architecture through discussions with other members of the group.</p>
<h2 id="開発環境--development-environment">開発環境 / Development environment</h2>
<p>大学の課題や研究において、チームで開発することは多くありません。数十人規模ともなるとなおさらです。LeapMindでは、社内のソースコードをほぼ1つのレポジトリで管理しています。コードを書いたらプルリクエストを出し、読みやすさ等の評価をクリアするとマージされます。このコードレビューのおかげで、ソースコードはとても読みやすく、簡単な変更であればすぐに変更箇所を見つけ出すことができました。実際にプルリクエストを出してレビューしてもらったり、他の人の書いたコードをレビューしたりすることは、私にとって学びの多い新鮮な経験になりました。</p>
<p>In university, there are not many opportunities to develop in teams on assignments or in research, especially when there are dozens of people involved. At LeapMind, internal source code is managed in a single repository. When we write code, submit a pull request, and once it meets readability and other criteria, it is merged. This code review makes the source code very legible and allows us to find changes quickly if they are simple changes. Submitting pull requests to be reviewed and reviewing code written by others was a great learning and refreshing experience for me.</p>
<p>LeapMindでは、Bazel、Neptuneなど、研究開発を効率化するツールをいくつも使用しています。これらのツールは大学の研究に役立ちそうなものも多く、インターン終了後も自分の開発に役立てていきたいと考えています。このようなツールが多く使われている背景には、環境の変化を恐れず新しい技術を貪欲に取り入れていく、ベンチャー企業らしいとも言える風土があると感じます。</p>
<p>LeapMind uses several tools to streamline research and development, including Bazel and Neptune. Many of these tools seem to be useful for university research, and I plan to continue using them for my development even after my internship is over. I feel that the reason why many of these tools are used is because of the corporate culture, which is characteristic of a venture company, of not fearing changes in the environment and eagerly adopting new technologies.</p>
<h2 id="社内の雰囲気環境company-culture-and-environment">社内の雰囲気・環境/Company culture and environment</h2>
<p>フレックスタイム、コアタイムなし、フルリモート可という働き方の自由さにまず驚かされました。休暇も基本的に自由に取ることができ、社員の方も含め休みづらさといったものは全く感じませんでした。オフィスに出勤したいときには出勤することもでき、モニター2台の快適な環境で作業することができました。</p>
<p>I was amazed at the flexibility of the working style: flextime, no core hours, and full remote availability. I was also able to take vacations when I wanted to, and I never felt uncomfortable taking time off, including among the employees. I was also able to go to the office whenever I wanted to and work in a comfortable environment with two monitors.</p>
<p>COVID-19の影響もあり出勤する方が少なく、社員の方と対面でコミュニケーションを取る機会が非常に限られていた点は好みが分かれる部分だと思います。それでも、ランチ会やCoffee Breakを通じて、オンラインで多くの社員の方との会話の機会を確保していただきました。経歴や趣味など個性的な方も多く、会話していて楽しかったです。また、技術的に分からないことがあっても気軽に質問することができ、詳しい方に助けてもらうことができました。社員の方の技術力の高さにも驚かされました。</p>
<p>Due to COVID-19, few people came to the office, and the opportunities for face-to-face communication with employees were very limited, which I think is something that people may have different preferences for. Nevertheless, through lunch meetings and Coffee Breaks, I was able to have opportunities to talk with many employees online. I enjoyed talking with many unique people with unique backgrounds and interests. Also, I was able to easily ask questions about technical issues and was able to get help from people who were familiar with the subject matter. I was also amazed at the high technical skills of the employees.</p>
<h2 id="最後に--conclusion">最後に / Conclusion</h2>
<p>あっという間の2ヶ月間でした。もともと興味のあるテーマでしたが、最後まで興味を持って取り組むことができました。実験の結果、過去最高のスコアが出たときの興奮は今でも忘れません。LeapMindでインターンをすることができて本当に良かったと思っています。大変お世話になりました。</p>
<p>The two months went by very quickly. It was a topic that I had always been interested in, and I was able to work on it with great interest until the very end. I still remember how excited I got when we got the highest score ever as a result of the experiment, and I am very happy to be an intern at LeapMind. Thank you very much for all your support!</p>
<h2 id="参考文献--references">参考文献 / References</h2>
<p>[1] Nie, G., Xiao, L., Zhu, M., Chu, D., Shen, Y., Li, P., ... &#x26; Chen, B. (2022). Binary Neural Networks as a general-propose compute paradigm for on-device computer vision. arXiv preprint arXiv:2202.03716.</p>

Summer Internship 2022 – Ryu – Exploring Binary Neural Networks

<p>「何か一つでも多くのことを持ち帰ってくれたら、それだけでインターンとしては大成功だと思います。」</p>
<h2 id="introduction">introduction</h2>
<p>はじめまして！
2021 年の夏の間、LeapMind の Summer Internship Program として Anomaly Detection チームに参加させていただいておりました、伊集です。</p>
<p>今年で学部二年生になって、そろそろ進学や就職について考え始める時期にさしかかったこともあり、思い切ってインターンに参加させていただきました。
何もかもが初めてのことだらけであり、正直なところ不安に思うことは多くありました。そんな中、チームや会社のみなさんはとても暖かく迎えていただけましたし、とても快適なインターン生活だったかと思います。</p>
<p>中でも、インターンが始まって一週間ほどが経過したときに、チームメンバーやサブメンターとして仕事をサポートしていただいた今村さんがかけてくださった言葉が冒頭のものでした。
このインターンを通して一番うれしかった一言でもありますので、この post では、私がこのインターンから持ち帰った思い出たちの一部を、会社やインターンの雰囲気とともにお伝えできたらなと思います。</p>
<h2 id="働き方や働いてみてのこと">働き方や働いてみてのこと</h2>
<p>私が作業をするときに感じる煩わしさの一つとして、各種サービスにおけるアカウントの管理などがあります。IDがあったり、メールアドレスでログインしたり、パスワードに記号が使えないサービスがあるかと思えば、逆にパスワードに記号がないとアカウントが作れないサービスもあったりなどです。</p>
<p>しかし、LeapMind でインターンを始めてから業務を終えるまでの間を振り返ってみると、Google アカウントでのログインが基本になっていることもあってそういった煩わしさが一切なく、非常に快適に過ごすことができたかと思います。</p>
<p>また、何かわからないことがあれば何でも自由に聞ける slack のチャンネルがあったりと、どうしても発生してしまう煩わしさや業務上のストレスが削ぎ落とされており、こうした工夫が快適な労働環境に繋がっていたのではないかなと思います。</p>
<p>COVID-19 の影響もあって、今回のインターンはフルリモートでの開催となりました。東北の片田舎からしか働けなかったことを残念に思う一方で、</p>
<p>コアタイムなし！！
フルフレックス！！
オンライン出社！！</p>
<p>という、時間に一切縛られない働き方ができたことで、精神的にはとても穏やかに働くことができたのかなと思います。</p>
<h2 id="coffee-break-ができた">Coffee Break ができた</h2>
<p>一方で、やはりオンラインでインターンをする大きなデメリットとして、社内の他のチームの方とコミュニケーションをする機会が一切ないというものがあります。入社して一週間が経過したタイミングのミーティングでもこの話題が上がり、今村さんが「せっかくインターン来たのにもったいないですね〜」と仰られていたことを覚えております。</p>
<p>そのことをきっかけとして、毎日 16:45 頃から、雑談をする時間として Coffee Break という誰でも参加できる場を設けられました。話が出た翌日には企画として立ち上がっていたこともあり、フットワークの軽さには感動しました。</p>
<p>時間の都合などもあり、来た方は一部の人に限られてはいたのですが、人事の方が他部署の方々を引っ張ってきてくれたりと、多くのチームの方とお話する機会になりました。</p>
<p>「他のところのインターンにも行ってみて、ここが本当に合っているのか、自分に合う場所はどういうところかをちゃんと模索した方が良い」などといった、どちらかと言うと会社としてはデメリットになり得るようなアドバイスなども個人的にしていただいたりと、業務には関わらない多くのことをこの場で学べたのではないかと思います。</p>
<p>僕が早く出勤して早く退勤した翌日の朝、先輩社員の方が残した「コーヒーブレイク誰もこん」「松田さん(※CEO)と二人きり気まずい」といったログをみて、朝から声を出して笑ったこともありました。その節はタイミングが悪くて出席できず、大変申し訳なかったです。</p>
<h2 id="ランチ会">ランチ会</h2>
<p>その他のコミュニケーションの場として、インターン中に 5 回ほどオンラインランチ会が設けられました。</p>
<p>それぞれの会ごとに異なるメンバーが集まっていましたが、本当に雑談をするだけの場という雰囲気で開催されていました。CRO の兼村さんと CTO の徳永さんが参加された会ですら、顕微鏡を使う歯医者さんの話が一番長く話されたのではないかと思います。</p>
<p>オンライン上でのコミュニケーションだと相手の為人がわかりにくい側面があり、実はユニークで面白い人がそっけなく見えたりと、短い期間で打ち解けるには難しい部分もあったかと思います。あとから振り返ってみると、インターンとして参加した私達に対して、こうした雑談の場を設けていただけたことは、そのとき考えていた以上に作業を円滑に進められるようになることに役立っていたのかなと思いました。</p>
<h2 id="全社ミーティングに参加したこと">全社ミーティングに参加したこと</h2>
<p>自己紹介も兼ねて、全社ミーティングに参加させていただく機会もありました。</p>
<p>開始時の挨拶として、山崎さん(※えらい人)が「本日、私の誕生日の、ちょうど1ヶ月後であるめでたい日に開催できることを嬉しく思います。」などと冗談を仰られていたので、(おっ、山崎さんとたまたま誕生日がちょうど半年違いだな)と思い、「私の誕生日のちょうど 5 ヶ月前の記念すべきこの日に自己紹介させていただけることを〜」なんて言おうと用意していたところ、そこから自己紹介までの間に松田さんがかなり真面目な話をされていて、全くそんなことを言い出せる雰囲気ではなく、「こんにちは、伊集と申します。え〜〜〜〜……福島県の大学二年生で……」といった普通の自己紹介に落ち着きました。
社会では、その場の空気を読んで用意した手札を躊躇せず捨てるスキルが求められることを学べました。捨てた手札の代わりに持ち帰りたいと思います。</p>
<p>後々他の方からお話を伺う限り、インターン生に対して経営状況などの内部情報を公開しない会社も多くあるようです。公開するか否かはいずれも一長一短ではあるかと思いますが、僕が参加した限りでは、会社の一員になれたようで嬉しかったですし、松田さんの話を聞いて、少しでも会社に貢献できるよう頑張りたいなというモチベーションにもなり、結果としては良い方向に作用していたのではないかと思います。</p>
<h2 id="最後に">最後に</h2>
<p>一ヶ月半の間 Anomaly Detection チームに所属して異常検知の課題に取り組んだこともそうですし、ここには書けなかったことも含め、たくさんの経験を頬袋をパンパンに膨らませて持ち帰ることができたかと思います。</p>
<p>一度も出社できなかったことだけが心残りですが、また近い将来、お世話になった方々に会える機会があれば、今度はこちらからお土産を渡せたら嬉しいです。</p>
<p>短い期間ではありましたが、大変お世話になりました！</p>

Pure Cultural Chipmunk’s Internship Participation – Hikari IJU

<p>こんにちは、Anomaly Detectionチームで1ヶ月半ほどサマーインターンに取り組んだ仲吉と申します。</p>
<h2 id="取り組んだ内容">取り組んだ内容</h2>
<p><img src="/images/posts/news/heuristic-approach-may-be-useful-in-anomaly-detection/6cfee00e--2021-09-16-10.07.44-e1631871043654-660x356.png" alt="What Did I during Internship?"></p>
<p>今回検討を行った異常検知の手法では、最初に特徴ベクトルから代表点を抽出しそれを利用して異常度を出します。</p>
<p>論文中の手法では貪欲法によって代表点を選択しますが、適当な目的関数を設定して焼き鈍し法を適用することで精度を向上させることを目標に取り組みました。</p>
<p>貪欲法でも高い精度が得られることと精度自体を目的関数にするのは難しいことから、この貪欲法がどのような目的関数を小さく、もしくは大きくしようとしているのかを考察し、その最適化を目標とする焼き鈍し法を行うというアプローチを取りました。</p>
<p><img src="/images/posts/news/heuristic-approach-may-be-useful-in-anomaly-detection/2c7a1e88--2021-09-16-10.10.05-e1631871057492-660x353.png" alt="Transition of Objective Function"></p>
<p>期間中は様々な目的関数を試しましたが、なかなか精度向上に繋がる目的関数は見つからず実際の問題に取り組む難しさを実感しました。</p>
<p>始まってからもしばらくは方針が立ちませんでしたが、予想を立てての実験や結果のビジュアライズに合わせてアドバイスを頂くことで最終的には僅かではありますが改善することができました。</p>
<h2 id="労働環境などについて">労働環境などについて</h2>
<p>労働時間は比較的自由が効き、ミーティングなどがなければ仮に寝坊などをしてしまってもなんとかなるため安心して労働することができました。</p>
<p>インターン中はチームのメンターの方にも気軽に質問することができる雰囲気でしたし、毎日マネージャーとの1on1があって取り組んでいる課題について質問したり方向性を修正していただいたりとやりやすかったです。</p>
<p>また、サマーインターンといえば美味しいランチを食べられるイメージがありましたがフルリモートということもあり無理だろうと考えていました。
ただ、ほとんど毎週のようにチームの方だったりCTOやCROの方、過去にインターンに参加した社員の方とオンラインでランチをしながら色々な話を聞く機会がありました。
途中からは夕方にコーヒーブレイクとして会社の色々な方が参加して雑談するイベントもあり面白かったです。</p>
<h2 id="最後に">最後に</h2>
<p>異常検知という分野に関する知識は何もなかった私でも、質問を駆使することで必要な部分は把握して課題に取り組むことができました。
短い期間ですが楽しいインターンでした、ありがとうございました！</p>

Heuristic Approach may be Useful in Anomaly Detection

<p>こんにちは、 2020年度のサマーインターン生の高橋と申します。
一ヶ月強CTOの徳永さんのもとで、調査および研究に取り組みました。</p>
<h2 id="取り組んだ内容">取り組んだ内容</h2>
<p>Data-Free Knowledge Distillationと呼ばれる分野に関する調査研究を行いました。ひとことで言えば、学習データを使用せずに学習済みのモデル(teacher network)のみから新たなモデル(student network)へ転移学習(transfer learning)しよう、という枠組みになります。
例えば、データセットを作成する企業と最終的に最適化されたモデルを作成する企業は別の会社かもしれません。もし学習データを必要としなければ、開発の自由度が上がります。</p>
<p><img src="/images/posts/news/takahashi-summerintern/913caee9-takahashi-san2-660x371.png" alt="Data-Free Knowledge Distillation"></p>
<p>今回のインターンでは、敵対的学習(adversarial learning)による手法を検証しました。この手法では画像を生成する生成器(generator)を導入し、student networkはteacher networkの出力と一致させるように学習し、一方でgeneratorはteacherとstudentの出力が異なるような画像を生成させるよう学習します。</p>
<p>CIFAR-10のようなクラス数が少ない画像分類(image classification)と画像セグメンテーション(semantic segmentation)では、teacher networkとほぼ同程度の性能が実現できることが分かりました。一方、クラス数が多い画像分類や物体検知(object detection)では同等レベルまで学習させることは困難でした。</p>
<p><img src="/images/posts/news/takahashi-summerintern/2507e0fc-takahashi-san3-660x371.png" alt="Classification CIFAR-10(10 classes)"></p>
<h2 id="労働環境など">労働環境など</h2>
<p>フルリモートであるにも関わらず、スムーズに支障なくインターンを始めることができました。機械学習の研究開発に必要な設備が整っており、ミーティング等に参加していても風通しの良さを一貫して感じました。</p>
<p>一ヶ月強のあいだありがとうございました。</p>

Data-Free Knowledge Distillation

<p>こんにちは、2020年度のサマーインターン生の春日と申します。
Blueoil チームで1か月ほど、同じくインターン生の脇坂さんと一緒に開発に携わりました。
取り組んだことなどを簡単に書いていきます。</p>
<h2 id="取り組んだ内容">取り組んだ内容</h2>
<p>Blueoil では、入力として受け取った学習済みのモデルを、FPGA 向けに最適化して出力することができます。FPGA にカメラ等をつなげて画像を受け取り、前述のモデルを使用することで、リアルタイムで推論を実行することができます。今回のインターンでは、FPGA にカメラをつないでリアルタイムで表情検出を行うことがテーマでした。私は推論の実行部分の高速化をメインに行いました。加えて、開発途中で発見した Blueoil のバグやドキュメントのタイポの修正を行いました。</p>
<h2 id="demo">Demo</h2>
<p>Demeの動画は<a href="https://www.youtube.com/embed/kxMzKy07I1s">こちら</a>からご覧いただけます。</p>
<p>結果として、インターン開始時は 10fps 程度で精度もあまり良くありませんでしたが、最終的には 15fps 程度でそこそこの精度を出すことができました。</p>
<p><img src="/images/posts/news/kasuga-summerintern/bb0c87af-intern_kasuga2-660x371.png" alt="Data-Free Knowledge Distillation"></p>
<h2 id="労働環境など">労働環境など</h2>
<p>リモートワークということで最初はいろいろと不安でした。しかし、メンターの方を始めとする社員の方々が、疑問点などに対してすぐに回答してくれたので円滑に作業を進めることができました。特にメンターの方は、次の作業や方針を決めるためにいつも相談に乗ってくれました。</p>
<p>短い期間でしたが、メンターの方々、チームの方々、社員の方々に感謝の意を示します。
ありがとうございました。</p>
<p>共同研究を行った脇坂さんの<a href="https://leapmind.io/news/details/wakizaka-summerintern">ブログ</a>はこちらからぜひご覧ください！</p>

Facial Expression Recognition with Blueoil ~Acceleration of execution~

<p>みなさんこんにちは！サマーインターンとして2ヶ月間課題に取り組んだ、脇坂と申します。
今回のインターンでは Blueoil Division と呼ばれる部署に所属し、メンターの飯塚さん、Wasinさん、僕と同じくインターン生の春日さんとともに課題に取り組みました。</p>
<p>以降では、僕達が取り組んだプロジェクトについて説明させていただきます。</p>
<h2 id="プロジェクト概要-blueoil-を用いた顔表情識別プロジェクト">プロジェクト概要: Blueoil を用いた顔表情識別プロジェクト</h2>
<p>僕達の目標は、OSS である Blueoil を用いて、人物の含まれる画像から顔領域を抜き出し、その顔の表情を識別するデモを作成することでした。これまで Blueoil を用いて表情識別する試みは行われていなかったようで、本プロジェクトの成果によりバイナリ量子化NNでの表情識別の精度及び推論実行性能が評価できるようになります。また、デモは DE10-Nano FPGA ボード上でリアルタイムで行うため、それなりの性能を求められます。具体的には、</p>
<ul>
<li>10 FPS 以上</li>
<li>推論精度50％以上</li>
</ul>
<p>を要求され、特に前者のリアルタイム性を達成するのが難しいポイントです。
今回は春日さんと2人での取り組みであったため、僕は主に顔表情識別の部分を担当し、春日さんにデモの高速化をお願いしました。</p>
<p>まず最初に、<a href="https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/overview">FER2013</a>データセットを用いて学習ができるようにデータセットローダーを実装しました。FER2013 では、48x48 のグレースケールの顔画像を Angry, Happy, Fear などの7つの表情クラスに識別するタスクになります。</p>
<p><img src="/images/posts/news/wakizaka-summerintern/521d5c93-intern_wakizaka1.png" alt="FER2013"></p>
<p>Blueoil に参考になる実装もありましたので、データセットローダーの実装はあまり難しくありません。また、学習に使うネットワークは Blueoil に実装されている既存の LmnetV1(Quantize) を用いました。学習のパラメータを調整したり、augmentor を利用して過学習を避けるようにし、学習したモデルについての評価・議論を社内ブログ記事としてまとめたりしました。</p>
<p>また、インターンの後半では、プロジェクトで予定していたタスクを超えて、複数の推論モデルを実行するための環境について議論をすすめました。最終的には、社内ではまだ誰も試みていなかった複数モデルの実行を実現しました。さらに、実行の手順などのドキュメントを社内ブログにまとめ、引き継ぎがスムーズに行えるようにしました。</p>
<h2 id="結果">結果</h2>
<p>ここでは、学習したFER2013のモデルの推論精度および推論速度について、量子化あり・なしでの変化を比較します。まず最初に、推論精度について比較します。今回のモデルは FER2013 の Train データを用いて学習し、PublicTest データを評価用のデータとして用いました。また今回は分類タスクですので、指標には Top1 Accuracy（最も重みが高い値が正解と一致するか）を用いて評価を行います。</p>















<table><thead><tr><th>推論精度 [%]</th><th>量子化なし</th><th>量子化あり</th></tr></thead><tbody><tr><td>Top1 Accuracy</td><td>66.4</td><td>66.2</td></tr></tbody></table>
<p>Figure 1. 推論精度の比較 / Top1 accuracyを指標とする</p>
<p>この結果から、意外にも量子化を行ったとしても精度がほとんど変わらないという結果になりました。個別のデータを見てみると、Angry, Happy, Surprise といった表情筋を大きく動かす表情の精度は比較的高く、Disgust, Fear といった繊細（あるいは曖昧）な表情の精度は低いという結果になりました。</p>
<p><img src="/images/posts/news/wakizaka-summerintern/fad6045b-wakizaka-result.png" alt="Result"></p>
<p>次に、推論速度を比較します。推論速度の計測は DE10-Nano FPGA Board 上で行い、10回分の実行時間を平均化した値で比較します。</p>




















<table><thead><tr><th>推論速度 [ms]</th><th>量子化なし</th><th>量子化あり</th></tr></thead><tbody><tr><td>x86_64 (AVX)</td><td>11.771</td><td>3.987</td></tr><tr><td>FPGA, ARM</td><td>325.379</td><td>14.029</td></tr></tbody></table>
<p>Figure 2. 推論速度の比較</p>
<p>表にあるとおり、推論速度については FPGA 上では約23倍もの高速化が見込めました。精度結果と合わせると、推論精度をほとんど落とすことなく高速化できていることになります。</p>
<h2 id="まとめと将来の課題">まとめと将来の課題</h2>
<p>春日さんの成果もあわせると、最終的に以下の当初の目標を達成することができました。</p>
<ul>
<li>Blueoil を用いた顔表情識別</li>
<li>FPGA 上でのリアルタイムかつ高精度な顔検出・識別タスク</li>
</ul>
<p>またこれらの課題を解決するに過程の副産物として、既存のソースコードに含まれるバグやドキュメントの修正、新しいタスクのためのドキュメント整備を行いました。
今後の課題としては、例えば以下のようなものが挙げられます。</p>
<ul>
<li>表情識別モデルの改善</li>
<li>複数モデルを動作させる際のユーザビリティの向上</li>
<li>複数モデルの実行</li>
</ul>
<p>1つ目の表情識別モデルの改善についてですが、今回は既存のネットワークの構造自体には深入りせず、パラメータの調整だけを行っていました。2020年現在、SOTA （追加データなし）は 72.7% ですので、改善の余地があると考えます。パラメータの調整だけでは限界が見られるので、より精度の高いモデルを得るためにはネットワーク構成から見直したほうが良さそうです。</p>
<p>2つ目の課題は、今回のように複数モデルを動作させるようなタスクにおいて、よりユーザビリティを高めるようなツールを提供することです。現状は変換で生成される設定ファイルやソースコードを人間が手動で書き換える必要があるのですが、少しややこしい手順になるので機械的に行うのが理想です。本プロジェクトの後半では、僕は主にこのタスクについて取り組んでいましたが、時間やタスクの規模の関係で完遂することはなりませんでした。資料などは残してあるため、次の作業に役立てていただければと思っています。</p>
<p>最後の課題としては、複数の推論モデルを並列実行できるようにすることが挙げられます。ただし、この問題を解決するには、並列実行できるようにするためのコストとのトレードオフがあること、そもそもの IP の設計の見直しなど非常に大きなプロジェクトになると考えられます。</p>
<h2 id="インターンを振り返って">インターンを振り返って</h2>
<p>実は僕は機械学習に全く取り組んだことがない人間でしたので、今回このようなタスクに取り組むにあたって少し不安を抱えていました。しかしながら、メンターの飯塚さんや Wasin さん、その他フルタイムメンバーの皆様が僕の質問に真摯に対応してくださり、なんとか目標を達成することができました。2ヶ月間、普段取り組まない新しいことに挑戦でき、刺激的な毎日で楽しかったです。この場を借りて、皆様に感謝申し上げます。</p>
<p>今回のインターンで学んだことは、チームメンバーと協力して作業に取り組むことと、能動的に課題を見つけようとすることの大切さです。実際、インターン中はミーティングなどを通してメンバーが取り組んでいる問題を共有し、次に取り組むべき課題を見つけることが多かったです。また自らで課題を見つけてそれをチームで共有する中で新たな試みが生まれ、当初の目的以上の成果を上げることもできました。こうした経験は長期のチーム開発でなければ得ることが難しい貴重なものだと思います。</p>
<h2 id="最後に">最後に</h2>
<p>本インターンは、今後より需要が高まっていくとされるエッジコンピューティングの分野に深く触れる機会になると思います。またインターン生であっても、能動的に新しい課題を見つけて取り組むことのできる環境です。深層学習や、それを実デバイスで動かすことに興味のある皆様は、ぜひインターンにご応募ください！</p>
<p>共同研究を行った春日さんの<a href="https://leapmind.io/news/details/kasuga-summerintern">ブログ</a>はこちらからぜひご覧ください！</p>
<p>References
<a href="https://github.com/blue-oil/blueoil/pull/1172">https://github.com/blue-oil/blueoil/pull/1172</a>
<a href="https://github.com/blue-oil/blueoil/pull/1177">https://github.com/blue-oil/blueoil/pull/1177</a>
<a href="https://github.com/blue-oil/blueoil/pull/1185">https://github.com/blue-oil/blueoil/pull/1185</a></p>

Facial Expression Recognition with Blueoil

<p>はじめまして、LeapMindでインターンをしていた古賀です。
2020年 8/20~9/25までの約1ヶ月間お世話になっていました。今年は、コロナウイルスの影響もあり完全リモートでの参加となり、始めは不安なこともたくさんありましたがメンターである東さんをはじめ、たくさんの方のおかげで1ヶ月を過ごすことができました。
この記事では、私のインターンについて軽くお話しさせていただきます。</p>
<h2 id="取り組んだ内容について">取り組んだ内容について</h2>
<p><img src="/images/posts/news/koga-summerintern/475566f4-koga-presentatioin-blog2-660x371.jpg" alt="The Effect of Cost Sensitive in Object Detection"></p>
<p>私は物体検知における不均衡問題についての調査を行いました。
物体検知における不均衡問題は物体のスケールやクラスの分布が偏っているときに引き起こされます。
実応用として考えられる自動運転や医療診断では、必ずと言っていいほど起こる問題である為、不均衡問題への対処は重要な課題となっています。
今回は、新しい手法の提案ではなく既存の手法をいくつか試しどの程度精度に影響があるのかを調査しました。
環境構築や調査にかなりの時間を費やしたため進捗自体も順調とは言えなかったのですが、今後の研究を行う上での自分の課題なども指摘していただき、とてもためになるインターンを過ごすことができました。</p>
<p><img src="/images/posts/news/koga-summerintern/0ce4027b-koga_summer_intern_final_presentation-660x371.png" alt="Imbalance Problems in Object Detection"></p>
<h2 id="リモートでの作業">リモートでの作業</h2>
<p>今回のインターンシップではコロナの影響もあり完全リモートでの参加でした。
完全リモートということで職場の雰囲気を直で感じ取ることはできませんでしたが、毎日のメンターさんとのミーティングやオンラインでのトランプ大会などリモートでもできるだけ接点があるようにイベントを開催していただきました。</p>
<h2 id="最後に">最後に</h2>
<p>LeapMindでのインターンでは各インターン生にメンターがつきます。そのため分からないことがあっても気軽に質問することができます。ご興味がある方は是非<a href="https://hrmos.co/pages/leapmind/jobs">応募</a>してみてください。</p>

The Effect of Cost Sensitive in Object Detection

<p>おはようございます。LeapMindで1か月(フルリモートで‼️)インターンシップをした岡本です。
実はこの記事は勤務最終日に何書くか決めてなくてやべ〜と言いつつ書いているので、このインターン周辺でしたことを書きます🤔</p>
<h2 id="インターン開始前">インターン開始前</h2>
<p>B3の夏だしインターンをしたいとAtCoderJobs(AtCoder社の運営する転就職に役立つサイト)を眺めているとLeapMind社の求人があったので応募しました。〜完〜
真面目な話をすると、機械学習に関わって高いアルゴリズム力が必要となるような求人は自分の興味にかなり合致しており、実際嬉々として応募しました。
競技プログラミングのレーティングで就活の一部ステップが免除になる場合があるので、いい時代に生まれたものだと思いながら面接やコーディング試験を受けました。みなさんも競技プログラミングを初めてみてはどうでしょう？(就活のためだけにするにはちょっときつい趣味なのでめちゃくちゃ強く推すわけではないですが、楽しいです)</p>
<h2 id="インターン本編">インターン本編</h2>
<p>PCや周辺機材が家に届きました(フルリモートなので)。画面越しに自己紹介をn回し、メンターさんと話したりして初日は過ぎて行きました。
このインターンでは、演算のDAG(有向非巡回グラフ)からバイナリを吐くコンパイラのチームに参加させていただき、DAGを適切な部分グラフに分割するパートの実装をしました。
二日目から最終日までは手元でコードを書いたりリモートからコードを取ってきたりして過ごしました。改良できる箇所をメンターさんと話し合ってエイヤと書き換えたコードで性能がよくなっているとかなりテンションが上がりました。書き換えたコードで性能がよくならず、なんで？？？？？？？？？？？？？？？？？となることもありました。
コンパイラの最終生成物をシミュレータで実行してみてメモリの読み書きやサイクル数を眺める日々でしたが、やはりこういった最適化は一筋縄では行かず、計算機なんもわからんの思いを強めることもありました。
メンターさんの丁寧な指導のおかげもあり、最終的にはうまくいくケースでサイクル数を半分近くまで削減することができました。</p>
<p><img src="/images/posts/news/okamoto-summerintern/967277a8-okamoto-san-660x371.png" alt="Graphs likely/unlikely to reduce cycles"></p>
<p>コードを書く以外の主な活動は(フルリモート)ランチ会がありました。
家の近くの適当な店でお弁当を買い(フルリモートで田舎にいるので、都会水準の予算でかなり奮発スケールの弁当を購入可能)、画面越しの人々と食べました。</p>
<h2 id="感想">感想</h2>
<p>インターン完走した感想ですが、自分は会話によるコミュニケーションよりテキストベースのコミュニケーションの方が好き/得意なので、フルリモートで助かった部分が大きいと思っています。
1か月という短めの期間でしたが、成果と呼べるものが出来上がったのも嬉しいです。
しかしやはりフルリモートだったので、顔を合わせたランチ会や、たまに立つらしいボードゲームなどを体験したかったという気持ちも残ります。社会人プログラマとボードゲームが…したい！</p>
<p>みなさんも(競技プログラミングのレートを利用して)<a href="https://hrmos.co/pages/leapmind/jobs">インターンシップ</a>に応募してみませんか？
お読みいただきありがとうございます。</p>

Accelerator efficiency optimization by graph-splitting

<p>初めまして、LeapMindさんで4ヶ月間インターンシップしました、西浦といいます。
こういった記事を書くのは初めてなので正直何を書けばいいのか分かりませんが、とりあえずインターン中に何をしたかと感想ぐらいは書いておこうと思います。</p>
<h2 id="インターン中のプロジェクト">インターン中のプロジェクト</h2>
<p>私のインターンシップは4ヶ月と期間が長かったこともあり、2つのプロジェクトを行いました。1つ目が「機械学習を用いた蒸発冷却実験の解析」というプロジェクト、2つ目が「データクレンジングによるモデルの性能向上」というプロジェクトです。</p>
<h2 id="機械学習を用いた蒸発冷却実験の解析">機械学習を用いた蒸発冷却実験の解析</h2>
<p>このプロジェクトは、元々LeapMindさんが行っていたものを引き継いだものでした。簡単に(?)説明すると、「蒸発冷却」という原子を冷やすための実験があり、その実験を行うには複数のパラメータを上手く調整しないといけません。調整自体は機械学習が自動的にやってくれる(前プロジェクトの成果(Nakamura et al. (2019)、すごい！)んですが、どのパラメータを使うかは事前に決める必要があります。そうなると一番効くパラメータから使いたいですよね？そこで、このプロジェクトです。</p>
<p>Nakamura et al. (2019)では、「ベイズ最適化」という手法を使って自動でパラメータを調整していますが、この時に「ガウス過程」を使います。そして、この「ガウス過程」になんやかんやしてやると最適化しながらどのパラメータが効くのかも出してくれます。</p>
<p>色々と専門用語が出てきて何を言ってるのか分からない方もいるかもしれません。でも大丈夫です。私もインターンシップに来る前は、この辺の知識は全くといっていいほどありませんでした。しかし、プロジェクトを進めるうえで、その知識を勉強することも含めて面倒を見て頂きました。このようにして、1つ目のプロジェクトは半分勉強をしながら約3ヵ月で終わりました。</p>
<h2 id="データクレンジングによるモデルの性能向上">データクレンジングによるモデルの性能向上</h2>
<p>データクレンジングとは、データセットから悪いデータ(本来そのクラスが持つべき特徴を持ってないデータ)を取り除くことで、識別器が間違った特徴を学習するのを防いで、性能を向上させようというものです。このプロジェクトは、1つ目のプロジェクトが終わってからの1ヵ月でやりました。期間が短かったのもあり、理論や手法の詳細を勉強する過程を飛ばして、実際にやってみてどうだったかを知ることがメインでした。実験を進める傍ら、報告用に資料をまとめたりと1つ目のプロジェクトに比べると忙しかったですが、色々とLeapMindの方々にサポートして頂いて何とか結果を出して終わることができました。</p>
<p><img src="/images/posts/news/4months-of-internship/e639ecca-image1.png" alt="登壇の様子"></p>
<h2 id="感想">感想</h2>
<p>振り返ってみると「4ヶ月ってあっという間だったな」というのが一番に出てきました。普通に考えると、4ヵ月って結構長いと思うのですがそう感じないってことはLeapMindさんでのインターンシップは非常に充実していたのだと思います。またプロジェクトに参加するだけではなく、社内で交流するイベントが多くあったことも良かったです。2週間に1回、他の部署の方たちとランチに行くShuffle Lunchという企画があったり、1週間業務を止めて自分のしたいことができるHackDaysという企画があったり他にも色々と企画がありインターンシップをより楽しむことができました。</p>
<p><img src="/images/posts/news/4months-of-internship/cd17b022-image3.png" alt="Shuffle Lunchの様子"></p>
<h2 id="最後に">最後に</h2>
<p>学生にとって一番重要かもしれない点を書いておこうと思います。</p>
<p>なんと、LeapMindさんのインターンシップでは、(一応上限はありますが)インターンシップ期間中の宿泊費を出してくれます。さらに給料まで出ちゃいます。</p>
<p>正直、学生の長期休暇なんてバイトして遊ぶばかりだと思います(少なくとも私はそうでした)。それだったら、インターンシップに参加してお金ももらいつつ有意義に過ごしたくないですか？</p>
<p>この記事を読んで少しでもLeapMindさんでのインターンシップに興味が出たら幸いです！</p>

News