ARフィルタで伝える環境保護メッセージ

Algorithm recognizing you

インスタグラムはどのように私たちの顔を調べて、その上にフィルターをかぶせるか？

How does Instagram recognize our faces, and put a filter over them?

Mechanism of the AR filter

インスタグラムでは主にDeepMaskとSharpMaskというアルゴリズムを通じて人の顔を認識する。この2つは深層ニューラルネットワークの一種である合成積ニューラルネットワークであり、画像認識に特化するように学習されたアルゴリズムである。

If you have ever used an Instagram AR filter, it is likely the work of DeepMask and SharpMask algorithms. These algorithms are a convolutional neural network (CNN), which is a type of deep neural network. In the case of DeepMask and SharpMask, they are specialized in the area of image recognition. The process goes as following.

まず、写真は以下の形式でピクセル化され、アルゴリズムに認識されます。

First, an image is inputted to the algorithm after it has been pixelated as the image below.

しかし、実際にインスタグラムの場合、ユーザーがカメラの電源を入れたときにリアルタイムで動く画面に加えて、さまざまな色合いや色合いなど、より多くの情報を受け取る。そして、これらの情報は優先的にDeepMaskアルゴリズムに入力されます。

But in the case of Instagram, the amount of information and its complexity is far greater, due to the constant camera movement and the various colors and shadows. All the information of the image is inputted initially in the DeepMask algorithm. 

DeepMaskアルゴリズムは、既に学習された情報に応じて、似たような色合いと色のピクセルを区別して1つのパッチにまとめます。また、DeepMaskアルゴリズムは各パッチ内に別のパッチがあるか、そしてもしあれば新しく区切られたパッチと既存にあったパッチとの相関関係はどれかを区分して各オブジェクトを分割し、各オブジェクトの相互関係を調べ、これを返します。

The DeepMask algorithm is able to patch together pixels with similar colors and shadows, through the information it trained with. Furthermore, the algorithm is able to determine segments of the patches, meaning that it is able to determine whether if there is a distinguishable patch within a patch, and further identify the mutual relationship between the nested patches, and return the result

DeepMaskから返された情報はSharpMaskアルゴリズムに入力され、さらにトリミングされます。 DeepMaskアルゴリズムでは、写真と呼ばれる大きな画像から情報を分割して抽出した後に最も基本的な形式にした場合、SharpMaskは再びそれらの情報を組み合わせて写真を再構築します。 SharpMaskはまた、提供された情報と、学習された情報を介して写真のものが何であるか、そしてプログラムが望むものが正しいかどうかを区別します。

Information returned from DeepMask is further polished through the SharpMask algorithm. If DeepMask divided and extracted specific informations from the big picture (quite literally) and organized them into small segments of information, SharpMask then reorganizes the information by connecting them together to recreate the image, in an understandable form by a machine. The SharpMask algorithm is able to identify what the objects from the image actually are through learned variables and weights, and further determine whether if the object is the target object of the program as a whole. 

Social Effect of AR Filters

上記の手順で顔が認識された場合は、人の顔の上に適切にフィルタをかけ、ユーザが望む写真を画面に出力する。このようなＡＲフィルタの結果は以下の通りである。

If the algorithmic process was able to successfully recognize a human face, then the program will put a filter on to the identified face, and print it on the screen. The results of this process can be seen below.

近年、ＡＲフィルタが脚光を浴びている理由は、このような個々人を通じて伝播することができる優れたウイルス性（virality）を有するためである。その例としてインスタグラムを見ることができる。最初の一人でこのようなARフィルタが注目されると、他の人もそれに応じてフィルタを使用するようになり、これは着実にインスタグラムを使用する人々の目を経て有名になる。

The reason why AR filters are catching people's eyes are due to their virality though networking effect. This can be seen frequently on Instagram. If a person uses a certain AR filter, and manages to get it on to other people's feeds, and further manages to get other people to join in on using the filter, the filter will spread out to other people's Instagram feeds, becoming viral. 

実際にフィルタを使用して共有した結果、フィルタについてさまざまな質問が入ってきました。主にフィルタに込められた意味や、特定のデザインの理由など、フィルタ自体のデザイン的な面についての質問もあったが、主にフィルタに含まれている意味について尋ねた。そしてフィルターが良い意義を持っていることを知ると、知人も一緒に加担してフィルターを使ってみた。このように脚光を浴びたARフィルタが良い意図を持っているならば、これは社会的にも良い影響を与える肯定的なバイラリティになるだろう。

After using the filter, I was able to receive many questions about the filter. There were a few questions regarding the design of the filter itself, but the questions were mostly about the meaning within the filters. When the questioner knew about the positive meaning behind the filters, they too were more than welcomed to join in and spread the filter. Just like this, if the filters have a positive intentions and meanings, then it may become a positive virality, spreading positive influence over our society. 

上記の例で使用されたフィルタは、前述の肯定的なウイルス性になる可能性がある。このフィルターはカーズ（CUZ）が行った公共キャンペーン「LOVE EARTH, SWITCH OFF（地球を生かす闇）」をベースに設計された。

LOVE EARTH, SWITCH OFF (地球を生かす闇)

「LOVE EARTH, SWITCH OFF（地球を生かす闇）」は、ハナムスターフィールドで進行しているマルチ参加型インタラクションメディアコンテンツプロジェクトだ。 「スイッチを切る私の小さな行動が集まって地球を生かす」というメッセージを伝えることが、本コンテンツの中核企画意図である。観覧客はスマートフォンを通じてメディアタワー空間の電灯スイッチを消し、メディアタワーの中の10個の空間の火が消えれば自然が再生され、地球が生き残る美しく幻想的な映像がプレイされる。最後には地球を生かすのに寄与した人の名前とARフィルターを適用したその人の顔がメディアタワー映像エンディングクレジットに現れることになる。アナモルフィック技術、多重参加インタラクション技術、AR技術は上記のプロジェクトをより多彩にしてくれる。

The project “LOVE EARTH, SWITCH OFF.地球を生かす闇” is a multi-participation interaction media content project, planned to happen in Hanam Starfield. The core intention of the project is to deliver the message, where “saving the earth can start from a small action of turning off a switch”. The audience can turn off a light switch on the media tower, and when all 10 switches are turned off, a wondrous video of nature regenerating and earth becoming alive is played, and at the end, the participant's name and picture, with the AR filter applied, is shown on the credits. The anamorphic technology, multi-participation interaction technology, and AR technology makes the project overall more vivid. 

技術の幾何級数的な発展を見ると、技術が私たちを先駆けているようだが、結局、その方向性は私たちが決めるものだ。 「LOVE EARTH、SWITCH OFF（地球を生かす闇）」のようなプロジェクトを通じて、今後も環境をはじめとする様々な社会的な問題を技術の発展を通じて解決できることを期待する。 

With the exponential advancements in technology, we often think that technology is overwhelming us. However, it is us who sets the direction of the advancements. With projects such as “LOVE EARTH, SWITCH OFF (地球を生かす闇)”, we hope to see how advancements of technology can contribute in resolving various social problems that humanity faces.