AR 필터로 전하는 환경보호 메세지

Algorithm recognizing you

인스타그램은 어떻게 우리의 얼굴을 알아보고, 그 위에 필터를 씌울까?

How does Instagram recognize our faces, and put a filter over them?

Mechanism of the AR filter

인스타그램 에서는 주로 DeepMask와 SharpMask라는 알고리즘을 통해서 사람의 얼굴을 인식한다. 이 둘은 심층 신경망의 일종인 합성곱 신경망 (convolutional neural network) 으로, 이미지 인식에 특화되도록 학습된 알고리즘이다.

If you have ever used an Instagram AR filter, it is likely the work of DeepMask and SharpMask algorithms. These algorithms are a convolutional neural network (CNN), which is a type of deep neural network. In the case of DeepMask and SharpMask, they are specialized in the area of image recognition. The process goes as following.

우선적으로, 사진은 아래와 같은 형식으로 픽셀화되어서 알고리즘에게 인식된다.

First, an image is inputted to the algorithm after it has been pixelated as the image below.

그러나 실제로 인스타그램의 경우, 사용자가 카메라를 켰을 때 실시간으로 움직이는 화면과 더불어, 다양한 색조와 음영 등 더욱 많은 정보를 받는다. 그리고 이러한 정보는 우선적으로 DeepMask 알고리즘에 입력된다.

But in the case of Instagram, the amount of information and its complexity is far greater, due to the constant camera movement and the various colors and shadows. All the information of the image is inputted initially in the DeepMask algorithm. 

DeepMask 알고리즘은 기존에 학습된 정보에 따라서, 비슷한 음영과 색깔을 가진 픽셀을 구분짓고 한 패치(patch)로 묶는다. 또, DeepMask 알고리즘은 각 패치 내에서 또 다른 패치가 있는지, 그리고 만일 있다면 새로 구분된 패치와 기존에 있던 패치와의 상관관계는 어떠한지 구분해서 각 물체를 분할하고, 각 물체들의 상호관계를 알아내고, 이를 반환한다.

The DeepMask algorithm is able to patch together pixels with similar colors and shadows, through the information it trained with. Furthermore, the algorithm is able to determine segments of the patches, meaning that it is able to determine whether if there is a distinguishable patch within a patch, and further identify the mutual relationship between the nested patches, and return the results.

DeepMask에서 반환된 정보는 이제 SharpMask 알고리즘에 입력되어서 더욱 다듬어진다. 만일 DeepMask 알고리즘에서는 사진이라는 큰 그림에서 정보를 나누고 추출한 후에 가장 기본적인 형태로 만들었다면, 이제 SharpMask에서는 다시 그 정보들을 조합하여 사진을 재구성한다. SharpMask 또한 제공된 정보와, 학습된 정보를 통해 사진에 있는 사물이 무엇인지, 그리고 프로그램이 원하고 있는 물체가 맞는지를 구별한다.

Information returned from DeepMask is further polished through the SharpMask algorithm. If DeepMask divided and extracted specific informations from the big picture (quite literally) and organized them into small segments of information, SharpMask then reorganizes the information by connecting them together to recreate the image, in an understandable form by a machine. The SharpMask algorithm is able to identify what the objects from the image actually are through learned variables and weights, and further determine whether if the object is the target object of the program as a whole. 

Social Effect of AR Filters

위와 같은 과정을 통해 얼굴이 인식이 되었다면, 사람의 얼굴 위에 알맞게 필터를 입히고, 사용자가 원하는 사진을 화면에 출력한다. 이러한 AR 필터의 결과물은 아래와 같다.

If the algorithmic process was able to successfully recognize a human face, then the program will put a filter on to the identified face, and print it on the screen. The results of this process can be seen below.

근래에 AR 필터가 각광을 받고 있는 이유는, 이러한 개개인을 통해 전파될 수 있는 뛰어난 바이럴리티(virality)를 가지기 때문이다. 그 예시로 인스타그램을 볼 수 있다. 첫 번째 한 사람을 통해 이러한 AR 필터가 주목을 받게 되면, 다른 사람들도 이를 따라서 필터를 사용하게 되고, 이는 꾸준히 인스타그램을 사용하는 사람들의 눈을 거치게 되며 유명세를 타게 된다.

The reason why AR filters are catching people’s eyes are due to their virality though networking effect. This can be seen frequently on Instagram. If a person uses a certain AR filter, and manages to get it on to other people’s feeds, and further manages to get other people to join in on using the filter, the filter will spread out to other people’s Instagram feeds, becoming viral. 

실제로 필터를 사용하고 공유해 본 결과, 필터에 대해 다양한 질문들이 들어왔었다. 주로 필터에 담긴 의미와, 특정 디자인의 이유 등 필터 자체의 디자인적인 면에 대한 질문도 있었지만, 주로 필터에 담겨있는 의미에 대해서 물었다. 그리고 필터가 좋은 의의를 가지고 있다는 것을 알자, 지인들도 같이 가담하여 필터를 사용해 보았다. 이처럼 만일 각광을 받은 AR 필터가 좋은 의도를 가지고 있다면, 이는 사회적으로도 좋은 영향을 끼치는 긍정적인 바이럴리티가 될 것이다.

After using the filter, I was able to receive many questions about the filter. There were a few questions regarding the design of the filter itself, but the questions were mostly about the meaning within the filters. When the questioner knew about the positive meaning behind the filters, they too were more than welcomed to join in and spread the filter. Just like this, if the filters have a positive intentions and meanings, then it may become a positive virality, spreading positive influence over our society. 

위에 예시로 사용된 필터는 앞서 언급한 긍정적인 바이럴리티가 될 수 있는 가능성이 있다. 이 필터는 커즈(CUZ)가 진행한 공공캠페인 “LOVE EARTH, SWITCH OFF (지구를 살리는 어둠)” 를 기반으로 디자인 되었다.

LOVE EARTH, SWITCH OFF (지구를 살리는 어둠)

“LOVE EARTH, SWITCH OFF(지구를 살리는 어둠)”은 하남 스타필드에서 진행하고 있는 다중 참여형 인터렉션 미디어 콘텐츠 프로젝트이다. ‘스위치를 끄는 나의 작은 행동들이 모여 지구를 살린다’ 라는 메시지를 전달하는 것이 본 콘텐츠의 핵심 기획 의도이다. 관람객은 스마트폰을 통해 미디어타워 공간의 전등 스위치를 끄고, 미디어 타워 속 10개의 공간들의 불이 꺼지면 자연이 재생되고 지구가 살아나는 아름답고 환상적인 영상들이 플레이 된다. 마지막에는 지구를 살리는데에 기여한 사람의 이름과 AR필터를 적용한 그 사람의 얼굴이 미디어 타워 영상 엔딩 크레딧에 나타나게 된다. 아나몰픽 기술, 다중참여 인터랙션기술, AR 기술들은 위 프로젝트를 더욱 다채롭게 만들어준다.

The project “LOVE EARTH, SWITCH OFF.지구를 살리는 어둠” is a multi-participation interaction media content project, planned to happen in Hanam Starfield. The core intention of the project is to deliver the message, where “saving the earth can start from a small action of turning off a switch”. The audience can turn off a light switch on the media tower, and when all 10 switches are turned off, a wondrous video of nature regenerating and earth becoming alive is played, and at the end, the participant’s name and picture, with the AR filter applied, is shown on the credits. The anamorphic technology, multi-participation interaction technology, and AR technology makes the project overall more vivid. 

기술의 기하급수적인 발전을 볼 때, 기술이 우리를 앞서는 것 같지만, 결국에 그 방향성은 우리들이 정하는 것이다. “LOVE EARTH, SWITCH OFF (지구를 살리는 어둠)”과 같은 프로젝트를 통해, 앞으로도 환경을 비롯한 다양한 사회적인 문제들을 기술의 발전을 통해 해결할 수 있기를 기대한다. 

With the exponential advancements in technology, we often think that technology is overwhelming us. However, it is us who sets the direction of the advancements. With projects such as “LOVE EARTH, SWITCH OFF (지구를 살리는 어둠)”, we hope to see how advancements of technology can contribute in resolving various social problems that humanity faces.