사람과 디바이스 사이를 이어주는 끈, 입력 장치에 대해서

아이폰이 바꾼 소통방식

2007년 1월 9일, 애플 CEO 스티브 잡스(Steve Jobs)가 새로운 디바이스를 소개했고 모바일의 세계는 영원히 바뀌었다. 가장 혁신적인 발명품 중 하나인 아이폰의 등장으로 스마트폰의 시대가 시작된 것이다.

언제, 어디서든 온라인에 접속할 수 있고, 모바일 애플리케이션으로 출근하는 버스에서 게임을 하거나, 점심 메뉴의 사진을 찍기도 하고, 백화점에서 물건을 구입하기도 한다. 

• 

그리고 스티브 잡스는 우리는 궁극적인 포인팅 장치(pointing device)를 가지고 태어났으며, 아이폰은 가장 혁신적인 사용자 인터페이스를 만들기 위해 손가락을 사용하고, 스타일러스는 필요하지 않다고 말했다. 이후, 터치스크린은 스마트폰의 기본 형식이 되었다. 그리고 그는 스타일러스의 소멸을 예상하였다.

예상하지 못한 스타일러스의 잔존

잡스는 다음과 같이 회상한다. 그 사람은 Microsoft가 태블릿 PC 소프트웨어로 세상을 완전히 바꿔놓을 것이라고, 그래서 노트북 컴퓨터들이 완전히 사라질 것이라고. 그러니 Apple은 자신이 개발한 Microsoft 소프트웨어에 대해 라이선스를 얻어야 한다고 계속 나를 괴롭혔지요.

하지만 그의 기기는 완전히 잘못된 방식을 쓰고 있었어요. 스타일러스가 딸려 있었거든요. 스타일러스가 있으면 끝이에요. 그날 저녁 그 사람은 나한테 그 얘기를 열 번쯤 했을 겁니다. 나는 지긋지긋해져서 집에 돌아와 이렇게 말했지요. “웃기고 있네. 진짜 태블릿이 어떤 건지 보여주지.”

다음날 잡스는 회사에 출근해 자신의 팀을 모아 놓고 말했다. “태블릿 컴퓨터를 만듭시다. 단, 키보드나 스타일러스가 딸려 있어선 안 됩니다.” 손가락으로 스크린을 터치해 입력할 수 있어야 한다는 것이었다. 

2002년 잡스는 자신이 개발한 태블릿 컴퓨터의 소프트웨어에 대해 끊임없이 떠들어대던 Microsoft의 엔지니어 때문에 짜증이 났다. 그것은 스타일러스나 펜을 써서 스크린에 정보를 입력하는 방식이었다.

그 해에 몇몇 제조업자들이 그런 소프트웨어를 사용하는 태블릿 PC를 출시했지만 그중 어떤 것도 우주에 흔적을 남기진 못했다. 잡스는 PC의 올바른 표본을(스타일러스를 사용해선 안 된다는 점을!) 보여주고 싶어 미칠 지경이었다.

출처: <스티브 잡스>, 월터 아이작슨, 민음사, 2011. 738p, 773p 인용

• 

이처럼 스타일러스의 무용론을 주장하던 애플도 잡스가 췌장암으로 세상을 떠난 이후, 팀 쿡(Tim Cook) 체제였던 2015년도에 아이패드 프로 제품과 함께 애플 펜슬을 출시했다.

펜 무용론의 번복과 필기감 문제, 별도 판매 등 논란이 있었지만 펜(스타일러스)과 물리 키보드가 궁극적인 포인팅 장치인 손가락보다 잘할 수 있는 일도 있었다. 키보드로 문서를 입력하거나 연필, 혹은 타블렛으로 그림을 그리던 사용자들이 이미 익숙한 입력장치를 찾는 것은 당연한 결과였다.

• 

이처럼 아무리 진보된 장치에도 그에 맞는 입력장치가 없다면 그 가치는 떨어질 것이며 사용자가 디바이스를 통해 수행할 수 있는 기능에 한계가 있을 것이다. 터치스크린의 등장은 정말 혁신적이었다. 하지만 그림을 그리는 데에 손가락을 사용하는 것은 무척 비효율적이다. 오늘은 XR 디바이스의 입력장치에 관해 설명하고자 한다.

XR 디바이스와 입력장치

VR 장치와 AR 장치는 각각의 용도에 따라 입력장치의 형태나 쓰임새가 달라지겠지만, 그 종류가 너무나 다양하여 오늘은 아래 도표를 기반으로 입력장치를 분류하고, 간단한 사용 예시를 설명하려 한다. 왼쪽의 Type에서 알 수 있듯이 시각적 정보와 청각적 정보, 움직임, 위치, 방향에 기반하고 있다.

• 

시각 기반

일반적인 카메라 (Default Camera)

가장 일반적인 입력방식이며, 다양한 XR 콘텐츠의 입력 방법으로 사용되고 있다. 오브젝트와 패턴을 인식한다는 점에서 증강현실의 마커 기반이 좋은 예시가 될 수 있겠다. 주로 다른 방식들과 혼합하여 사용하는 경우가 잦다.

• 

• 

• 

• 

적외선 카메라 (Infrared Camera)

일반적인 카메라와는 달리, 말 그대로 적외선 카메라를 이용한 입력 방식이다. 마이크로소프트사의 게임기인 XBOX 와 윈도우즈 PC의 주변기기인 키넥트(Kinect)가 가장 유명한 적외선 기반 입력 장치이다.

사용자의 동작과 함께 음성을 인식할 수 있으며, 적외선을 사용하여 일반적인 카메라보다 사물의 형태와 동작을 더 정확하게 파악할 수 있다. 아래 영상은 산업용으로 개발된 Azure Kinect (2019) 제품이며, 사물을 감지하는 예시를 보여준다.

청각 기반

마이크 (Microphone)

일반적인 카메라와 마찬가지로 장치에 내장된 카메라로 음성을 인식하여 명령을 내릴 수 있다. 단독으로 사용되기도 하지만, 마이크 역시 다른 장치의 기능과 함께 사용되는 경우가 많다.

• 

동작 기반

동작을 감지하는 기반으로, 가장 널리 쓰이고 있는 입력 장치 중 하나이다. 흔히 컨트롤러로 불리는 기기들과 마우스, 키보드가 이에 해당한다. 컨트롤러의 움직임과 버튼의 클릭, 타이핑 등으로 데이터를 입력할 수 있다.

그리고 이에 따라 그림을 그릴 수도 있고, 텍스트를 작성할 수도 있다. 다른 글에서 앞서 소개한 틸트 브러시가 대표적인 예시가 될 수 있으며, 컨트롤러 안의 센서가 위치 정보와 가속도 등을 계산하여 움직임을 측정할 수 있다.

• 

• 

그리고 동작 감지 기반 장치는 제스처 상호작용과 모션 캡처에 주로 이용된다. 그리고 컴퓨터 그래픽과 함께 활용해 영화와 게임, 애니메이션 등을 제작하는 데에 사용되기도 한다.

위치 기반

범지구위치결정시스템(GPS), 무선 주파수 식별(RFID)

GPS는 우리에게 너무나도 익숙한 기술이며 미국에서 개발하고 관리하는 위성항법 시스템이며, 세계 어느 곳에서든지 인공위성과 통신하여 자신의 위치를 정확히 알 수 있다. 위치정보는 경도, 위도, 표고(해발 고도)로 이루어져 있다. 추가로 정확한 시간 정보까지 얻을 수 있다.

RFID는 생소하지만, 생각보다 익숙한 기술이다. 전파를 이용해 먼 거리에서 정보를 인식하는 기술. 줄여서 RF라고 부르기도 한다. 스마트폰 결제를 할 때 사용되는 NFC 기술이 RFID 와 유사하다. 다만 RFID의 수신범위가 더 길며, 단방향 통신(NFC는 양방향 통신)이라는 차이점이 있다.

방향 기반

자이로스코프 (Gyroscope), 자기 센서 (Magnetic Sensor)

자이로스코프 센서와 자기 센서도 마찬가지로 위에서 언급된 다른 입력 장치들과 함께 사용된다. 먼저 자이로 센서는 X, Y, Z 좌표에서 움직이는 방향을 측정할 때 사용한다. 그리고 이 출력신호를 처리하여 물체의 가속도와 진동, 충격 등 동적인 힘을 역추정, 역산출할 수 있다.

• 

자기 센서 내부에는 자기장의 세기를 측정할 수 있는 센서가 자이로 센서와 마찬가지로 X, Y, Z 축 방향으로 붙어 있으며, 각각의 센서 간의 출력을 합산해 자기장의 방향을 측정하게 된다. 이렇게 지구의 자기장을 측정해 디지털 나침반으로 사용되며 GPS 센서와의 조합으로 위치기반 서비스를 구현하게 된다.

• 

맺는말

이처럼 기술이 발전할수록 더 많은 입력 장치들이 등장하고 있다. 그리고 그것은 XR 분야에도 동일하게 해당하며, 혁신을 일으키는 작은 탄생은 연필로 쓰는 문장 한 줄에서도 시작할 수 있다. 앞으로도 등장할 더 많은 입력장치를 기대하면서, 미래의 모습을 상상할 수 있다.