웹캠과 브라우저: 전용 기기가 필요 없는 체감형 게임

업데이트:

체감형 게임에는 늘 한 가지 걸림돌이 있었어요. 광선총, 바닥 매트, 모션 컨트롤러, 깊이 카메라처럼 전용 기기가 필요했다는 점이에요. 2014년 이후 컴퓨터 비전 연구 덕분에 프로그램이 평범한 컬러 영상에서 사람과 그 자세를 찾아낼 수 있게 됐어요. 그것을 처리할 만큼 빠른 컴퓨터와 스마트폰, 카메라를 쓸 수 있는 브라우저가 갖춰지면서, 체감형 게임은 처음으로 전용 기기 없이 즐길 수 있게 됐어요.

그 전: 카메라가 알 수 있던 건 움직인 자리뿐

평범한 카메라는 일찍부터 게임에 쓰였지만(2003년의 아이토이), 대부분 두 화면을 비교해 어느 픽셀이 바뀌었는지만 봤어요. ‘날아오는 것 치기’에는 그걸로 충분했지만, 손과 머리를 구별하지 못했고, 쪼그려 앉았는지 점프했는지는 더더욱 몰랐어요. 스크래치 3(2019년)의 ‘비디오 감지’ 확장 기능도 같은 원리예요(스크래치로 체감형 게임 만들기).

전신을 인식하기 위해 2010년 키넥트는 다른 길을 택했어요. 거리를 재는 깊이 카메라예요(키넥트). 잘 작동했지만 전용 기기를 사야 했어요.

2014~2017년: 사진에서 몸의 자세 찾기

  • 2014년: 구글 연구자들이 DeepPose를 발표했어요. 심층 신경망으로 평범한 사진에서 몸의 자세를 추정하는 방법으로, 이 분야의 초기 대표 연구예요.
  • 2017년: 카네기멜런대학교 연구자들이 화면에 찍힌 여러 사람의 자세를 실시간으로 추정하는 방법을 발표했어요. OpenPose로 공개되어 아주 많은 연구와 앱에 쓰였어요.

이 방법들에 공통된 생각은 하나예요. 신체 부위에 표시를 한 사진을 많이 학습시키면, 새 이미지 속에서 머리, 어깨, 손, 발을 찾을 수 있게 돼요. 그것들을 이으면 자세를 알 수 있어요.

그 뒤: 충분히 빠르고, 브라우저로 열리고, 설치가 필요 없게

  • 충분히 빨라요. 이런 프로그램이 작아지면서 평범한 노트북이나 스마트폰에서도 1초에 수십 번 자세를 인식할 수 있게 됐어요. 움직이는 사람을 따라잡을 수 있는 속도예요.
  • 브라우저로 열려요. 브라우저는 카메라를 쓸 수 있고(처음에 허락을 구해요), 웹페이지에서 영상을 다룰 수 있어요.
  • 설치가 필요 없어요. 주소만 열면 다운로드 없이 놀 수 있어서 학교 컴퓨터실이나 교실 컴퓨터에서도 쓸 수 있어요.
  • 영상을 기기 안에 둘 수 있어요. 인식이 그 기기 안에서 이루어지기 때문에 카메라 영상을 서버로 보낼 필요가 없어요. 아이들의 개인정보를 생각하면 아주 중요한 점이에요.

비슷한 시기에 스마트 TV, 피트니스 미러, 스마트폰 피트니스 앱도 카메라로 움직임을 인식하게 됐어요. 학교에서도 체육 시간 체감형 게임의 쓰임새가 계속 넓어지고 있어요(학교에서의 체감형 게임).

체감형 게임기와 비교하면

체감형 게임기컴퓨터 웹캠 + 브라우저
살 것게임기, 컨트롤러나 체감형 주변기기, 게임 타이틀카메라가 달린 컴퓨터(대부분 집에 이미 있어요)
손에 드는 것보통은 컨트롤러없음
잘하는 것손의 세밀하고 빠른 움직임, 공들인 그래픽달리기, 뛰기, 쪼그려 앉기, 자세 유지 같은 전신 움직임
주의할 점컨트롤러가 날아가지 않게 스트랩 차기밝기를 확보하고, 카메라에 전신이 나오도록 떨어져 서기

직접 해 보시겠어요? 동동파크의 게임은 모두 웹페이지로 열려요. 웹캠이 달린 컴퓨터에서 Chrome이나 Edge를 쓰면 할 수 있고, 카메라 영상은 그 컴퓨터 안에만 머물러요. 먼저 벽 통과 포즈, 동물 흉내 놀이, 줄넘기 왕부터 해 보세요. 로그인하지 않아도 2판 할 수 있어요. 준비는 5분쯤 걸리고, 준비 가이드에서 설명해요. 웹캠과 게임기 가운데 어느 쪽이 우리 집에 맞을지 고민된다면 웹캠 체감형 게임과 게임기, 무엇을 고를까?를 참고해 주세요.

“체감형 게임의 역사: 광선총에서 웹캠까지” 시리즈의 다른 글

  1. 체감형 게임의 역사: 광선총에서 웹캠까지(개요)
  2. 최초의 체감형 게임은 무엇이었을까
  3. Wii 이전: 밸런스 보드, 매트, 글러브, 댄스 패널(1982~2004년)
  4. 아이토이(2003년): 거실에 들어온 카메라
  5. Wii(2006년): 온 가족이 함께 즐기는 체감 조작
  6. 키넥트(2010년): 아무것도 들지 않는 체감형 게임, 그리고 그 끝
  7. 플레이스테이션 무브, 스위치, 링 피트: 운동이 된 체감형 게임
  8. VR 체감형 게임: 룸스케일부터 비트 세이버까지
  9. 학교에서의 체감형 게임: 체육 시간의 DDR부터 지금까지
  10. 체감형 게임은 왜 시들해졌고, 어디로 갔을까

이 글에서 소개한 게임

실제 플레이 영상 · 14초

컴퓨터 앞에 서서 몸만 움직이면 돼요

3~18세를 위한 체감형 게임 100여 가지. 사이트를 열면 바로 할 수 있고 설치할 것이 없어요. 카메라 영상은 이 컴퓨터 안에서만 쓰여요.

▶ 무료로 하기게임 목록 보기

참고 자료

  1. DeepPose: Human Pose Estimation via Deep Neural Networks, Toshev, Szegedy(Google), CVPR 2014(심층 신경망으로 사진에서 사람의 자세를 추정한 초기 대표 연구)
  2. Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields, Cao, Simon, Wei, Sheikh(카네기멜런대학교), CVPR 2017(이미지 한 장에 찍힌 여러 사람의 자세를 실시간으로 추정. 나중에 OpenPose로 공개)
  3. MIT Media Lab Introduces Scratch 3.0, MIT News(2019년 1월 8일. Scratch 3.0은 미디어랩 Lifelong Kindergarten 그룹이 2019년 1월 2일 공개)
  4. 스크래치 ‘비디오 감지’ 확장 기능 소스 코드(scratch3_video_sensing), 스크래치 재단(블록 설명과 알고리즘 주석)

지금 시작하기 →특집 목록으로

함께 읽으면 좋은 글