스크래치 비디오 감지로 체감형 게임을 만들어 봐요

업데이트:

2019년 1월 MIT 미디어랩의 평생 유치원(Lifelong Kindergarten) 그룹이 공개한 스크래치 3.0에는 비디오 감지라는 확장 기능이 있어요. 컴퓨터 카메라를 켜면 스프라이트 아래에 있는 영상이 얼마나, 어느 방향으로 움직이는지 알 수 있어요. 블록 두세 개만으로 손을 흔들어 풍선을 터뜨리는 게임이나 제자리 걸음 수 카운터 같은 체감형 게임을 만들 수 있어서, 10~12세 아이들의 코딩 수업이나 동아리 활동에 딱 맞는 주제예요.

준비물

  • 카메라가 달린 컴퓨터(노트북 내장 카메라도 괜찮아요)와 온라인 스크래치 또는 스크래치 앱.
  • 왼쪽 아래의 확장 기능 추가하기를 누르고 비디오 감지를 골라요. 처음에는 스크래치가 카메라를 써도 되는지 브라우저가 물어보니 ‘허용’을 눌러요.
  • 손 흔드는 모습이 카메라에 보이도록 컴퓨터에서 약 1m 떨어져 앉거나 서요. 방을 밝게 하고, 창문을 등지고 앉지 않도록 해요.

쓰는 블록은 네 개

블록하는 일
비디오 동작 > (10)일 때모자 블록. 이 스프라이트 아래 영상의 움직임이 이 숫자보다 커지면 아래에 이어 붙인 블록이 실행돼요(무대에 두면 영상 전체를 봐요)
비디오 (동작)에 대한 (스프라이트)에서의 관찰값그 부분의 영상이 지금 얼마나 움직이는지 숫자(0~100)로 알려 줘요. 메뉴를 ‘방향’으로 바꾸면 어느 쪽으로 움직이는지 알 수 있어요
비디오 (켜기)메뉴는 ‘끄기’, ‘켜기’, ‘뒤집힌 상태로 켜기’ 세 가지예요. ‘켜기’는 거울처럼 비치고(오른손을 들면 화면 오른쪽에 보여요), ‘뒤집힌 상태로 켜기’를 고르면 거울처럼 비치지 않아요(이름과 반대처럼 느껴지지만 이렇게 동작해요). 게임에는 보통 ‘켜기’를 써요
비디오 투명도를 (50) (으)로 정하기무대 뒤 카메라 영상을 얼마나 비치게 할지 정해요. 0이 가장 선명하고, 100이면 보이지 않아요

작품 1: 손을 흔들어 풍선 터뜨리기(30초 동안 점수 내기)

무대에 풍선이 하나 있어요. 그 위에서 손을 흔들면 풍선이 터지면서 다른 곳으로 옮겨 가고 1점을 얻어요. 30초가 지나면 점수를 말해 줘요. 필요한 건 스프라이트 하나와 변수 하나뿐이에요. 스크래치 공식 비디오 감지 튜토리얼에도 풍선 터뜨리기 작품이 있으니, 먼저 다 같이 봐 두면 좋아요.

  1. 처음부터 있는 스프라이트를 지우고, ‘스프라이트 고르기’에서 풍선을 골라요(‘Pop’ 소리가 들어 있어요).
  2. ‘점수’라는 변수를 만들어요(모든 스프라이트에서 사용).
  3. 풍선에 아래 두 스크립트를 만들어요.
풍선 스크립트 1: 시작과 타이머
  1. ⚑ 클릭했을 때
  2. 비디오 (켜기)
  3. 비디오 투명도를 (50) (으)로 정하기
  4. [점수] 을(를) (0) 로 정하기
  5. x: ((-200) 부터 (200) 사이의 난수) y: ((-130) 부터 (130) 사이의 난수) (으)로 이동하기
  6. 보이기
  7. 타이머 초기화
  8. <(타이머) > (30)> 까지 기다리기
  9. ((시간 끝! 점수: ) 와(과) (점수) 결합하기) 을(를) (3) 초 동안 말하기
  10. [모두] 멈추기
풍선 스크립트 2: 맞았을 때
  1. 비디오 동작 > (30)일 때
  2. [점수] 을(를) (1) 만큼 바꾸기
  3. (Pop) 재생하기
  4. x: ((-200) 부터 (200) 사이의 난수) y: ((-130) 부터 (130) 사이의 난수) (으)로 이동하기

해 봐요. 풍선 위에서 손을 흔들고 점수가 올라가는지 확인해요. 30은 ‘기준값(임계값)’으로, 얼마나 움직여야 맞은 걸로 칠지 정하는 숫자예요. 너무 작으면 살짝 흔들리기만 해도 풍선이 터지고, 너무 크면 손을 크게 흔들어도 반응하지 않아요. 딱 알맞을 때까지 아이들이 몇 번 바꿔 보게 하세요. 이게 바로 디버깅이에요.

작품 2: 제자리 걸음 수 카운터

이번에는 스프라이트가 아니라 영상 전체를 봐요. 카메라 앞에서 제자리 달리기를 하면 영상이 움직였다 멈췄다 하니까, 한 덩어리의 움직임을 한 걸음으로 세요.

어느 스프라이트에 만들어도 되는 스크립트
  1. ⚑ 클릭했을 때
  2. 비디오 (켜기)
  3. [걸음 수] 을(를) (0) 로 정하기
  4. 무한 반복하기
  5. 만약 <(비디오 (동작)에 대한 (무대)에서의 관찰값) > (40)> (이)라면
  6. [걸음 수] 을(를) (1) 만큼 바꾸기
  7. 다음 모양으로 바꾸기
  8. (0.3) 초 기다리기
  9. (걸음 수) 말하기

핵심은 ‘0.3초 기다리기’예요. 이게 없으면 무릎을 한 번 들었을 뿐인데 영상이 여러 장면에 걸쳐 움직여서 몇 걸음으로 세어져요. 0.2나 0.5도 넣어 보고, 직접 센 걸음 수와 가장 가까운 게 어느 것인지 비교해 봐요. 해 보고, 비교하고, 고치기. 이게 바로 피드백이에요.

왜 틀릴까?

비디오 감지는 사람이 무엇인지 몰라요. 1초에 약 30번 바로 앞 장면과 비교해서 어떤 범위가 얼마나, 어느 방향으로 바뀌었는지 계산할 뿐이에요. 그래서 이런 일이 생겨요.

  • 뒤로 사람이 지나가거나, 커튼이 흔들리거나, 조명이 깜빡이면 모두 움직임으로 세어요.
  • 옷 색이 배경과 비슷하면 손을 흔들어도 영상이 별로 바뀌지 않아서 반응하지 않아요.
  • 손과 머리를 구별하지 못하고, 점프했는지 앉았는지도 몰라요.

사람이 어떤 자세인지 알려면 영상 속에서 사람과 몸의 부위를 찾아야 하는데, 이건 다른 종류의 기술이에요. 체감형 게임의 원리의 마지막 부분을 참고하세요. 체감형 게임의 역사에서도 초기 카메라 게임은 영상의 변화만 봤어요(EyeToy 편 참고).

다음에 더해 볼 아이디어

  • 풍선을 두 개로 늘리고, 왼쪽 풍선은 왼손, 오른쪽 풍선은 오른손으로 터뜨리는 규칙을 만들어요.
  • 풍선이 2초만 나와 있게 하고, 아무도 터뜨리지 않으면 날아가 버리면서 1점이 깎이게 해요. 반응 연습이 돼요.
  • 걸음 수를 거리로 바꿔서(예를 들어 한 걸음에 0.5m) 1분 동안 반 친구와 겨뤄 봐요.
  • 비눗방울 팡팡이나 두더지 잡기 같은 완성된 체감형 게임을 해 보고 내 작품과 비교해 봐요. 어디가 더 잘 반응하는지, 그 이유는 무엇인지.

수업이나 동아리에서 진행하려면

  • 컴퓨터 한 대에 2~3명씩 모둠을 짜요. 한 명은 만들고, 한 명은 해 보고, 한 명은 기록해요.
  • 기준값을 실험 주제로 삼아 봐요. 기준값을 10, 30, 60으로 놓고 각각 손을 10번 흔들어서, 몇 번 반응했는지, 몇 번 잘못 터졌는지 기록해요. 그런 다음 모둠마다 가장 좋은 숫자를 고르고, 모둠마다 숫자가 달랐던 이유(밝기, 배경, 거리)를 설명해요.
  • 컴퓨터실에 웹캠이 없다면 USB 웹캠을 몇 대 연결해 모둠별로 돌아가며 쓰거나, 프로젝터로 시범을 보이는 동안 아이들이 만들고 모둠별로 앞에 나와 시험해 봐요.
  • 마지막에는 카메라를 꺼요(‘비디오 (끄기)’).

카메라가 켜지지 않으면 브라우저에 카메라 사용이 허용되어 있는지(주소창 왼쪽 아이콘), 다른 프로그램이 카메라를 쓰고 있지 않은지, 학교 컴퓨터에서 카메라가 꺼져 있지 않은지 확인해 주세요. 먼저 다른 웹사이트에서 카메라를 시험해 보면 원인이 카메라인지 스크래치인지 금방 알 수 있어요.

이 시리즈의 글

  1. 마이크로비트로 체감형 컨트롤러를 만들어 봐요

이 글에서 소개한 게임

실제 플레이 영상 · 14초

컴퓨터 앞에 서서 몸만 움직이면 돼요

3~18세를 위한 체감형 게임 100여 가지. 사이트를 열면 바로 할 수 있고 설치할 것이 없어요. 카메라 영상은 이 컴퓨터 안에서만 쓰여요.

▶ 무료로 하기게임 목록 보기

참고 자료

  1. MIT Media Lab Introduces Scratch 3.0, MIT News Office(2019년 1월 8일. 스크래치 3.0은 미디어랩의 평생 유치원(Lifelong Kindergarten) 그룹이 2019년 1월 2일에 공개)
  2. 스크래치 비디오 감지 확장 기능의 소스 코드(scratch3_video_sensing), 스크래치 재단(Scratch Foundation)(블록 정의와, 움직임을 재는 방법에 대한 주석)

지금 시작하기 →특집 목록으로

함께 읽으면 좋은 글