Scratchのビデオモーションセンサーで体感ゲームを作ろう
更新日:
2019年1月にMITメディアラボのライフロング・キンダーガーテン・グループが公開したScratch 3.0には、ビデオモーションセンサーという拡張機能があります。パソコンのカメラをオンにすると、スプライトの下にある映像がどれくらい、どの向きに動いているかがわかります。ブロックを2〜3個使うだけで、手を振って風船を割るゲームや、その場足ぶみの歩数カウンターのような体感ゲームが作れるので、10〜12歳くらいの子どものプログラミングの授業やクラブ活動にぴったりの題材です。
準備するもの
- カメラ付きのパソコン(ノートパソコンの内蔵カメラで大丈夫)と、オンライン版のScratchまたはScratchアプリ。
- 左下の拡張機能を追加をクリックしてビデオモーションセンサーを選びます。初めてのときは、Scratchにカメラの使用を許可するかをブラウザが聞いてくるので、「許可」をクリックします。
- 手を振るのがカメラに映るよう、パソコンから約1m離れて座るか立ちます。部屋を明るくし、窓を背にして座らないようにしましょう。
使うのは4つのブロック
| ブロック | はたらき |
|---|---|
| ビデオモーション > (10) のとき | ハットブロック。このスプライトの下の映像の動きがこの数より大きくなると、下につないだブロックが動きます(ステージに置くと映像全体を見ます) |
| (スプライト) のビデオの (モーション) | その部分の映像が今どれくらい動いているかを数(0〜100)で返します。メニューを「向き」に切り替えると、どちらに動いているかがわかります |
| ビデオを (入) にする | メニューは「切」「入」「左右反転」の3つ。「入」では鏡のように映り(右手を上げると画面の右側に映る)、「左右反転」を選ぶと鏡写しではない映り方になります(名前と逆に感じますが、こうなります)。ゲームにはふつう「入」を使います |
| ビデオの透明度を (50) にする | ステージの後ろのカメラ映像をどれくらい透かすか。0がいちばんはっきり、100で見えなくなります |
作品1:手を振って風船を割る(30秒でスコア)
ステージに風船が1つあります。その上で手を振ると風船がはじけて別の場所に移り、1点入ります。30秒たつとスコアを言います。必要なのはスプライト1つと変数1つだけです。Scratch公式のビデオモーションセンサーのチュートリアルにも風船を割る作品があるので、先にみんなで見ておくとよいでしょう。
- 最初からあるスプライトを削除し、スプライトの一覧から風船を選びます(「Pop」という音が付いています)。
- 「スコア」という変数を作ります(すべてのスプライト用)。
- 風船に下の2つのスクリプトを作ります。
- ⚑ が押されたとき
- ビデオを (入) にする
- ビデオの透明度を (50) にする
- [スコア] を (0) にする
- x座標を ((-200) から (200) までの乱数) 、y座標を ((-130) から (130) までの乱数) にする
- 表示する
- タイマーをリセット
- <(タイマー) > (30)> まで待つ
- ((時間切れ!スコア:) と (スコア)) と (3) 秒言う
- [すべてを止める]
- ビデオモーション > (30) のとき
- [スコア] を (1) ずつ変える
- (Pop) の音を鳴らす
- x座標を ((-200) から (200) までの乱数) 、y座標を ((-130) から (130) までの乱数) にする
試してみましょう。風船の上で手を振って、スコアが増えるか確かめます。30は「しきい値」で、どれくらい動いたら当たりにするかを決める数です。小さすぎると少し揺れただけで風船が割れ、大きすぎると大きく手を振っても反応しません。ちょうどよくなるまで子どもたちに何度か変えさせてみましょう。これがデバッグです。
作品2:その場足ぶみの歩数カウンター
こちらはスプライトではなく映像全体を見ます。カメラの前でその場で走ると映像が動いたり止まったりするので、ひとまとまりの動きを1歩と数えます。
- ⚑ が押されたとき
- ビデオを (入) にする
- [歩数] を (0) にする
- ずっと
- もし <((ステージ) のビデオの (モーション)) > (40)> なら
- [歩数] を (1) ずつ変える
- 次のコスチュームにする
- (0.3) 秒待つ
- (歩数) と言う
ポイントは「0.3秒待つ」です。これがないと、ひざを1回上げただけで映像が何コマも動き、何歩分にも数えられてしまいます。0.2や0.5も試して、自分で数えた歩数にいちばん近いのはどれか比べてみましょう。試して、比べて、直す。これがフィードバックです。
なぜまちがえるのか
ビデオモーションセンサーは、人が何なのかを知りません。1秒に約30回、1コマ前の映像と比べて、ある範囲がどれくらい、どの向きに変わったかを計算しているだけです。そのため、次のようなことが起きます。
- 後ろを人が通る、カーテンが揺れる、照明がちらつく。どれも動きとして数えられます。
- 服の色が背景に近いと、手を振っても映像があまり変わらず、反応しません。
- 手と頭の区別がつかず、ジャンプしたのかしゃがんだのかもわかりません。
人がどんな姿勢をしているかを知るには、映像の中から人と体の部位を見つける必要があり、これは別の種類の技術です。体感ゲームのしくみの最後の節をご覧ください。体感ゲームの歴史でも、初期のカメラゲームは映像の変化だけを見ていました(EyeToyの章を参照)。
次に追加するアイデア
- 風船を2つにして、左の風船は左手、右の風船は右手で割るルールにする。
- 風船が出ているのを2秒だけにして、誰も割らなければ飛んでいって1点減る。反応の練習になります。
- 歩数を距離に直して(たとえば1歩0.5m)、1分間でクラスの友だちと競争する。
- シャボン玉パチンやもぐらたたきのような完成した体感ゲームで遊んで、自分の作品と比べる。どこの反応がよいか、それはなぜか。
授業やクラブで進めるには
- パソコン1台に2〜3人のグループで。1人が作り、1人が遊び、1人が記録します。
- しきい値を実験にしましょう。しきい値を10、30、60にして、それぞれ10回手を振り、何回反応したか、何回まちがって割れたかを記録します。そのあと各グループがいちばんよい数を選び、グループによって数が違った理由(明るさ、背景、距離)を説明します。
- パソコン室にWebカメラがない場合は、USBのWebカメラを何台かつないでグループで交代するか、プロジェクターで実演して子どもたちが作り、グループごとに前に出て試します。
- 最後にカメラをオフにします(「ビデオを (切) にする」)。
カメラが起動しないときは、ブラウザにカメラの使用が許可されているか(アドレスバーの左のアイコン)、ほかのソフトがカメラを使っていないか、学校のパソコンでカメラが無効にされていないかを確認してください。先にほかのWebサイトでカメラを試すと、原因がカメラなのかScratchなのかがすぐにわかります。
このシリーズの記事
この記事で紹介したゲーム
シャボン玉パチンふわふわとんでくるシャボン玉をわろう3〜7歳|運動量軽め|手をつかう、しずか
もぐらたたきよこから出てくるもぐらをたたこう。ヘルメットのもぐらはダメだよ3〜9歳|運動量ふつう|手をつかう
もりのかけっこその場で走って、左右によけて、丸太をとびこえよう4〜10歳|運動量多め|走る・とぶ、全身

参考資料
- MIT Media Lab Introduces Scratch 3.0/MIT News Office(2019年1月8日。Scratch 3.0はメディアラボのライフロング・キンダーガーテン・グループが2019年1月2日に公開)
- Scratchのビデオモーションセンサー拡張機能のソースコード(scratch3_video_sensing)/Scratch財団(ブロックの定義と、動きの測り方についてのコメント)