体感ゲームのしくみ:光線銃からWebカメラまで
更新日:
体感ゲームはどれも同じループで動いています。センサーが動きをデータに変え、プログラムがどんな動きだったかを判断し、映像と音が応えるというものです。機器による違いはおもに1つ目の「どうやって動きをとらえるか」にあり、40年以上のあいだに大きく6つの方法が登場しました。
ループを図にすると
- 1. とらえる(入力)センサーやカメラが動きをデータに変える
- 2. 判定する(処理)プログラムがどんな動きか、どれくらいうまくできたかを判断する
- 3. 応える(出力)映像・音・スコアがすぐに反応する
プレイヤーは反応を見て次の動きを調整し、ループはまた1に戻ります。1周が速いほど(遅延が小さいほど)、そして判定が正確なほど、自分の体で直接ゲームを動かしている感覚になります。
動きをとらえる6つの方法
| 方法 | とらえるもの | 何か持つ? | 例 |
|---|---|---|---|
| 光センサー | 銃が画面のどこを向いているか | 光線銃 | 1980年代の光線銃のカモ撃ちゲーム |
| 圧力センサー | どのパネルを踏んだか、体重がどちらに傾いているか | マットやボードの上に乗る | ダンスマット、バランスボード |
| 慣性センサー | コントローラーの加速と回転 | 手に持つか脚に付ける | モーションコントローラー、スマートフォン |
| 光点の追跡 | 明るい1点がどこにあるか | コントローラー | 赤外線ポインター、光る球の付いたコントローラー |
| 深度カメラ | 映像のすべての点までの距離 | 何も持たない | Kinect(2010年) |
| ふつうのカメラ+認識ソフト | 映像の中の人とその姿勢 | 何も持たない | パソコンやテレビで遊ぶWebカメラの体感ゲーム |
1. 光センサー:光線銃
銃身の中に光センサーが入っています。引き金を引いた瞬間、ゲームは画面を一瞬だけ切り替えます(たとえば的を白い四角にして、それ以外を黒くする)。銃が的に向いていればセンサーがその光を「見る」ので、命中したとわかります。わかるのは正しい場所をねらっていたかどうかだけで、体の動きはわかりません。
2. 圧力センサー:マットとバランスボード
ダンスマットはマスごとに下にスイッチがあり、踏むとオンになります。バランスボードは四隅にそれぞれ重さのセンサーがあり、4つの値を比べると体重がどちらに傾いているかがわかります。どちらも足をとらえるもので、上半身の動きはわかりません。
3. 慣性センサー:加速度センサーとジャイロセンサー
加速度センサーはコントローラーがどの向きに加速しているか(とどちらが下か)を、ジャイロセンサーはどれくらいの速さでどれだけ回転したかを測ります。スマートフォンの画面が回転したり、歩数計が歩数を数えたりするのも同じセンサーです。手に持ったり脚に付けたりすれば、振る、はじく、回すといった動きをとらえられますが、わかるのはそのコントローラー1つの動きだけで、全身の姿勢はわかりません。
4. 光点の追跡:赤外線と光る球
見つけやすい光の点をカメラで追いかける方法です。コントローラーの中に赤外線カメラを入れ、テレビのそばに並べた赤外線ライトを映して、コントローラーが画面のどこを指しているかを計算するしくみもあれば、逆にコントローラーの先に光る球を付けて、テレビ側のカメラで追いかけるしくみもあります。より正確に指せるよう、慣性センサーを組み合わせることもよくあります。
5. 深度カメラ
ふつうのカメラは色を記録しますが、深度カメラは映像の各点までの距離も測ります。目に見えない赤外線の点の模様を部屋に投影してその模様のゆがみを見るものと、光が飛んで跳ね返ってくるまでの時間を測るものがあります。距離がわかれば人を背景から簡単に切り分けられ、そこからソフトが頭、手、足、関節の位置を推定します。2010年のKinectは、こうして「手に何も持たない」遊び方を実現しました。
6. ふつうのカメラ+認識ソフト
初期のカメラゲームは、映像の変化だけを見ていました。ある場所の上で手を振るとそこの画素が変わるので、そこに触れたと判断するのです。2010年代からはコンピュータービジョンの研究が進み、ふつうのカラー映像から直接人を見つけ、頭、肩、手、足の位置までわかるようになったので、ふつうのWebカメラでも全身を使う体感ゲームが遊べるようになりました。パソコンやテレビで遊ぶWebカメラの体感ゲームはこの方法で、ドンドンパークもそのひとつです。明るさと距離が大切で、部屋が暗い、背中側に明るい窓がある、近すぎて体が画面に収まらないといった場合は、うまく認識できなくなります。
正確なものとそうでないものがあるのはなぜ?
- 見える範囲:コントローラーにわかるのは自分自身の動きだけです。カメラは全身が見えますが、隠れた部分は見えません。
- 遅延:動いてから画面が反応するまでの時間です。短いほど反応がよく感じられます。
- 周りの環境:カメラは暗さや逆光が苦手、赤外線は直射日光が苦手です。近づきすぎると体が画面からはみ出します。
- 動きそのもの:大きくはっきりした動きほど認識しやすく、体の近くでのとても速く小さな動きは、どんな機器でも苦手です。
カメラの置き場所や立つ距離は体感ゲームに必要な広さと設置ガイドをご覧ください。1分でできる動作チェックでカメラ、明るさ、立つ位置を確かめられます。ふつうのカメラで遊ぶとどんな感じかはWebカメラが子どもの動きを認識するしくみで説明しています。
「体感ゲームとは?」のほかの記事
この記事で紹介したゲーム
カベぬけポーズカベのあなと同じポーズをしよう4〜12歳|運動量ふつう|全身、頭をつかう
どうぶつまねっこよばれたどうぶつのまねをしよう3〜8歳|運動量ふつう|全身
ころころめいろからだをかたむけてめいろをうごかし、ボールをゴールまでころがそう9〜18歳|運動量軽め|全身、頭をつかう、しずか
