Webカメラとブラウザ:専用の機器がいらない体感ゲーム
更新日:
体感ゲームにはずっと、ひとつの難点がありました。光線銃、床に敷くマット、モーションコントローラー、深度カメラと、専用の機器が必要だったことです。2014年以降、コンピュータービジョンの研究によって、プログラムがふつうのカラー映像から人とその姿勢を見つけられるようになりました。それを処理できるほど速いパソコンやスマートフォン、カメラを使えるブラウザがそろい、体感ゲームは初めて専用の機器なしで遊べるようになりました。
それまで:カメラにわかるのは動いた場所だけ
ふつうのカメラは早くからゲームに使われていましたが(2003年のEyeToy)、多くは2つの画面を比べて、どのピクセルが変わったかを見るだけでした。「飛んでくるものをたたく」にはそれで十分でも、手と頭の区別はつかず、しゃがんだかジャンプしたかなどはなおさらわかりません。Scratch 3(2019年)の「ビデオモーションセンサー」拡張機能も同じしくみです(Scratchで体感ゲームを作る)。
全身を認識するために、2010年のKinectは別の道を選びました。距離を測る深度カメラです(Kinect)。よく動きましたが、専用の機器を買う必要がありました。
2014〜2017年:写真から体の姿勢を見つける
- 2014年:Googleの研究者がDeepPoseを発表しました。ディープニューラルネットワークでふつうの写真から体の姿勢を推定するもので、この分野の初期の代表的な研究です。
- 2017年:カーネギーメロン大学の研究者が、画面に写る複数の人の姿勢をリアルタイムで推定する方法を発表しました。OpenPoseとして公開され、非常に多くの研究やアプリで使われました。
これらの方法に共通する考え方はひとつです。体の部位に印をつけた大量の写真で学習させると、新しい画像の中から頭、肩、手、足を見つけられるようになります。それらをつなげば、姿勢がわかります。
その後:十分に速く、ブラウザで開けて、インストール不要
- 十分に速い。こうしたプログラムが小さくなり、ふつうのノートパソコンやスマートフォンでも1秒に何十回も姿勢を認識できるようになりました。動く人に追いつける速さです。
- ブラウザで開ける。ブラウザはカメラを使うことができ(最初に許可を求めます)、Webページで映像を扱えます。
- インストール不要。アドレスを開けばダウンロードなしで遊べるので、学校のパソコン室や教室のパソコンでも使えます。
- 映像はパソコンの中にとどめられる。認識はその端末の中で行われるので、カメラの映像をサーバーに送る必要がありません。子どものプライバシーにとって、これはとても大切なことです。
同じころ、スマートテレビやフィットネスミラー、スマートフォンのフィットネスアプリも、カメラで動きを認識するようになりました。学校でも、体育での体感ゲームの使いみちが広がり続けています(学校での体感ゲーム)。
体感ゲーム機との比較
| 体感ゲーム機 | パソコンのWebカメラ+ブラウザ | |
|---|---|---|
| 買うもの | ゲーム機、コントローラーや体感用の周辺機器、ゲームソフト | カメラ付きのパソコン(たいていの家にすでにあります) |
| 手に持つもの | ふつうはコントローラー | なし |
| 得意なこと | 手の細かくすばやい動き、作りこまれたグラフィック | 走る、跳ぶ、しゃがむ、ポーズを保つなど、全身の動き |
| 注意すること | コントローラーが飛んでいかないようストラップをつける | 明るさを確保し、カメラに全身が映るよう離れて立つ |
試してみませんか?ドンドンパークのゲームはすべてWebページで開けます。Webカメラ付きのパソコンでChromeかEdgeを使えば遊べて、カメラの映像はそのパソコンの中にとどまります。まずはカベぬけポーズ、どうぶつまねっこ、大なわとびからどうぞ。ログインしなくても2回遊べます。準備は5分ほどで、準備ガイドで説明しています。Webカメラとゲーム機のどちらが家庭に合うか迷ったら、Webカメラの体感ゲームとゲーム機、どちらを選ぶ?をご覧ください。
「体感ゲームの歴史:光線銃からWebカメラまで」のほかの記事
- 体感ゲームの歴史:光線銃からWebカメラまで(概要)
- 最初の体感ゲームは何だったのか
- Wii以前:バランスボード、マット、グローブ、ダンスパネル(1982〜2004年)
- EyeToy(2003年):カメラがリビングにやってきた
- Wii(2006年):家族みんなで遊べる体感操作
- Kinect(2010年):何も持たない体感ゲームと、その終わり
- PlayStation Move、Switch、リングフィット:体感ゲームは運動へ
- VRの体感ゲーム:ルームスケールからBeat Saberまで
- 学校での体感ゲーム:体育のDDRから今まで
- 体感ゲームはなぜ下火になり、どこへ行ったのか
この記事で紹介したゲーム
カベぬけポーズカベのあなと同じポーズをしよう4〜12歳|運動量ふつう|全身、頭をつかう
どうぶつまねっこよばれたどうぶつのまねをしよう3〜8歳|運動量ふつう|全身
大なわとびなわが足もとに来たらジャンプ。れんぞくでとぶほど、なわがはやくなるよ6〜14歳|運動量多め|走る・とぶ、体力、リズム
まねっこダンスコーチのまねをしておどろう。どれだけにているか点数が出るよ12〜18歳|運動量多め|リズム、全身

参考資料
- DeepPose: Human Pose Estimation via Deep Neural Networks/Toshev、Szegedy(Google)、CVPR 2014(ディープニューラルネットワークで写真から人の姿勢を推定した、初期の代表的な研究)
- Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields/Cao、Simon、Wei、Sheikh(カーネギーメロン大学)、CVPR 2017(1枚の画像に写る複数の人の姿勢をリアルタイムに推定。のちにOpenPoseとして公開)
- MIT Media Lab Introduces Scratch 3.0/MIT News(2019年1月8日。Scratch 3.0はメディアラボのLifelong Kindergartenグループが2019年1月2日に公開)
- Scratchの「ビデオモーションセンサー」拡張機能のソースコード(scratch3_video_sensing)/Scratch財団(ブロックの説明とアルゴリズムのコメント)