普通摄像头和浏览器:不用买设备的体感游戏是怎么来的
· 动动乐园教研组

体感游戏一直有个门槛:要买专门的设备——光枪、踏垫、体感手柄、深度摄像头。2014 年以后,计算机视觉的研究让程序能从普通的彩色画面里认出人和姿势;再加上电脑、手机算得越来越快,浏览器能直接打开摄像头,体感游戏第一次不需要专门的设备。
之前:摄像头只能看“哪里在动”
普通摄像头很早就用在游戏里了(见2003 年的 EyeToy),但它们大多只比较前后两帧画面,看哪块地方的像素变了。这能做“挥手打掉飞来的东西”,却分不出是手还是头在动,更不知道人蹲下了还是跳起来了。Scratch 3(2019)的“视频侦测”也是这个思路(见Scratch 视频侦测做体感游戏)。
要认出全身姿势,2010 年的 Kinect 用的是另一条路:加一个能测距离的深度摄像头(见Kinect)。效果好,但要买专门的硬件。
2014~2017:从照片里认出人的姿势
- 2014 年,谷歌研究人员发表 DeepPose,用深度神经网络从普通照片里估计人体姿势,是这个方向的早期代表作;
- 2017 年,卡内基梅隆大学的研究人员发表了能实时估计画面里多个人姿势的方法,后来以 OpenPose 的名字开源,被大量研究和应用拿来用。
这类方法的共同点是:用大量标注好身体部位的照片训练模型,模型再从新的画面里找出头、肩、手、脚各在哪里,连起来就知道人摆了什么姿势。这在信息科技课上正好可以讲“人工智能方法”和“传统方法”的区别(见初中人工智能课)。
之后:算得动、打得开、不用装
- 算得动:模型越做越小,普通笔记本、手机也能每秒认出几十次姿势,跟得上人的动作;
- 打得开:浏览器可以直接请求使用摄像头(会先问你同不同意),网页就能看到画面;
- 不用装:打开网址就能玩,不用下载安装,学校机房、教室一体机也能用;
- 画面可以不出这台电脑:识别在本机上完成,画面不用传到服务器——这对孩子的隐私很重要。
同一时期,智能电视、健身镜、手机健身应用也用上了“摄像头 + 识别动作”(国内的情况见国内的体感游戏),体育中考也开始试用 AI 计数(见体感游戏进校园)。
和体感游戏机比
| 体感游戏机 | 电脑摄像头 + 网页 | |
|---|---|---|
| 要买什么 | 主机、手柄或体感配件、游戏 | 一台带摄像头的电脑(大多已经有了) |
| 要拿东西吗 | 大多要拿手柄 | 不用 |
| 擅长 | 精细、快速的手部动作,画面精致 | 全身动作:跑、跳、蹲、摆姿势 |
| 要注意 | 腕带系好、别甩飞 | 光线要亮、站远一点拍全身 |
怎么选,见电脑摄像头体感游戏和体感游戏机怎么选;想直接试,动动乐园的游戏都是打开网页就能玩,比如「穿墙洞」、「动物模仿秀」、「跳绳大王」。
参考资料
- 《DeepPose: Human Pose Estimation via Deep Neural Networks》,Toshev、Szegedy(谷歌),CVPR 2014,用深度神经网络从照片里估计人体姿态的早期代表作
- 《Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields》,Cao、Simon、Wei、Sheikh(卡内基梅隆大学),CVPR 2017,实时估计画面里多个人的姿态,后来以 OpenPose 开源
- 《MIT Media Lab Introduces Scratch 3.0》,麻省理工学院新闻办公室(MIT News),2019 年 1 月 8 日;Scratch 3.0 由媒体实验室终身幼儿园小组于 2019 年 1 月 2 日发布
- 《Scratch 视频侦测扩展的源代码(scratch3_video_sensing)》,Scratch 基金会,积木说明和算法注释;积木的中文名称见 Scratch 官方翻译文件 scratch-l10n
引用这一页(参考文献格式):动动乐园教研组. 普通摄像头和浏览器:不用买设备的体感游戏是怎么来的[EB/OL]. 动动乐园, (2026-11-14). https://dongdongpark.com/topic/motion-games-history/webcam
发现内容有误或有新的资料,请告诉我们,核实后会更正并更新日期。

可以试试的游戏
穿墙洞摆出和墙洞一样的姿势4~12 岁 · 运动量中等 · 全身 / 动脑
动物模仿秀喊到哪个动物就学它的动作3~8 岁 · 运动量中等 · 全身
跳绳大王绳子扫到脚下就跳,连跳越多绳越快6~14 岁 · 运动量出汗 · 跑跳 / 体能 / 节奏
跟跳舞蹈跟着教练跳,每一拍比动作像不像12~18 岁 · 运动量出汗 · 节奏 / 全身
其他专题
- 体感游戏是什么:一句话定义、“体感”这个叫法、有哪些类型、六种感知动作的原理、和 VR / AR 的区别、要多大场地,以及一份术语表。
- 体感游戏对孩子好不好:运动强度有多大、为什么那么累、能不能减肥、能不能练动作和平衡、和专注力的关系、伤不伤眼睛、在特殊教育里怎么用——只引系统综述、荟萃分析和权威指南。
- 信息科技课上的体感游戏:课标里“过程与控制”“人工智能”和体感游戏的对照,Scratch 视频侦测做体感游戏的教程和教案,初中人工智能课怎么讲“机器怎么看懂动作”,用开发板做体感手柄。
- 全部专题