不用手柄,摄像头怎么认出孩子的动作?浏览器里的姿态识别
· 动动乐园

很多人第一次玩会问:没有手柄、没有体感摄像头,普通电脑摄像头怎么知道我跳了?答案是浏览器里的“姿态识别”。
从画面到关键点
我们用的是谷歌开源的 MediaPipe 姿态识别模型。它看一帧画面,算出人身上 33 个关键点的位置:鼻子、眼睛、耳朵、肩、肘、腕、髋、膝、脚踝、脚尖等。每秒算几十次,就得到了一个“会动的火柴人”。
从关键点到动作
有了火柴人,游戏就能判断动作:
- 手腕的位置碰到泡泡 = 戳到了;
- 髋部突然往上又落下 = 跳了一下;
- 膝盖交替抬起 = 原地跑,抬得越快跑得越快;
- 和墙洞里的姿势比较每个关节的角度 = 姿势像不像。
为什么画面不用上传
模型直接在你的浏览器里运行(用电脑的显卡加速),画面进来、关键点出去,整个过程都在这台电脑上完成。所以动动乐园不需要把画面传到服务器,也就不录像、不上传。识别模型第一次打开时下载到浏览器缓存里,之后断网也能用。
怎么让识别更准
- 光线充足,别背对窗户;
- 站在 2~3 米远,让摄像头拍到全身(踢球、跑跳类要拍到脚);
- 穿和背景颜色不一样的衣服;
- 电脑慢的话把识别模型换成“快速”。
首页的 设备检测 会一项一项帮你查。

