开始玩 →

不用手柄,摄像头怎么认出孩子的动作?浏览器里的姿态识别

· 动动乐园

不用手柄,摄像头怎么认出孩子的动作?浏览器里的姿态识别

很多人第一次玩会问:没有手柄、没有体感摄像头,普通电脑摄像头怎么知道我跳了?答案是浏览器里的“姿态识别”。

从画面到关键点

我们用的是谷歌开源的 MediaPipe 姿态识别模型。它看一帧画面,算出人身上 33 个关键点的位置:鼻子、眼睛、耳朵、肩、肘、腕、髋、膝、脚踝、脚尖等。每秒算几十次,就得到了一个“会动的火柴人”。

从关键点到动作

有了火柴人,游戏就能判断动作:

为什么画面不用上传

模型直接在你的浏览器里运行(用电脑的显卡加速),画面进来、关键点出去,整个过程都在这台电脑上完成。所以动动乐园不需要把画面传到服务器,也就不录像、不上传。识别模型第一次打开时下载到浏览器缓存里,之后断网也能用。

怎么让识别更准

首页的 设备检测 会一项一项帮你查。

文中提到的游戏

更多文章