雕塑雕刻

首页 > 雕塑雕刻 > 正文

MIT用AI创建3D动画雕塑,竟能帮运动员分析数据

2018年09月26日 热度:611 ℃

hi188| 撰文

3D电影想必大家都看过,而雕塑相信不少人也都亲自看见过,那么如果把这两件事情串联起来后,3D动画雕塑你见过吗?

可能这个名字听上去有点奇怪,简单来讲,3D动画雕塑可以是任何物体的移动路径形成的3D视图,你的物体形状、运动轨迹都会影响最后的效果,而3D动画雕塑则被看做是一种超现实主义的艺术。

近日,一帮研究员打算通过建立一套AI系统,通过简单的2D图像即可创建出这些超现实主义的3D动画雕塑场景。

据了解,这套AI系统名为MoSculp,由麻省理工学院计算科学与人工智能实验室CSAIL、谷歌研究院、加州大学伯克利分校的研究员共同创建,目前已发布一篇名为“MoSculp:时间和形状交互时可视化”的论文。

这套AI能干啥?

该论文的第一作者时张修铭(Zhang xiuming音译)讲到,这套MoSculp AI系统可以帮助运动员们提供详细的运动数据,以提升专业技能。

例如:你可以用这套AI系统记录下费德勒(知名网球运动员)在网球比赛时的3D动画雕塑,同时在记录一个你自己的网球运动的3D动画雕塑,通过比对两个动画雕塑,就可以更全面的知道两者的不同和差距,也能知道需要改进的地方。

那么,MoSculp又是如何实现这个过程的呢?

不得不承认的就是,MoSculp运动追踪是一个集合多步骤的过程,首先MoSculp需检测识别出人体,然后跟踪其2D的姿势;其次,利用卡耐基梅隆大学感知计算实验室的多人关键点实时身体跟踪系统OpenPose(开源项目),估算其中每一帧的关键节点,例如踝关节、肘关节、腕关节、髋关节等;然后,综合复原出一个身体的3D动画雕塑模型,它基本上能够反映出你的每一个姿势和动作。

可是你又会问,一个3D的动画雕塑模型只是通过2D视频去模拟,精度又如何?能不能改变观看角度?这点研究人员也表示,通过该方式可能缺乏一些纹理和结构细节,如面部结构、头发等细微的部分。

接下来,如何有效且简单的解决这一问题呢?

开发人员给出一种新的方法,即将3D模型直接导入原始的视频中,而不是把3D模型从视频中模拟出来。

a,抽取部分帧画面;b,以新的视角呈现;c和d,将动画雕塑嵌入视频中

为了防止阴影和遮挡问题,MoSculp估算每个框架中人物和雕塑深度图,比较两者远近关系,然后基于所有帧来综合对比提取出前景蒙版,以此来进一步细化初始深度图。

在实际使用中,MoSculp会检测关键点然后覆盖到输入帧上,然后随机选取帧来进行确认,同时该系统还支持手动矫正调整,最终生成运动雕塑并融合到自定义的界面中。

a,分析提取视频;b,生成动画雕塑模型嵌入视频;c,合成场景;d,最终的定制和修改

除此之外,MoSculp还支持直接通过3D打印机进行打印,并且还支持自定义设置,例如场景、光照条件。

Adobe公关传播负责人Courtney Brigham讲到,虽然舞蹈和体育运动的动作是短暂即逝的,但MoSculp展现出了将这些短暂即逝的内容转化成可视化的动作雕塑的能力,无需运动相机或复杂设备即可为运动员等提供训练指导数据,同时还更节省时间。

目前,MoSculp应用还仅局限于单个对象的视频场景。至于未来,该团队希望正在将该AI技术应用带多人的视频场景中,而具体可实现的功能例如说:用于团队协作、人际交往的检测和追踪,甚至是一些复杂的社会性难题,要知道社交可是门大学问。

(END)

发表评论
◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

相关文章

北海双飞四天

北海双飞四天

“东方夏威夷”北海十里银滩、金海湾红树林赶海、浪漫环岛游、冠头岭日落、百年老街双飞四天休闲游。畅享北海·东方夏威夷★游览“东方夏威夷”之称的天下第一滩【北海银滩】!★游览规模最大、保存最完美的中西合璧...

上新(玻璃钢仿真昆虫雕塑系列)——在夏天结束的时候突然想起你

上新(玻璃钢仿真昆虫雕塑系列)——在夏天结束的时候突然想起你

什么时候突然意识到夏天来了听觉先行最开始是阵阵蝉鸣接着便是各种昆虫的大合奏重庆的夏天在一场雨之后宣告结束所以大合奏也在这场雨之后谢幕现在每天的气温保持在23、4度需要穿起衬衫、外套...偶尔有那么一两...

旅行丨漫步意大利古城锡耶纳~

旅行丨漫步意大利古城锡耶纳~

锡耶纳位于南托斯卡纳地区,佛罗伦萨南部大约50公里,建在阿尔西亚和阿尔瑟河河谷之间基安蒂山三座小山的交汇处。中国的城市大多喜欢建在山谷或者河流冲积扇上,大概是为了生活方便;这里的城市却很不一样,都往山...

涨姿势|才242年历史的美国教孩子如此爱国,我们的历史教育该反思

涨姿势|才242年历史的美国教孩子如此爱国,我们的历史教育该反思

转载自公号:憨爸在美国(ID:hanhanusa)带憨憨去LEGOLAND(乐高乐园)玩,那个乐园最有意思的地方在于,所有的景点都融入了浓浓的乐高元素,有乐高各种主题的游乐项目,有乐高积木搭建的建筑。...

『雕塑头条』亲情的私域丨莳庐(李建国)的人物肖像

『雕塑头条』亲情的私域丨莳庐(李建国)的人物肖像

▲本期人物  莳 庐  (李建国)1954年8月出生于安徽桐城自由艺术家,居深圳、南京早年为军旅画家,涉及画种宽泛作品多为反映现实生活题材的创作1984年成为中国美术家协会会员1992年至2012年从...

美国艺术家用整块木头雕刻等比例施瓦辛格雕塑 青筋血管都栩栩如生

美国艺术家用整块木头雕刻等比例施瓦辛格雕塑 青筋血管都栩栩如生

美国新泽西州,艺术家詹姆斯·奥尼尔(James O 'Neal)用一整块黑色橡木树干雕刻出了阿诺德·施瓦辛格的真人大小木质雕像。值得注意的是,这座雕像并不简单,因为它和施瓦辛格真人同等大小,一比一比例...