元宇宙创新者1:概念爆火后,才被世界看到的图形学大牛们
编辑 | 林觉民
“大家去年开始说元宇宙,我才发现,我做了很多年的事就是其中一部分。”
这群科学家创业者对雷峰网如是说。
1
梅铁铮·深耕十一年
2018年的夏天,梅铁铮参加了当时在温哥华举办的SIGGRAPH会议——这是全世界规模最大、影响力最广、权威度最高的图形学大会。
梅铁铮
在此之前很多年,SIGGRAPH几乎只在美国举行。原因无他,美国是世界计算机图形学的发端点,也是制高点。
但是在进入新千年后,加拿大政府一直在大力扶持影视后期产业,甚至发展出了号称“动漫哈佛”的谢尔丹学院,图形科学实力极强。
SIGGRAPH因此能够在温哥华举办。
在这次大会上,梅铁铮见到了一位效力于英伟达的世界顶级科学家。
梅铁铮与他相谈甚欢,他们都认为,未来软件发展趋势是——要能实现与3D世界的互联互通。
对方还表示,中国有个软件已经做到了。
梅铁铮听后也是好奇,便再三追问,到底是什么应用?
这位世界级科学家报出了那款应用的名字,“MIRROR”。
他不知道的是,梅铁铮正是MIRROR的创始人。
最近,梅铁铮对雷峰网回忆起当日的场景,他还是非常欢喜。
谈起元宇宙,梅铁铮与其他许多元宇宙基建实干家一样,显得后知后觉:“这十一年,我都在做虚拟世界的事儿,现在才知道,原来这就是元宇宙的一部分啊。”
梅铁铮并不是科班出身,这种热爱起源于一次创业。
20年前,21岁的北京孩子梅铁铮考入法国滑铁卢大学,攻读数学系精算方向。
梅铁铮的同学毕业后有的去了Autodesk(一家美国顶尖软件设计公司),有的现在已经是字节的全球高管。
梅铁铮则和大多数同学一样,成为了一名薪水颇丰的精算师。
毕业后的六年时间内,梅铁铮先后换了几家知名公司,工作地点也从美国换到国内,日子过得稳定富足。
已过而立之年,梅铁铮不愿平凡过下去,于是辞职创业。
这时候,两位从Autodesk离职的华人工程师找到梅铁铮,邀他一起创办3D渲染公司。
梅铁铮喜欢玩游戏,《反恐精英》《魔兽争霸》《星际争霸》都是他的心头好,故而CG、图形学对他有莫大的吸引力。
梅铁铮便欣然接受了这两位工程师的邀约,从这天开始,他一见图形学便“定终生”。
2年后,梅铁铮自己出来创业,找到了曾供职于海皮士的周赫做联合创始人。
周赫毕业于中科大计算机图形学,也是一个技术大牛。周赫待过的那家海皮士,在07年就已经出品过3D虚拟生活平台“虚拟中国”,真是国内古早版元宇宙。
梅铁铮和周赫为公司定名Virtueal,意在将虚拟(Virtural)与现实(Real)连接起来。
梅铁铮作为Virtueal智造科技的CEO,带队为百度等大厂的数字人提供技术支持,也参与过《长津湖》、《悬崖之上》等知名影视项目的后期制作。
梅铁铮拿着手机向雷峰网展示刘德华做数据采集时的视频,眼中有光,说:"刘德华、李连杰都来过我们3D扫描影棚里做过采集。"
尽管如此,梅铁铮仍然觉得不满足。
《猩球崛起3》上映的时候,维塔特效总监安德斯来北京万达解密电影特效,梅铁铮听了3个多小时。
安德斯提到《猩球崛起3》的动画堆了一个 GPU 的渲染器,动画师在做动画的时候可以实时的“所见即所得”。
梅铁铮被震撼了,他录下了当日的视频。
几年过去,梅铁铮换了好几个手机,但当时拍摄的视频他仍然珍藏着,还不时拿出来自勉。
梅铁铮预感到如果"所见即所得”能在业界普及,将改变整个CG和动画的生产流程。
为3D设计师和动画师提效也是当下急需面对的问题。出于这种考量,梅铁铮基于自研游戏引擎GYX,开始了MIRROR的研发。
MIRROR,可以理解为链接3D建模和渲染引擎的“转接插头”。
MIRROR可以联通三维动画软件和游戏引擎,以此消除厚重的3D数据层,让3D内容创作流程更快更方便。
2018年,MIRROR刚发布不久,梅铁铮也不知道到底做得怎么样,直到发生了开头那一幕。
那一刻,梅铁铮感觉到,原来世界顶尖厂商也知道了自己的产品,自己这么多年的工作,也总算是没有白做。
这两年,元宇宙概念大火,梅铁铮的MIRROR收到各种好评。
他也抓住机会,与国内某游戏大厂展开合作,大幅拓展了现金流,积极地筹备着新产品的开发。
最近一次雷峰网联系他,他因为北京疫情紧急,不得不离开他在东坝附近的办公室,被迫居家办公,但是他仍然在尽一切可能跟上合作方进度,我们祝他好运。
2
张心欣·追梦二十年
时间再次回到2018年,梅铁铮在SIGGRAPH还结识了一位中国同胞,张心欣。
与梅铁铮不同的是,张心欣是哥伦比亚大学计算机博士,是图形学科班出身,也是SIGGRAPH常客,甚至还曾经作为嘉宾登台演讲。
张心欣
数年后,张心欣回国创建起泽森科工。
有业内人士这样对雷峰网评价张心欣团队——“很多人一辈子也发不了一篇SIGGRAPH论文,泽森团队发了几十篇。他们每个人都有当CTO的实力。”
很少有人知道,张心欣少年时期,因为太热爱虚拟世界,以至于严重偏科,高考只能贴着二本线考进了浙江大学城市学院,甚至语文只考了90多分。
1995年,皮克斯动画推出了《玩具总动员》。
地球的另一端,一个8岁的杭州娃娃眼睛里有了光。
一个从香港旅游归来的好朋友,给年少的张心欣带来了一本《玩具总动员》的画册,让他大受震撼 。
张心欣自小就对绘画图像敏感,年少的他从此燃起了对数字动画的兴趣。
四年后,由父母斥2万元“巨资”,刚刚升入六年级的张心欣获得了在当时算是顶配的电脑。
不像其他小孩,刚接触电脑便第一时间跃入游戏的海洋,张心欣给电脑上安装的第一款软件是3D建模软件——至今仍被广泛应用的3D Max 。
一个暑假的时间,张心欣捧着一本厚厚的教程,在家自学了3D Max,也做出了几张科幻风的渲染图。
张心欣对雷锋网说道,“我并不想成为一个艺术家,艺术家想要用软件做出更好的作品;而我更想明白它背后的原理。”
这也导致一个结果,他高中时候除了数学和美术,其他科目都差到不忍直视。
进入城市学院后,他反而如鱼得水,因为他终于可以把精力放在图形学上。
在自己的世界里,人是不知疲倦的,而且更容易做出成果。
大三,张心欣获得国际数学建模竞赛一等奖。毕业后,经老师推荐,他进入浙江大学CAD&CG国家重点实验室,随后他拿到纽约大学计算机系硕士的录取通知。
张心欣来到美国纽约大学求学,进行计算机图形学方面的研修。
就在这时候,一个更大的机会来临了,张心欣振奋不已。
美国奥斯卡组委会组织了一项“Academy Intern”项目,即“学院实习生”, 旨在从美国各个研究生学院当中,选出5名兼具技术能力和艺术理念的学生,进入到梦工场、Techni Color、工业光魔等顶级电影工作室进行实习,为期一个暑假。
这次竞争极为激烈。
张心欣知道《玩具总动员》的制作方——皮克斯动画,也是实习计划的可选项之一。
这是张心欣距离自己梦想最近的时候,他太想抓住这次机会了。
张心欣对自己的简历和面试结果并未抱有多大期望,但张决定秉持“宁缺毋滥”的原则,没给自己安排其他兜底选项。
如果落选,他就在实验室里窝一个暑假,用科研来冲淡自己求而不得的失落。
在美国期间,张心欣住在皇后区,距学校大约40分钟地铁车程,课程通常是晚课,张心欣就不得不在纽约鱼龙混杂的地铁里,往返学校与宿舍的两点一线。
一天,正上着晚课,张心欣的手机响了起来,对方劈头用英语就问:“你是张心欣先生吗?”一时令他误以为是诈骗电话。
当对方亮明身份,张心欣心中沸腾了,电话那头正是美国电影与艺术学院来人,抛来的是张心欣通过选拔、进入项目的橄榄枝。
狂喜的高光体验,人生有数次足矣。
一天,正在实习的张心欣走在园区里,迎面遇见一位穿着短裤和蓝色夏威夷衫的老爷子,好似要去度假一般,毫无架子。
华人面孔在皮克斯并不常见,那位老爷子见到张心欣,便驻足与他寒暄。
张心欣认出了这个人——他是埃德温·卡特姆,是皮克斯三位创始人之中的技术担当,他就是开启给自己造梦的人。
张心欣深受鼓舞,从此更加努力。
埃德温·卡特姆博士
在皮克斯期间,张心欣没有辜负得来不易的机会。
张心欣在到岗一个月内,就在参与开源曲面细分技术的开发中立下功劳,张离开后,这项技术仍在被皮克斯工作室及业界使用。
又过去数年,张心欣在加拿大英属哥伦比亚大学拿到了计算机博士学位,在计算机图形学和计算物理仿真的动画生成方面,又取得了新的进展。
毕业后,他在一家加拿大公司工作,可惜没多久公司因为资金链断裂,便被迫被谷歌收购,这也让张的加拿大工作签无法继续使用。
因为签证的原因,张心欣感到前路迷茫,这时又有一位“贵人”向张心欣伸出了橄榄枝,此人是北京大学的教授,前沿计算研究中心执行主任——陈宝权。
陈宝权教授
张心欣和陈宝权的结识,还是在数年前,彼时张心欣仍在象牙塔中读博。
2014年的SIGGRAPH Asia 大会在深圳举办,组委会相中了张心欣的一篇论文,邀请张心欣来会上演讲。
张心欣留洋时间已久,也想与国内的顶尖学术圈有些交流的机会,便欣然赴会。
在国外受足了自由氛围的熏陶,张心欣顶着一头红发,在会上学究云集的氛围里格外显眼。
会后,组织者在四季酒店开办了一场自助餐会,供学者们在席间交流讨论。张心欣客场作战,自然熟人不多,在角落中扭扭捏捏,十分尴尬。
那场会议,恰好是陈宝权教授出席主持,张知道陈宝权是图形学界国内的领军人物,也大致有个脸熟,便主动上前交际 。
陈宝权也早就注意到了这位归国参会的年轻学者,年纪轻轻,笔下的论文便能入SIGGRAPH组委会的法眼,就也与张心欣相谈甚欢,掏出手机加了微信。
此后数年,二人保持着网络上的互动。
2018年,张心欣所在的加拿大公司刚刚被收购,经人联系,陈宝权就与张心欣取得了联系。
当时,北京电影学院新近开设了“未来影像高精尖创新中心”,研究数字技术如何赋予电影行业新的可能。
陈宝权教授作为首席科学家,也带队进行攻关,当下正在招兵买马。
得知张心欣的签证即将作废,陈宝权便顺势拉张入伙,既是给张心欣一个新的选择,也是吸引外出的人才回流国内,为中国的技术事业做贡献。
权衡再三,张心欣接受了陈宝权教授的邀请 ,归国加入他的麾下开始研究。
然而,张心欣的野心却不局限于这个“铁饭碗”。
他看到,2018年,中国的投资市场又进入了一个活跃期:“在北京的咖啡馆一坐,几乎身边每个人都在聊项目、谈融资。”
加之在国外的数年间,张心欣也清楚地看到了华人晋升和创业的天花板。“美国的整体环境,并不倾向于让一个黄皮肤的人取得成功。”张心欣如是说。
张心欣明白,想要闯出自己的一番事业,他必须回国,从研究员做起,重新开始熟悉、试探在中国的创业机遇。
2020年,张心欣在深圳创业——泽森科工(ZenusTech) ,Zenus取义于Zen(“禅”)和Venus(“维纳斯”),寓意是思想与艺术结合。
他创立的泽森科工,主要瞄准自己的专长领域,开发的图形工具“ZENO” 旨在重现物理世界的真实材质、运动和流体、爆炸等效果,赋能游戏、影视、仿真等领域,是元宇宙图像层面建构的关键领域。
近期,张心欣已经拿到了高榕资本和青松基金的数千万天使投资。
他想创造出一款工具类产品,将程序化的物理仿真计算和高精度的实时渲染功能合而为一, 为3D内容创作者们提供“从入门到精通”的秘密武器。
3
宋震和翁冬冬·产学研深度结合
时间再次回到2018年,这一年,张心欣受邀回国。
张心欣工作的北电“未来影像高精尖创新中心”(下称北电高精尖),也是个卧虎藏龙之所。
除了陈宝权教授外,高精尖中心还有数位图形学大牛坐镇,诸如王涌天(北理工信息与电子学部主任)、张树武( 中科院自动化研究所数字内容技术与服务研究中心主任)、汪苏(北京建筑大学副校长)等。
在北电高精尖埋头研究的时候,张心欣结识了两位研究员——宋震和翁冬冬。
数年后,这两位也以“两腔热血”投入到了元宇宙图形学基建的事业中去,以虚拟人领域为战场,对渲染和仿真技术前沿发起冲锋。
宋震,1973年生人,北京人士,在北理工仿真技术大牛——丁刚毅教授麾下,担纲大型活动仿真领域的研究工作。
宋震
北理工在学界一直与军事项目联系紧密,用宋震的话说,研究员在北理工,不做“军活”没地位。
宋震专攻的大型系统仿真领域,在大型战役、对抗模拟方面有重要意义。
而到了民用层面,一场10万人的活动,场面如何调度、如何制定应急方案,也是宋震的主攻方向。
举个例子,宋震的恩师,丁刚毅教授曾在2008年北京奥运开幕式的导演组里 ,负责仿真与技术调度。
丁刚毅教授
当时开会,大会议室里挤满了导演、舞美、灯光道具等一众工作人员,张艺谋就坐在会议室一端。
雅典奥运闭幕式出师不利,张艺谋顶着压力当选开幕式总导演,他必须一鸣惊人,否则可能再无翻身之地。
于是,张艺谋几乎是“被迫”语不惊人死不休,大量地用新招、奇招、怪招冲击着节目组的认知。
“只要这招你没见过,就ok。”在面对质疑时,张艺谋如是说。
然而,他的许多想象在技术层面几乎难以实现。
以为后世留下盛名的“活字印刷”节目为例,如何调度近千名部队战士,让他们能够按节奏和规律操作手中的道具?排练需要怎样的流程?整体舞台效果如何保证?
2008北京奥运会开幕式节目《活字印刷》
没人给找到解答方案时,大家就纷纷看向北理工团队所在的技术组。
丁刚毅所在的团队,用大型系统仿真的技术,为演出做规划,并给出排练方案。
“我们给每个战士都发了一个表, 告诉他们音乐到达某个拍子的时候,做怎样的动作。”
宋震后来还参与了平昌冬奥会闭幕式“北京八分钟”、国庆70周年阅兵等重要活动的系统仿真工作。
以这样的技术,宋震在北电高精尖主做仿真与虚拟拍摄(即在演员不在场的情况下,让导演能够预先看到想要的效果),而翁冬冬则是在VR方向着力更多,主做沉浸式叙事。
翁冬冬,1979年生人,比宋震小6岁,是北理工出身的博士,早在学校里就与他有交集,两人认识有十年以上。
翁冬冬
在与雷峰网聊天时,两人互称“老师”,学者气十足。
翁冬冬在北理工是学XR技术出身,师从前文提到的王涌天,师兄弟都主攻光学硬件开发,而翁则是王涌天门下的“少数派”,主做XR应用,偏向系统开发。
翁冬冬早年就热衷创业,他想把手里的学术优势,转化成在商场上的成功。
“如果完全做学术,技术快就会脱离产业界,那么学术基本上也就没得做了。”翁冬冬说了自己的想法。
选择创业项目,翁冬冬选择了“大型模拟器”。
曾经,他的团队与环球影城差点达成合作,只不过阴差阳错之间擦肩而过,6年的心血毁之一旦。
宋震、翁冬冬、张心欣和北电高精尖的同袍们时常聚餐交流,从各省驻京办吃到各国风味美食,时常还爱喝两口小酒,把同事们的口味养得很刁,宋、翁二人和张心欣也逐渐熟识。
宋震长张心欣十几岁,颇有“老大哥”风范,帮助张心欣快速地融入了国内学术和产业圈。
张心欣离开北京,远赴深圳后,宋震还一直对张心欣照顾有加。
“宋老师是个纯碎的人,他不吝把身边的资源介绍给别人,他只关心事能不能成。”张心欣向雷峰网说道。
在北电高精尖工作的时候,宋震和翁冬冬始终走在学术和技术的前沿,也更能洞见虚拟世界尚存的不足。
回忆起创业的初心,宋震说:“那时我们就都发现,虚拟世界里的‘人’做的不够好。”
有人认为,虚拟人可能会是用户进入元宇宙的新型入口。
宋震和翁冬冬想要的虚拟人解决方案,既得看起来足够逼真;又要能够实时渲染,让用户能与之交互;还得实现AI驱动。
宋震和翁冬冬动了创业之心,便在学校申请了一个科研项目,也就是二人创立的公司——“数字栩生”的前身。
刚开始创业,宋震和翁冬冬还是低估了这件事的难度。原本预计1年半就能实现的工程,团队至今已经做了5年。
创业的前两年,团队甚至没有上手开发,他们把虚拟人相关的,能找到的论文全部读了一遍,就是要把这其中的学术成果全部吃透,以至于,在这两年里,团队连一个美术都没有。
比如虚拟人的头发,即使知道理论上的渲染公式 ,实际渲染出来,其中也有许多工程相关的问题,不实际操作、试错就难以解决。
做“人”难,难就难在如何越过“恐怖谷”。
何为恐怖谷?
如上图所示,我们可以这样粗略理解,正常情况下,虚拟形象被画的越像人,相似程度越接近100%,我们看起来越觉的生动真实。
但是,当相似程度在80%-90%之间的时候,虚拟形象越像人,我们看起来越觉得可怕。很多僵尸、鬼怪类恐怖电影都会基于此塑造形象。
翁冬冬表示,因为人类本身自己对人类的面部细节的表情非常敏感,人的脸部只要做微小的抽动,传达出来的含义就可能完全不同。
在构建数字人的时候, 只要有微小的偏差,就会表达出完全不同的或者比较奇怪的现象。
陈宝权教授曾经分享过一个案例,2004年汤姆·汉克斯主演的《极地快车》,就在成片时让人物“落进了”恐怖谷,观众看起来很不舒服,电影票房也未达预期。
电影《极地快车》幕后
但即使跨过了恐怖谷,距离“数字人”的理想状态还有很远。
“数字人从95分向96分的升级,中间仍有很大的鸿沟要越过。”翁冬冬这样总结道。
从科研向市场的过渡 ,宋震说,这通常需要5年的时间。
这五年里,宋震和翁冬冬耐着常人无法忍受的寂寞,踽踽独行。
在创业之初,他们宾客满堂,不少行业内的大厂,都看好宋、翁二人的项目,与他们寻求学术合作。
而谁料宋震和翁冬冬“苦寒”式的开发太过冷清,很长时间里见不到市场回报,许多先前相谈甚欢的合作伙伴,也选择了默默退出。
“甚至一个电话都没有,就是突然找不到人了。”宋震这么对雷峰网说。
宋、翁二人的学者气,也让他们在寻找融资的层面上,与游戏规则“格格不入”。
通常的创业者,为了获得投资人的信任,通常总是极尽吹捧之能事,能做80分的事情,非得吹到120分不可。
而宋震和翁冬冬是工科出身,言辞严谨,话不喜欢说满。
能做80分的事情,太过实诚的他们只敢说自己能做到60分,实际却以100分、甚至120分的努力去实现。
创业数载,宋震主动从北理工辞职,这才能够更加没有包袱地承担一些商务工作。
而翁冬冬则还保留着在学校的职位,一方面可以沉下心来做研究,另一方面也能保持和学术资源的良性连接。
“我还能稍微吹吹牛,但翁老师不行。”宋震笑道,这是他对于学者身份言行的坚持。
2021年10月,数字栩生完成了从科研课题向企业的转变,自然开始需要更多的资金,来支持后续的研发。
然而,即使当时元宇宙概念正炙手可热,投资人对数字栩生正在做的事情仍然不理解。
宋震说:“纵览过去40年整个IT行业的发展,归根结底还是技术驱动的,并非商业模式驱动。
而投资人更多地会选择他看得懂的项目去投, 尤其是风投,更看重的是商业模式,反而觉得技术是很好解决的要素。”
5年的技术积累,是数字栩生引以为傲的“护城河”,其他人“视作等闲”的技术要素,是宋震和翁冬冬一步一个脚印,用了5年时间,如开拓者一般“垦荒”得来的。
跨过了“苦寒”的研究,宋震和翁冬冬正带着他们的项目,从学术走向市场。
近年,数字栩生进行了大量的面部数据采集,并持续丰富他们的“数字银行”,来优化算法。
而与中戏、腾讯合作的三方合作的“数字梅兰芳”,作为宋震和翁冬冬二人的“小试牛刀”,也算惊艳。
4
后记
计算机图形学的意义,是使得虚拟世界能够被看到。人们要想生活在元宇宙中,也必须等走好这一步。
元宇宙的“垦荒人”——图形学领域的创业者们,在今天正慢慢崛起。
不只文中提到的四位才俊,北影副教授王春水、太极图形的CEO胡渊鸣,诺亦腾的CEO 刘昊扬,凌迪科技 Style3D 的科学家王华民……他们也在持续冲击着图形学在技术和市场上的边界。
这些“垦荒人”,他们做的是最艰苦、最寂寞的工作。他们的研发,可能数年不见回报;一朝进入市场,也要面临广泛的质疑,与国际赛道上强敌的倾轧。
进入2022年,元宇宙的“虚火”也慢慢降下来,炒概念的人又去了其他风口,做实事的人仍在默默改变世界。
聚光灯来而复去,这些技术创业者矢志不移。
END
拨开谎言和骗局,我们重新复盘「元宇宙」
NFT在元宇宙,是「造富神话」还是「击鼓传雷」
VR这张旧船票,能登上元宇宙这艘宇宙飞船吗?