说起“沉浸式”媒体技术,你可能不熟悉,说起AR/VR技术,你即便不了解,可能也曾有所耳闻。
现在,你想象自己坐在沙发上,闭上眼睛,然后戴上一台虚拟现实头盔。你睁开眼睛,看到一片森林,你可以在森林中行走、驻足,甚至与动物对话,森林中的一切将你包围,你“身临其境”,这就是“沉浸式体验”。这个影像不同于传统的电视、电影画面,你在观看影像时,不会出现家里的猫走到屏幕边,手边的旧报纸不时进入视野里的情况。沉浸式体验便是,不论你是坐着、躺着、还是打滚,感觉上都是在影像中进行的,你与影像“合而为一”。
学术意义上的“沉浸式”,来源于1975年米哈里·契克森米哈提出的沉浸理论。该理论认为,当人们在进行某些日常活动时,会完全投入情境当中,过滤掉所有不相关的知觉,进入一种沉浸的状态。当沉浸理论延伸到人机互动媒体上时,就出现了沉浸式媒体。AR的专业术语是增强现实技术,VR的专业术语是虚拟现实技术,将这两种技术运用在媒体形式上,就是最新的沉浸式媒体技术。
一幅图促成一个研究院
在中国科大先进技术研究院的一楼大厅,有一幅醒目的科学可视化作品,面积达200平方米以上,生动地表现了单分子拉曼光谱成像的相关科学成果。该成果表现的是前中国科大校长侯建国院士、董振超教授团队发表在顶级学术期刊《自然》杂志上的一篇论文的科学成果。当时,由中国科大科技传播与科技政策系周荣庭教授带队,在与时任校长侯建国科研团队的共同研讨、设计和修改下,为拉曼成像成果制作了五个科学可视化方案。这些可视化原理图被广泛应用于《自然》杂志的网站和国内外的新闻宣传上。对科学可视化印象深刻的侯建国校长,在随后开展的校企合作探索中,积极指导并推动了中国科大与皖新传媒共建新媒体研究院。
2014年8月8日,沉浸式媒体技术实验室即新媒体研究院在中国科大先进技术研究院正式挂牌成立,周荣庭出任院长。实验室成立的初衷就是探索VR/AR等沉浸式媒体技术在科学传播与科学教育上的应用,通过将文化内容与沉浸式新媒体技术的融合来推动科学文化的传播。
在最初接洽的时候,皖新传媒的领导对周荣庭半开玩笑地说:“你把侯校长请来我们皖新传媒,我们就每年支持1000万元”。周荣庭去请示侯校长,极少去企业参访的侯校长说:“这是好事,我给你背书去”。
侯校长在考察皖新传媒的短短两小时过程中,皖新传媒居然出版了一份关于侯校长考察皖新传媒的内部刊物。所有编写、排版、印刷工作,都在短短两小时内完成,这种按需出版的技术和效率给侯校长留下了深刻的印象。侯校长在合作协议的签订过程中,鼓励新的研究平台致力于国家级工程技术研究中心的创建、国家级新媒体人才培养基地的建设以及国际化新媒体学术交流平台的开创。周荣庭从侯校长的支持中获得巨大的鼓舞,感慨“科学可视化促进了新媒体研究院的诞生”!
“新媒体研究院有着天然的优势”,周荣庭说,“一方面,科技的快速发展促进了公众对科技文化产品与教育需求的不断增加;另一方面,研究院以中国科大人文学院科技传播与科技政策系为建设依托,是需求与技术的强强联合,学校也给予我们很大的支持”。
将科学与人文深度融合
短短两年时间,新媒体研究院专注于沉浸式新媒体传播数字内容与技术的研发,在国内外已经初步拥有了一定的影响力和知名度。
新媒体研究院出品的体验式数字传播作品《美丽化学》,将科学的神奇与美丽通过可视化影像传播给大众。截至目前,作品已有超过千万的独立访问量,得到《时代周刊》等全球140多家媒体的重点关注与报道,2015年2月获得由美国国家科学基金会(NSF)和美国《大众科学》杂志举办的Vizzies国际科学可视化竞赛大奖,这是国内作品首次获得该奖。有大学生给团队来信说:“如果早点看到《美丽化学》,我就选择化学专业了。”
依照沉浸式阅读理念,实验室利用自主研发的基于手机与PAD的增强现实出版技术平台“科学荟”,于2015年与电子工业出版社合作研发了AR绘本《消失的世界》,并延伸开发了相关联的三套桌牌游戏,通过卡牌获得增强现实应用……
在此基础上,实验室开发了一套行业领先的轻量级增强现实编辑技术及云生产平台,该平台将在行业垂直领域实现特征识别、数据转换、编辑制作、数据管理传输、标准制定等方面的集成设计和研发,为VR/AR技术行业服务高效定制奠定了基础。
短短两年时间,就取得了如此多实质性的进展,他们是怎样做到的?
“新媒体研究院以科学与人文的结合为核心竞争力,此外,交叉学科背景更是我们的一大优势”,周荣庭说。
令中国科大公共管理博士生、新媒体研究院院长助理吴茂乾记忆特别深刻的是,周荣庭院长特别强调“聚焦”二字:要瞄准国际最前沿的成果,专注于擅长的领域、埋头苦干。周荣庭对于新媒体研究院每一个产品都有着严格的要求,每次有新产品出来,周荣庭都是第一个试用的用户,“如果是自己都不满意的作品,宁可承受损失,也不要交付给用户”。
“要有严谨的科学态度”
2016年初,研究院启动面向中学理科教师使用的互动式多媒体课件演示平台“火花学院”项目,吴茂乾是主要负责人。
在与蚌埠二中合作化学公开课的过程中,由于任务时间紧、要求高,为保险起见,团队部分成员建议将其中的AR技术应用部分去掉。吴茂乾经过审慎考虑,为保证产品的高品质,坚持将AR技术引入到公开课课堂中,并前后三次带领团队前往学校与老师进行现场沟通协调。最终,在团队的共同努力下,出色地完成了任务,AR技术所呈现出的分子结构模型得到了师生的一致好评。作品在第十一届全国化学公开课上进行了展示,获得广泛关注,并入选国家级公开课名录。
2015年,研究院与电子工业出版社达成合作意向,计划出版一本增强现实的科普绘本。获得法国科普大奖的作品《消失的大陆》进入了团队视野,在保持原绘本艺术风格的前提下,团队需要将绘本上的动物通过3D技术动态复原,并展示它们如何跳、如何跑、如何飞翔、如何进食。
在制作过程中,团队遇到了技术难题:在移动终端性能的限制下,如何用有限的计算资源呈现原绘本精美的艺术性?一个动物只能用5000-10000个画面贴片组成,因此所有的贴图都必须绘制得非常精细。“所有的设计都是团队成员们反复核查资料获得的”,吴茂乾说,“科学与人文的结合更需要严谨的科学态度。”
以始祖鸟为例,所有的羽毛都需要单独建模,还要建立站立和飞翔两种不同的模型。另外,每个动作都要做到精确:始祖鸟扇动翅膀,不是将双翅向后展开到后背,而是在胸部一侧(双翅夹角不能超过180度);又比如,以爬行方式移动的古生物,爬行方式各有不同:梁龙的行走是一侧的前脚先移动,同时该侧的后脚跟上,然后再换另一侧脚;而翼手龙是以“左前、右后、右前、左后”这样“对角线”方式移动四肢。
在团队的共同努力下,AR出版物《消失的世界》于2015年底正式推出,首批5000本图书在2015北京图书订货会上极为抢手,图书上市后便被订购一空。正如周荣庭所说,“智能化软件将赋予我们沉浸式的互动体验,不仅为我们在增强融合的体验中搭建了一层无尽的想象空间,还将想象空间变为现实”。