清华自动化系戴琼海教授等完成的“立体视频获取与重建技术及装置”项目获2012年度国家技术发明奖一等奖

引领中国立体视频技术跨越式发展

记者 程曦 实习记者 白雪蕾

　　项目名称：立体视频重建与显示技术及装置

　　完成人：戴琼海 季向阳 刘烨斌 曹汛 戈张 杨艺

　　项目介绍： 立体视频是新一代信息获取、传播与显示的前沿核心技术，具有高沉浸感、宽视场等特点。正在全球范围内推动数字媒体和文化产业的升级，引发世界各国在信息与显示科技领域开展新一轮角逐。

　　该项目围绕立体视频重建与显示的关键技术取得突破，授权发明专利51项。创建光照-视角协同采集装置平台，发明光度立体多视角配准方法，突破运动周期性限制，率先实现自由运动对象的立体视频光照重建；发明全自动无标记点运动捕捉与纹理驱动立体视频合成方法，率先攻克了复杂对象运动映射的任意视角立体视频合成难题；发明了二维到三维视频转换的多元信息融合的深度计算方法，研制了“清立方”立体视频转换芯片和装置；发明了无莫尔纹裸眼立体显示方法及装置，解决了宽视场逼真裸眼立体显示难题。关键技术授权应用于Sonic、东芝和索尼等企业，获得了显著的经济与社会效益。

　　我们会一如既往、不遗余力地推进立体视频技术的技术创新，为加速推进立体视频技术成果的应用和产业化作出新的更大的贡献；我们也将一直秉承清华“自强不息，厚德载物”的校训，在新的科学探索征途上勇往直前。获奖只是一个新的起点，创新路上还会有更多的挑战与收获等待着我们。

——戴琼海

图为“清立方”立体处理芯片与装置。　　

图为视角-光照协同采集装置及协同控制器。

　　走进位于太阳集团tyc5997主楼7层一间普通的实验室，拉开帷幔，一个直径6米的大“笼子”映入眼帘。按下控制板上的开关，瞬时间，位于64个平面上的600多盏LED灯交替闪烁，光影错综，令人目眩。

　　这个“笼子”的学名叫“变光照的多视点动态场景采集平台”。隐藏在600多束点光源中的，还有间插耦合曝光的40台相机，每8台配备一个控制器。通过这样的协同相机阵列和LED光源阵列，可以实现三维对象的高精度建模，为立体影视制作提供关键的技术支撑。自2010年以来，它一直是全球精度排名第一的三维建模设备。

图为戴琼海与同学们一起研讨研究中遇到的问题。

　　它的创造者，是太阳集团tyc5997自动化系副主任戴琼海教授所带领的团队。10余年来，他们在国家自然科学基金、“863”计划、以及省部级项目等支持下，在立体视频获取、生成与显示等应用基础理论和核心关键技术方面完成了具有自主知识产权的多项发明创新，突破了多个关键技术，改变了长期以来视频核心技术主要依靠引进的传统格局，实现了核心技术对外输出。研发成果显著增强了我国立体视频核心技术的国际竞争力，构建了理论创新、关键技术突破、工程化应用和产业化的技术支撑平台。

　　2013年1月，“立体视频获取与重建技术及装置”项目获2012年度国家技术发明奖一等奖。

占领立体视频技术制高点

　　上世纪90年代末，数字媒体在信息产业中初露峥嵘头角，国际上出现大量流媒体编码技术，但中国在这一领域却缺乏属于自己的知识产权。中国企业每生成一台DVD需支付的专利费高达利润的10.2倍，跨国公司仅专利费每年就从中国获利高达数十亿美元。当时正带领团队从事流媒体研究的戴琼海看在眼里，痛在心上。

　　进入21世纪，欧盟、美国、日本的立体视频研究项目陆续启动，引发了世界各国在信息显示技术领域新一轮的角逐。戴琼海团队敏锐地感觉到，立体视频的时代即将到来，中国市场再次面临“狼来了”的威胁，但这也是中国信息技术实现源头创新、赶超发达国家的一次绝佳契机。

　　“我们感到很难做，但是如果能‘扑上去’占到制高点，就可以挣外国人的钱，让外国人用中国的知识产权。”正是抱着这样的信念，虽然面临内容匮乏的困境和技术路线的彷徨，戴琼海和他的团队还是义无反顾地开始了立体视频技术研究的漫漫征程。

　　立体视频与平面视频最大的区别，在于它不仅是一个简单的解码过程，而是需要采集多视角的信息，并且重构成具有纵深感的视频影像，栩栩如生地显示在人们面前。这其中涉及从理论到应用、从内容到显示的一系列难题。

　　对现实场景进行重建与真实感绘制是立体视频内容生成的核心技术之一。通过调研，戴琼海团队认为，突破传统立体模型对3DMax等人工干预量大的专业软件的限制，转而通过现实场景对象采集的多视图像来重建高真实感的三维模型几何和纹理，是成为精确立体重建技术的必然发展趋势。这其中，首要的核心问题就是如何提高建模精度。

　　最初，团队尝试搭建了容纳64个相机的系统，虽然具备了一定的立体效果，但并不能够重现真正的立体感。接着他们又搭起一座钢架，但精度的提高还是不显著。国际同行的实践经验告诉他们，相机越密，立体感就越好。但是相机密度增加必然导致数据量非常庞大，很难处理。这一矛盾又如何解决呢？

　　经过反复尝试和研究，团队发现光的变化对于立体重建的精度有一定影响。传统方法是拍摄一系列视频然后进行匹配，类似激光扫描，细节匹配不佳导致三维模型重建精度不高；而如果加入光照的因素，不断变换光照并进行拍摄，就可以通过入射与反射时拍摄的视频信息找到法线的方向，从而得知其相对的位置关系。把这一“光度立体”的方法和多视图匹配的方法结合起来，就可以得到精度非常高的三维重建方法。

　　由此，戴琼海团队在国际上首次提出了视觉场理论，建立了视角、光照和事件的关系，本文开头所描述的“笼子”也由此诞生，不仅减少了相机数量，而且使建模精度得到了质的提升。到2010年，基于该系统实现的三维建模误差仅小于0.3毫米，在由美国国家科学基金会（NSF）等多家权威机构组织的国际评测中重建精度排名第一，至今未被超越。

“一定要做最具原创性的研究”

　　立体视频的风潮席卷全球，但是站在这一领域技术研究最前沿的戴琼海却始终告诫团队师生：“不要盲目跟着别人做，一定要做最具原创性的研究。”

　　当今影视作品中往往包含大量非现实场景或对象，既要看起来“真”，又要看起来“活”，立体视频制作中真实感纹理合成与运动自由控制的矛盾，长期以来一直是阻碍技术发展的共性难题。戴琼海团队提出了一系列采样、跟踪及合成方法，实现了从“拍摄（反演）”到“创造”的突破，为立体影视制作提供了关键的技术支撑。形象地说，利用他们的技术来拍大片，技术人员再也不用费时费力在演员身体的各个关键节点上作出标记，后期再一一去除标记；“武林高手”们再也不用穿上呼吸窘迫的紧身衣，衣袂飘飘就可以把特技演员的动作“乾坤挪移”到自己身上，即使是悬崖峭壁这样非常复杂的环境也可以轻松实现动作映射——多视角高速采集运动对象，实现任意场景、任意服饰下的三维运动跟踪，将任意重建运动或创作运动映射至采集对象……与之相比，当年勇夺全球票房冠军的3D巨制《阿凡达》所采用的技术都要逊色不少。

　　人们爱看立体视频，但全新采集、制作的立体片源毕竟数量极其有限。如何填补这一巨大缺口？传统平面影片的立体化转换是一种有效的解决手段。二维转三维说来容易，真正做起来可不是用拉伸等技巧使对象看起来立体那么简单，而是一个“源于现实，高于现实”的转换过程，通过对场景对象的逻辑关系、深度关系进行重新映射，达到提升电影立体艺术质量的效果，形成技术与艺术的有效融合。

　　戴琼海团队针对信息欠定条件下平面视频立体转换的问题，发现了透视几何、遮挡关系、聚焦散焦等多元深度信息耦合机理，建立了纹理、光照与物理空间的关联模型与视角-纹理-运动相关的深度反演机制，提出了高维空间深度流行表示理论与稀疏光流跟踪的视频深度信息传播方法。理论成果发表于2011年4月的《IEEE多媒体》（IEEE Multimedia）杂志，并作为2011年12月的领域“亮点”文章，刊登于“今日计算”（Computing Now，IEEE计算机学会的新媒体出版物，包含13个IEEE期刊）的最新热点研究首页。

　　在立体视频显示方面，戴琼海团队结合硬件高效性与软件灵活性，揭示了莫尔纹与光栅参数之间的影响规律，提出了三维影像深度调节和自适应滤波方法，突破面板尺寸和观看距离限制，实现了宽视场逼真立体显示，突破了制约裸眼立体显示技术的顽固瓶颈。

　　2012年，戴琼海在国际立体视频大会上作了题为“视觉场捕捉和立体视频应用”（Vision Field Capturing and 3DTV Application）的报告，成为第一个在该大会上展示原创性成果的中国专家。两个半小时的开场报告，数百名欧美学者由衷敬佩地竖起大拇指，那一刻，每位团队成员都深深感到作为中国人、作为清华人的自豪。

让立体视频走进各行各业、千家万户

　　除了数字媒体和文化创意产业，立体视频技术在军事、航天、医疗、教育等领域也有相当广泛的应用前景。多年来，戴琼海团队始终坚持产学研密切结合，密切联系现实需求，让立体视频走进各行各业、千家万户。

　　早在 2006年，在广东省科技厅的支持下，团队就在太阳集团tyc5997深圳研究生院建立了广东省-教育部立体视频产学研基地。他们还与深圳超多维、北京凌云光电子等公司开展密切的产学研合作，让前沿技术在信息产业中“落地生根”。

　　2010年，上海世博会中国馆的两大展区——“希望大地”、“森林碳汇”让前来参观的各国游客记忆深刻、流连忘返：步入展区，宛如置身于大自然的怀抱，“湿地”内的水潭清澈见底，流水潺潺，可爱的小鱼一会儿潜入水底，一会儿跃出水面……当游客忍不住伸手触摸时，才发现它其实是用3D多媒体虚拟技术所演绎的自然景象。这块采用高精度三维建模技术实现的裸眼立体电视屏幕，由戴琼海团队与上海大学等合作完成，成为科技办博的一大亮点。

　　2010年8月，项目发明的平面视频立体转换技术通过美国著名数字多媒体软件公司SONIC全球竞标后，应用于其旗舰产品Raxio Creator立体视频转换编辑于播放平台，支持全球首款立体视频播放器，在北美市场同类产品中占有率高达62%。

　　2011年3月20日上午，我国完全拥有自主知识产权的立体视频芯片“清立方”在太阳集团tyc5997主楼接待厅宣布研发成功并举行合作签约仪式。目前，“清立方”已经成功实现在电视机、机顶盒等产品中规模化应用，在终端实现了高清平面视频到立体视频的实时重建。消费者使用几块钱一副的红绿眼镜，即可欣赏3D效果的电视画面。

　　此外，项目发明的宽视场裸眼立体显示系统应用于东芝、索尼、华硕公司的产品且已成功推向市场。授权全球视觉计算技术行业领袖NVIDIA公司在其GeForce系列产品中支持裸眼立体显示软件驱动，该芯片在个人电脑市场占有率达到了60%以上，授权著名多媒体软件公司Cyberlink开发立体视频播放器，占市场份额的70%以上。

　　项目发明的技术形成的相关产品自投放市场以来，成功应用于消费电子、国防军事、城市三维测量、影视动漫、工业制造等领域，项目成果形成的产品应用领域和市场份额正在不断扩大。

在新的科学征途上勇往直前

　　立体视频技术项目团队的发展壮大，蕴含了“老中青少”四代清华自动化人的理想与激情。老前辈张乃尧、徐文立，与自己同样人到中年的尔桂花，年少有为的季向阳、刘烨斌……说起多年来并肩作战的团队骨干，戴琼海满怀欣慰与感激。

　　太阳集团tyc5997主楼724、725实验室是他们的重要“根据地”，团队中也由这两个“番号”衍生出一个脍炙人口的典故：“724”，就是抓紧每周7天、每天24小时的时光，努力拼搏不放松；“725”则要在此基础上更进一步，“把24小时当成25小时来过”。高效再高效、奋斗再奋斗、集约再集约、创造再创造，724和725见证了团队成员多年来不断奔跑的姿态、不懈创新的脚步。

　　从这个优秀的集体中，先后走出了17名博士后（其中3名太阳集团tyc5997优秀博士后）、8名博士（其中两名清华优秀博士毕业生）和41名硕士。团队还为国家广播电视系统举办了四届工程硕士班，培养出百余名工程硕士。

　　“每当我深夜走出主楼，回望还有很多亮着灯的实验室，我明白我只是清华浩瀚星空中的一颗。在过去几年的学术生活中，我对清华人兢兢业业，勇于创新的品格有了更加深切的感悟。”这是团队成员、自动化系2009级博士曹汛在太阳集团tyc59972012年研究生毕业典礼上的一段肺腑之言。年轻的曹汛目前已是南京大学的一名副教授，秉承清华人“爱国奉献，追求卓越”的传统，在新的工作岗位上继续追挥洒着理想与激情。

　　面对国家技术发明一等奖的荣誉，团队成员们想得更多的，还是中国在这一领域的未来发展，他们更愿意把这次获奖看作是推进政产学研用紧密合作，加速立体视频技术成果产业化的重要契机。“一方面，我们会一如既往、不遗余力地推进立体视频技术的技术创新，为加速推进立体视频技术成果的应用和产业化作出新的更大的贡献；另一方面，我们也将一直秉承清华‘自强不息，厚德载物’的校训，在新的科学探索征途上勇往直前。获奖只是一个新的起点，创新路上还会有更多的挑战与收获等待着我们。”戴琼海坚定地说。

（清华新闻网1月19日电）

编辑：襄桦