我院学子获第八届安徽省“挑战杯”竞赛特等奖

发布时间:2019-06-04浏览次数:24

     525日至27日,由团省委、省教育厅、省科协、省社科院、省学联共同主办的第八届“挑战杯”安徽省大学生课外学术科技作品竞赛终审决赛在合肥工业大学举行。经过激烈角逐,我院邹露等5位同学的《基于智能语音和镜面显示交互平台的虚拟人》在众多参赛作品中脱颖而出,荣获特等奖。


本届安徽省“挑战杯”课外学术科技作品竞赛共有全省57所高校选拔报送的406件参赛作品参赛,作品涵盖数理、信息技术、机械与控制、能源化工、生命科学等自然科学各学科和教育、法律、经济等哲学社会科学各学科。经过评委初评,共有212件作品入围终审决赛。最终22件作品荣获特等奖,我校捧得竞赛最高奖“挑战杯”。



挑战杯”全国大学生课外学术科技作品竞赛(简称“挑战杯”)是由共青团中央、中国科协、教育部、中国社会科学院、全国学联主办的大学生课外学术科技活动中一项具有导向性、示范性和群众性的竞赛活动,每两年举办一届。“挑战杯”从1989年举办至今,走过了三十年历程,现已成为全国历史最久、规模最大、参赛作品最多、竞争最激烈、影响范围最广的大学生科技创新赛事,被誉为当代大学生科技创新的“奥林匹克”盛会。此次竞赛是第十六届“挑战杯”全国大学生课外学术科技作品竞赛的省级选拔赛。全国总决赛将于下半年在北京航空航天大学举办。



【获奖作品简介】

随着语音交互方式的兴起,人工智能、语音识别、虚拟现实等技术在终端设备得到普及。例如:小米的小爱同学月活跃设备已超过3000万(截至2018.8),百度的对话式人工智能交互系统DuerOS已经激活超过9000万台设备,其语音唤醒超过4亿次(截至2018.6)。现阶段的智能语音应用例如聊天机器人、车载音箱等大多存在交互单一的问题,缺少人机交互中的情感体验。本团队认为,在智能语音应用中,用户应该对着一个具象化的形象进行交互。因此,模拟真人、二次元或动物等形象的虚拟人将是带屏语音交互的重要环节。

本团队提出基于智能语音和镜面显示交互平台的虚拟人技术,(1)在虚拟人形象设计方面,提出基于3D人体重建技术的虚拟形象合成方案,并通过3D人脸重建技术,模拟虚拟人的面部表情;(2)在语音交互方面,结合了科大讯飞IFLYOS语音识别技术,将音频信息转化成唇部特征点序列,训练端到端的循环神经网络,对虚拟人物的口型与语音进行匹配;(3)在动作捕捉方面,充分利用现有的人体姿态数据集,训练深度神经网络对用户的动作进行捕捉。本作品能够基于捕捉到的用户动作,将动作片段解析为预先定义的肢体语言指令,从而实现体感交互。由于这种体感交互是基于图像的,无需借助任何外部设备,这将极大地提高用户的交互体验。


相关新闻:https://young.ustc.edu.cn/2019/0528/c15062a381683/page.htm