刘瑞
骏马计划B1岗研究员(正高级),博士生导师。
主要研究方向包括语音信息处理、自然语言处理、多模态人机对话等。
办公地点:学院503
E-mail: liurui_imu@163.com
团队主页:https://ttslr.github.io/
2010-2014 太原理工大学 学士学位
2014-2020 6165cc金沙总站检测中心 博士学位(导师:高光来教授)
2019-2020 新加坡国立大学 联合培养博士(国家公派)(导师:Prof. Haizhou Li)
2020-2022 新加坡国立大学 博士后研究员(合作导师:Prof. Haizhou Li)
2023年入选内蒙古自治区“草原英才”工程项目。内蒙古青年科学家创新联盟成员,呼和浩特市第二批企业科技特派员。获得教育部高等学校科学研究优秀成果奖(科学技术)——科学技术进步二等奖(6/10)。
近年来担任语音及信号处理学术会议 O-COCOSDA 2021, IWSDS 2021, SIGDIAL 2021 等多个学术会议组织主席。担任2022年、2023年全国人机语音通讯学术会议(NCMMSC)工业联络主席。担任中国计算机学会语音对话与听觉专委会执行委员、中国人工智能学会青年工作委员会委员、中国中文信息学会 民族语言文字信息专业委员会委员、中国人工智能学会元宇宙技术委员会委员。担任2023年语音领域顶级会议ICASSP分会主席(Session Chair)。电气电子工程师学会 (IEEE)会员、国际语音通信协会(ISCA)会员、中国计算机学会(CCF)会员、中国人工智能学会(CAAI)会员、中国中文信息学会(CIPS)会员。
招生信息:
[1] S2LAB (语音理解与生成研究组)
[2] 推免生/考研生招生【长期有效】
欢迎计算机、软件工程、数学等专业学生报考硕士、博士生,优秀者可推荐至新加坡国立大学(NUS)、香港中文大学(深圳) 等多个合作单位访问学习或联合培养;
欢迎本科生参与课题组科研训练和论文发表,具有ACM、数学建模、国创等经验者优先,优秀者可推荐至微软、腾讯等多个合作单位实习。
科研成果:(完整列表见Google Scholar)
期刊论文:
[1] Rui Liu, Jinhua Zhang and Guanglai Gao.Multi-Space Channel Representation Learning for Mono-to-Binaural Conversion based Audio Deepfake Detection.
Information Fusion. 2024
(信息融合领域顶级期刊, 中科院一区Top期刊, IF=18.6)
[2] Rui Liu, Yifan Hu, Haolin Zuo, Zhaojie Luo, Longbiao Wang, Guanglai Gao. Text-to-Speech for Low-Resource Agglutinative Language with Morphology-Aware Language Model Pre-training.
IEEE/ACM Transactions on Audio, Speech, and Language Processing (IEEE/ACM-TASLP). 2024
(语音领域顶级期刊, 中科院声学一区Top期刊, IF=5.4)
[3] Rui Liu, Berrak Sisman, Guanglai Gao, Haizhou Li. Decoding Knowledge Transfer for Neural Text-to-Speech Training.
IEEE/ACM Transactions on Audio, Speech, and Language Processing (IEEE/ACM-TASLP). 2022
(语音领域顶级期刊, 中科院一区Top期刊, IF=5.4)
[4] Rui Liu, Berrak Sisman, Guanglai Gao, Haizhou Li. Expressive TTS Training with Frame and Style Reconstruction Loss.
IEEE/ACM Transactions on Audio, Speech, and Language Processing (IEEE/ACM-TASLP). 2021
(语音领域顶级期刊, 中科院一区Top期刊, IF=5.4)
[5] Rui Liu, Berrak Sisman, Feilong Bao, Jichen Yang, Guanglai Gao, Haizhou Li. Exploiting Morphological and Phonological Features to Improve Prosodic Phrasing for Mongolian Speech Synthesis.
IEEE/ACM Transactions on Audio, Speech, and Language Processing (IEEE/ACM-TASLP). 2021
(语音领域顶级期刊, 中科院一区Top期刊, IF=5.4)
[6] Rui Liu, Berrak Sisman, Yixing Lin, Haizhou Li. FastTalker: A Neural Text-to-Speech Architecture with Shallow and Group Autoregression.
Neural Networks. 2021
(中科院计算机科学一区Top期刊, IF=7.8)
会议论文
[1] Rui Liu, Yifan Hu, Yi Ren, Xiang Yin, Haizhou Li. Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling.
The 38th Annual AAAI Conference on Artificial Intelligence (AAAI’2024)
(CCF-A, 人工智能领域顶级会议)
[2] Haolin Zuo, Rui Liu *, Jinming Zhao, Guanglai Gao, Haizhou Li. Exploiting Modality-Invariant Feature for Robust Multimodal Emotion Recognition with Missing Modalities.
2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP'2023).
(语音领域顶级会议,博士研究生一作)
[3] Rui Liu, Haolin Zuo, De Hu, Guanglai Gao, Haizhou Li. Explicit Intensity Control for Accented Text-to-speech,
24th Annual Conference of the International Speech Communication Association (INTERSPEECH'2023) , Oral.
(语音领域顶级会议)
[4] Rui Liu, Jinhua Zhang, Guanglai Gao, Haizhou Li. Betray Oneself: A Novel Audio DeepFake Detection Model via Mono-to-Stereo Conversion,
24th Annual Conference of the International Speech Communication Association (INTERSPEECH'2023) , Oral.
(语音领域顶级会议)
[5] Aihong Huang, Feilong Bao, Guanglai Gao, Yu Shan, Rui Liu *. Mongolian emotional speech synthesis based on transfer learning and emotional embedding.
2021 International Conference on Asian Language Information Processing (IALP'2021)
(Best Paper Award)
主持项目:
国家自然科学基金青年科学基金项目2023.1-2025.12, 项目号62206136
广东省数字孪生人重点实验室(华南理工大学)开放课题, 2023.6.1-2024.5.30
内蒙古自治区“草原英才”工程项目, 2023
2022年度内蒙古自治区本级引进高层次人才科研支持, 2023.7-2026.7
2023年度自治区留学人员创新创业启动支持计划, 2023
王宽诚教育基金会资助项目, 2023
内蒙古大学骏马计划高层次人才引进项目,2022
内蒙古大学研究生科研创新项目, 2016
所获奖励:
2023年6月, 教育部高等学校科学研究优秀成果奖(科学技术)—科学技术进步二等奖(6/10)
2023年4月, 2022年ACM China新星奖(呼和浩特分会)
2021年12月, 2020年内蒙古自治区优秀博士学位论文(2/12)
2021年12月, IALP2021 最佳论文奖(Best Paper Award)
2021年7月, 2020年 ACM China 优秀博士论文奖(呼和浩特分会)
2020年9月, 内蒙古大学优秀博士学位论文
2020年2月, ICASSP IEEE SPS Travel Grant
2019年8月, 中国国家留学基金委奖学金
2018年10月, 博士研究生国家奖学金 (top 2% students), 中华人民共和国教育部
2018年10月, 内蒙古自治区学业奖学金
2017年10月, 博士研究生国家奖学金(top 2% students), 中华人民共和国教育部
2017年10月, 内蒙古自治区学业奖学金
2016年10月, 内蒙古自治区学业奖学金
教学成果:
2023年 本科毕业设计《基于深度学习的对话语音情感强度预测研究》, “特优毕业论文”。
(学生:王丹祺;指导教师:刘瑞)
2023年 第九届 中国国际“互联网+”大学生创新创业大赛 《多语种多模态可信AI鉴定助手》,国家级铜奖。
(负责人: 胡一帆;指导教师:刘瑞,秦志宏,石磊)
2023年 大学生数字技能应用大赛 “互联网+”技能应用赛,国家级三等奖。
(负责人: 贾真琦;指导教师:刘瑞)
2023年 大学生数字技能应用大赛 “互联网+”技能应用赛,省级三等奖。
(负责人: 赵源;指导教师:刘瑞)
2023年 大学生数字技能应用大赛 “互联网+”技能应用赛,省级一等奖。
(负责人: 何树伟;指导教师:刘瑞)
研究生团队:
2022级:左昊麟(博士)、张锦华(学硕)、刘彬(学硕)、刘欢(学硕)、席嘉甜(专硕)、马泽宁(专硕)、梁凯麟(专硕)
2023级:胡一帆(博士)、麻宇轩(博士)、高溥(学硕)、赵源(学硕)、王召阳(专硕)、鲜鹄鸿(专硕)、何树伟(专硕)、戈绍丽(专硕)、贾真琦(专硕)、袁宏宇(专硕)