近日，清华大学集成电路学院教授任天令团队研发了一款可穿戴人工喉，可以识别佩戴者喉部发声的信号，并将其转换为语音播放出来，还原准确率超90%。该成果已发表在《自然》人工智能子刊《自然·机器智能》上。任天令教授团队基于石墨烯材料研发的智能可穿戴人工喉，对低频的肌肉运动、中频食管振动和高频声波信息有较高的灵敏度，也具有抗噪声的语音感知能力。同时，人工喉还能通过热声效应将信号转换成声音播放。
使用智能可穿戴人工喉进行无声语音交互。
著名医学杂志《柳叶刀》2021年发布数据显示，2019年全球共有20.9万例新发喉癌病例，其中男性为18.1万，女性为2.8万。相较于前10年，2010-2019年间喉癌的新发病例数增加了24.7%。
任天令教授团队表示，通过集成AI模型，人工喉能够识别一名喉切除术患者模糊说出的日常词汇，准确率超过90%。识别出的内容被合成为语音在人工喉上播放，可以初步恢复患者的语音交流能力。这将有助于帮助发声失能群体恢复发声，造福更多的声音障碍者。同时，人工喉的制作过程简单、性能稳定、易于集成，为语音识别和交互提供了一种新的硬件平台，同时它还有很大的优化和拓展空间。
让喉疾患者重获新“声”
将贴片贴在靠近喉咙处就能还原声音
记者：能否简单介绍下这款可穿戴人工喉的性能和工作原理？
任天令教授团队：我们人的语音交流发出声音，来源于声带震动，以及喉部、唇部这些发声器官的协同合作。当说话的时候，如果把手放在喉部，能感觉到喉管是有震动的。不同于麦克风通过空气中的机械波采集声音，人工喉是一个极其敏感的机械传感器，它能够感知喉部细微的震动，可以把它看作一个频域感知范围更广的麦克风。
此外，我们以往的扬声器是通过机械振动来产生声音，但如果喉部一直振动的话，不光会干扰到声音感知，也会影响佩戴的体验。由于石墨烯具有高热导率和低热容率的特点，它还能够通过空气加热、冷却的过程（热声效应）发出声音。因此，人工喉可以被看作为一种“麦克风和扬声器的集合体”，用以辅助人们语音交流。
记者：在这个过程中有没有遇到特别难的问题？
任天令教授团队：有的。这是一个比较复杂的工程项目，从传感器的材料选取，传感器的设计优化，数据的采集，采集系统的搭建，后面还有语音模型的设计，这些软件硬件需要结合一起去考虑，从工程量来说是比较大的，里面也有一些未知的科学问题需要探索。
在实验的过程中，最关键的就是信号采集的问题。因为喉部震动比较微弱，最初采集的数据质量实际上并不是很理想，我们实验人员是在自己身上也尝试过很多次。主要还是得多下功夫不断去实验，这方面没有捷径。
记者：人工喉与现在市面上的电子喉助音器等产品相比有哪些不同？
任天令教授团队：这是两个完全不一样的技术。现在市面上的电子喉是人去适应设备的理念，人工喉是让机器去学习人类的语言，这是一个本质的区别。
具体来说，使用者往往因为喉切除手术以后把声带切除了，丧失了声带这个震动的声源，传统的电子喉是一个提供单频振动的马达，配合上食管、唇部、舌头的运动，调制振动发出声音，声音单调，听起来像机器人。同时，电子喉学习、使用成本很高的。因为喉切除手术以后，需要手持电子喉抵住喉咙去学习，尝试用它发声。
人工喉的使用相比电子喉会更容易。使用者贴附以后只需要录入自己的语音，设备的算法可以快速学会语音特征，不用去单独另外再学一门语言。这类似于手机录入指纹的过程，尝试几次以后就慢慢学会了。通过集成AI模型，人工喉能够识别一名喉切除术患者模糊说出的日常词汇，准确率超过90%。我们后面将会采用人工AI语音合成技术，使用者本来的声音会被完全还原。
另外佩戴也会更舒适，一枚硬币大小的人工喉贴片，贴在颈部靠近喉咙处就可以了。
不仅仅造福于声音障碍者
还可用于金融支付、火灾现场等领域
记者：人工喉的使用体验如何？
任天令教授团队：目前看来人工喉的成本相对较低，我们可以把它看作一个类似创可贴的形式，夏天热出汗多就勤换，冬天长时间佩戴也可以。如果晚上睡觉佩戴觉得不舒服，也可以卸掉等醒后再佩戴。
考虑到人工喉属于传感元件，它要实现一个比较高的灵敏度的话，肯定相对来说会脆弱一点。所以它是可以更换的，失效后也不用修，直接换掉就可以了。
记者：除了刚才提到的有发音障碍的喉疾患者，人工喉还将会应用到哪些方面？
任天令教授团队：人工喉还有很大的优化和拓展空间，例如提高声音的质量和音量，增加语音的多样性和情感识别，以及结合其他生理信号和环境信息实现更自然和智能的语音交互。比如贴附的位置也不只限于喉咙，未来也可能在面部产生类似于一种像电影《阿凡达》里面那些外星人面部纹身，看起来会很有科技感。我们也希望通过进一步的研究和合作，让人工喉造福更多的声音障碍者和语音交互的用户。
项目研究的初衷是想帮助解决发声失能群体恢复发声的问题，但实际上这项成果对普通人来讲也是可以适用的。比如说在机场工作的地勤人员、火灾现场的消防员，在那种嘈杂环境下正常的语音交流肯定是不行的。但是通过我们的这种方式，将声音转化成对应的语音信号，传到耳麦里进行播放，可以有效解决这些问题。
另外对更广大的社会人群，在一些注意通话私密性的场合，还有金融支付领域都有广泛的应用前景。比如人工喉可以将采集到的喉部振动信息用于语音支付，安全方面或会有比较显著的提升。
记者：目前还有哪些最新进展？
任天令教授团队：近期我们可能还会请一些做过喉切除手术的志愿者来参与实验，同时在硬件上面做一些优化。算法的话目前还是在检测，后面如果要做到连续实时语音的话，还需要更多的志愿者采集到足够的语料库。目前整体还处于试验优化阶段。
记者：这项成果什么时候能面向社会？
任天令教授团队：目前我们主要还是对项目各方面进行优化，并将积极推进这一成果向市场进行产业化转化，尽早投入社会应用，服务于需要得到帮助的广大人群。在这个期间，我也非常欢迎社会各界的朋友一起关注、支持！
来源 | 红星新闻
责编 | 李可欣
编辑：李可欣
当前国内微课盛行，其中PPT+录屏是使用最广泛的微课制作方法，这种方法制作简单，容易掌握，但是效果一般。为了设计出更加专业的微课视频，很多学校搭建了录制微课的演播厅，这样录制出来的微课视频（真人+场景+PPT）更加生动，往往可以获得更好的教学效果。
真实的演播厅成本很高，一般老师望尘莫及。其实，利用一台电脑就可以搭建虚拟演播厅，录制的微课视频完全可以和真实的演播厅效果媲美。
虚拟演播厅技术是虚拟现实技术和传统色键技术结合的产物，其灵活自由的视频制作方式和高性价比的特点在广电领域得到了广泛的应用。以虚拟演播室技术录制微课视频，有益于微课的普及与深入应用。下面介绍一款简单实用的虚拟演播厅软件：OBS，用它可以方便、快速地打造一个录制微课的虚拟演播厅。
一、OBS的主要功能及特点OBS即Open Broadcaster Software的缩写，是一款开源软件，用于视频录制和直播。它是一款占用资源少、配置要求相对较低的直播录制软件。OBS的输出格式为MP4，无需重新压缩，以其优良的录制质量和完全免费的使用体验著称。
下载并安装好软件，如图1所示是软件运行的界面。
图1 软件界面
软件界面很简洁，标题栏下边是菜单栏，接着是虚拟演播厅编辑和预览区，最下边是功能区，包括“场景”、“来源”、“混音器”、“转场效果”和“控件”等功能，在其中可以通过轻点鼠标完成虚拟演播厅的搭建。
OBS软件有如下功能及特点：
（1）高性能实时视频/音频捕获和混合。创建由多个源组成的场景，包括窗口捕获、图像、文本、电脑显示器、摄像头、捕获卡等。
（2）设置无限数量的场景，可以通过自定义转换无缝切换。
（3）直观的混音器，每个源都带有滤波器，例如噪声门、噪声抑制和增益。完全控制与VST 插件支持。
（4）使用X264进行编码。
（5）基于GPU的高性能游戏串流游戏抓拍。
二、利用OBS搭建虚拟演播厅虚拟演播厅的原理就是将教师置身于蓝色/绿色背景幕布前演讲，然后利用色键合成器的色键功能将前景图像中的色度与其作背景的彩色幕布的色调差别作为形成键控电压的依据，并利用此电压去“抠”插入画面，然后再将前景图像填入画面，这样就将教师从蓝色/绿色背景中分离出来，用其他的画面作为背景填充蓝色/绿色部分，形成一幅天衣无缝的合成画面。两个虚拟场景的讲课画面如图2所示。
图2 两个虚拟场景的讲课画面
利用OBS软件能够方便地搭建虚拟演播厅，并且可以满足各种微课视频录制的要求。下面通过实例介绍OBS的使用方法。
1、添加虚拟背景图像
打开OBS软件后，在“来源”功能区，单击“添加”按钮，在弹出的下拉菜单中选择“图像”命令，弹出“创建或选择源”对话框，在其中新建一个名称为“虚拟背景”的图像源，如图3所示。
图3 “创建活选择源”对话框
单击“确定”按钮，打开“属性‘虚拟背景’”对话框，在其中单击“浏览”按钮，在弹出的“图像文件”对话框中选择一个图像作为虚拟背景，如图4所示。
图4 “属性‘虚拟背景’”对话框
按照同样的方法，再添加一个图像源，在虚拟背景图像上添加一个边框图像。将来在这个边框里面放置录制的PPT画面（也就是显示器的采集画面）。完成以后的效果如图5所示。
图5 添加了虚拟背景图像
2、显示器画面采集
在录制微课的时候，录制电脑屏幕也是最常见的操作，包括录制PPT讲课演示画面，以及录制电脑屏幕展示的操作和其他画面等。在OBS软件中，通过显示器画面采集即可完成这个目的。
在“来源”功能区，单击“添加”按钮，在弹出的下拉菜单中选择“显示器采集”命令，弹出“创建或选择源”对话框，在其中新建一个名称为“录制PPT”的源，连续单击两次“确定”按钮，即可创建好显示器采集画面。然后再调整画面的大小，并且将其放置在边框内。效果如图6所示。
图6 添加显示器采集
将来录制微课时，教师用电脑全屏演示PPT课件进行讲课，PPT画面就会自动被录制到虚假演播厅的边框内。
3、教师真人视频采集
如果微课中教师真人出镜，可以通过视频采集摄像头中的教师形象，然后通过绿布抠图的方式将真人影像合成在虚拟演播厅中。
在“来源”功能区，单击“添加”按钮，在弹出的下拉菜单中选择“视频采集设备”命令，弹出“创建或选择源”对话框，在其中新建一个名称为“摄像头”的源，然后选择一个本地电脑上的摄像头设备，单击“确定”按钮返回到OBS软件，如图7所示。
图7 添加摄像头
注意这里要将教师形象置于一个绿布背景，以便于后期抠图。下面给这个摄像头添加滤镜效果。在“来源”功能区列表中右击“摄像头”，在弹出的快捷菜单中选择“滤镜”命令，打开“‘摄像头’的滤镜”对话框，在其中的“效果滤镜”功能区中单击“添加”按钮，在弹出的下拉菜单中选择“裁剪/填充”命令，创建一个名字为“裁剪”的滤镜，然后设置上下左右的裁剪尺寸，如图8所示。
图8 添加裁剪滤镜
按照同样的方法再添加一个“色度键”滤镜，如图9所示。这样就通过绿布抠图把教师形象抠出来了。
图9 添加色度键滤镜
单击“关闭”按钮返回OBS软件，适当调整摄像头在虚拟演播厅中的尺寸和位置。最终效果如图10所示。
图10 摄像头效果
4、音频采集
制作微课时，需要录制麦克风中的讲课声音，因此需要在虚拟演播厅中添加音频设备。
在“来源”功能区，单击“添加”按钮，在弹出的下拉菜单中选择“音频输入采集”命令，弹出“创建或选择源”对话框，在其中新建一个名称为“麦克风”的源，然后选择一个本地电脑上的麦克风设备，单击“确定”按钮返回到OBS软件。
通过上面的操作创建了一个虚拟演播厅，利用它可以录制虚拟场景下的真人出镜的微课视频。在“控件”功能区，单击“开始录制”按钮即可开始录制视频。另外，还可以单击“设置”按钮打开“设置”对话框，在其中设置输出的视频格式，以及录制的快捷键等。