Nature：交互式语言的语音规划网络_重庆思影科技有限公司

设为首页 | 加入收藏

网站首页 > 新闻中心 > 学习园地

培训中心

联系方式

手机：18580429226
联系电话：023-63084468
联系人：杨晓飞
联系邮箱：syfmri@163.com
联系地址：重庆市渝中区青年路38号重庆国际贸易中心2004#

信息内容

Nature：交互式语言的语音规划网络

发布者：admin 发布时间：2022/4/22

在谈话中，人们可以做到轮流说话，快速回应对方，同时避免被打断。这种相互作用显示出了显著的协调，因为转换之间的间隔通常是200毫秒。这些延迟比在简单的单词生成任务中观察到的要短得多，这表明说话者经常在听搭档说话时就已经开始计划他们的回答。尽管大脑区域的分布式网络与语言规划有关，但人们对使语言转换迅速的特定准备过程背后的神经动力学知之甚少。在这里，我们使用颅内脑电图来精确测量参与者执行交互任务时的神经活动，并观察到功能上和解剖学上截然不同的与计划相关的皮质动力学。我们将这些反应定位于一个额颞回路，该回路集中在对语言至关重要的尾侧下额叶皮层(布洛卡区)和尾侧额叶中回(通常与语言规划无关的区域)。通过一系列的运动任务，我们发现这个计划网络在准备演讲时比非语言行为更活跃。最后，我们在自然对话中描绘出与规划相关的回路，这与我们在交互任务中绘制的网络几乎相同，并且我们发现在不受限制的交流转换过程中，这个回路在参与者发言之前是最活跃的。因此，我们已经确定了一个语音规划网络，它是社会互动中自然语言生成的中心。本文发表在Nature杂志。(可添加微信号siyingyxf或18983979082获取原文，另思影提供免费文献下载服务，如需要也可添加此微信号入群，原文也会在群里发布)。

思影曾做过多期语言相关的文章解读，温故知新，请点击以下链接结合阅读（直接点击，即可浏览，加微信号siyingyxf或18983979082获取原文及补充材料）：

Science：工具使用和语言句法在基底神经节共享计算机制和神经表征

语前婴儿与成人相似的语音统计学习模式：来自神经夹带的证据

Nature子刊：脑卒中后失语症语言恢复的神经计算基础

脑损伤患者基于语言任务的功能磁共振成像与静息态功能磁共振成像对躯体运动网络的识别

BRAIN：失语症词汇产出的白质结构连通性：DSI研究

Science advances：新生儿的言语知觉

布洛卡区域的功能复杂性及功能分离

近红外超扫描研究：人与人之间口头交流的跨脑神经机制

幻听中语言网络、听觉网络和记忆网络的交互障碍

Science：从个人口语到社交世界:人类口语的神经处理

Current Biology：手语和口语共享部分概念表征

Science：句法和语义组合的神经基础

Science：语言在单字层面以上的神经处理

PNAS：与语言相关的脑网络中特定频率的有向连接

音位：不仅仅是词汇获取

10Hz tACS对词语语音决策中前额叶皮层的影响

Psychological Science:自上而下的词汇加工影响着早期言语

PLOS Biology：语言控制的功能连接组

BRAIN:遗传性言语障碍中的背侧语言通路异常

PNAS:双语习得对大脑结构及功能可塑性的影响

ERP研究：在语言理解过程中追踪听众的知识状态

对前语言期婴儿心理理论相关的颞顶联合区的近红外研究

ERP研究：婴儿已具有人类特有的编码语音嵌套关系的能力

PPI研究：颞叶癫痫的左颞叶语言网络功能连接

ERP研究：母语促进视觉意识的理解

PNAS:两个一起学更好：婴儿看视频同样可以学语言的ERP证据

HBM:阅读中语音产生期间的脑功能近红外光谱研究

PNAS脑电研究：说话人的注视增加婴儿和成人大脑之间的信息偶联

Science: 位于人类听觉皮层的语调编码

语言网络的短期迅速重组

1、方法

参与者都是病人志愿者，患者参与者正在接受植入ECoG电极的治疗。实验包括三个行为任务：

1.关键信息（CI）任务：CI问题改编自一个既定的刺激集。我们设计了120个类似结构的英语问题，这些问题被分为三类(动物、身体部位和反义词)。每个类别都以相同CI的问题对为特征，在这些问题中，CI出现的可能早或晚(例如，图1c-f)。补充图1提供了CI问题的完整列表。实验人员将CI问题念给被试听，并要求被试尽快回答。问题的顺序是随机的，每个实验的措辞也略有不同。所有的CI问题都可以用一个单词来回答，参与者偶尔会用一个短语来回答。

2.命令响应（CR）任务：四项CR任务与CI任务试次在所有情况下都是随机顺序进行的，除了一项，它是作为一个单独的块完成的。补充图1给出了所有CR刺激的完整列表。在CR1中(手部运动)，参与者进行了与语言产生无关的肌肉运动。在CR2(口面部运动)中，参与者被要求进行非言语口面部活动，特别是微笑、张开嘴、伸出舌头和噘嘴。在CR3(语音重复)中，参与者重复单音节实词、单音节虚词和/或双音节虚词的组合。在CR4中(复数化)，参与者被要求产生普通单音节名词的不规则复数形式和/或规则复数形式。

3.无约束谈话：完成CI和CR任务后，实验者让参与者参与不受约束的谈话。在这部分实验中，参与者除了自然地说话外，没有得到任何具体的指示。

补充图1 CI任务期间的行为：

a，在CI任务的感知、规划和产生窗口中假定发生的子过程的描述。

b，所有参与者在CI试次早和晚的反应时间(RT)直方图。

c，所有参与者早和晚CI试次的中位RT值。

d，e，在早和晚试次(d)和不同的CI问题类型(e)中，描述所有显示计划相关反应的电极的平均峰谷反应振幅分布的直方图；指出了每个分布的中位数。

f，显示CI任务示例问题早期(上)和后期(下)变量GLM回归器结构的示意图。备注：这里的早和晚对应上面说的CI出现的早或晚。

行为分析

用电生理采集系统和/或摄像机采集的音频由训练有素的语音学家(G.A.C.)进行注释，以确定所有实验者的问题/命令、CI和参与者对CI和CR任务的反应的起始和结束。如果参与者在没有做出回答，要求提供更多信息(例如，要求重复问题)，或出现停顿或中断(例如，说“嗯”或结巴)，则被排除在进一步分析之外。在CR任务的试次中，参与者不能准确地完成命令也会被排除在分析之外。

无约束对话的音频也被注释，以提供时间戳，时间戳为所有实验者和参与者的开始和结束。轮转被认为是连续的讲话片段，不被另一个发言者打断。

随后对电生理数据进行预处理。使用广义线性模型的活性位点检测。

为了评估显著性，我们使用了一种重采样方法，在100次重复的替换试次中，随机选择80%的试次子集迭代执行GLM。为了证实单个电极的反应与CI问题的具体时间结构吻合良好，我们使用了抖动分析。抖动分析如补充图2所示。

补充图2 GLM时间抖动分析：

a，为436名被试的高gamma活动的GLM拟合R值；每条线代表来自单个电极的数据。

b，用两个高斯覆盖拟合的D值集合分布为例子(黑色)。对应于良好拟合(蓝色)和较差拟合电极(红色)的高斯分布，以及较差拟合电极的D分布的第95个百分位数(虚线)。

c，总结了每个参与者在抖动分析中被拒绝的电极数量。

d，报告了被抖动分析拒绝的电极解剖位置和在CI任务中显示显著活动的电极。

e，散点图，描述一个区域内被拒绝电极的比例作为一个区域内响应电极比例的函数。

由于我们观察到的感知电极比规划电极少得多，因此我们进行了两项额外的GLM分析，以评估在早期CI问题中，感知和规划期的重叠结构是否使GLM在检测规划相关活动时有所偏差，而牺牲了感知相关活动。为此，我们首先执行上面描述的GLM分析，但忽略了规划回归器。对于这个简化的模型，我们保持D阈值和单个电极D值不变，以保持与完整模型一致的排除标准。然后，我们比较了简化模型和完整模型检测到的感知相关电极的数量(扩展数据图3c)。然后，我们用简化的GLM进行了平行分析，忽略了知觉回归因子。在这些简化模型中，我们评估了：

(1) 当忽略规划回归因子时获得显著感知响应的规划电极数量(在完整模型中检测到)(扩展数据图3d)；

(2) 当知觉回归因子被忽略时，获得显著计划反应的知觉电极数量(扩展数据图3e)。

扩展图3 CI任务中的神经活动分析：

a，连续介质模型模拟的所有任务响应电极在三维GLM权值空间的分布散点图。

b，c，连续模型模拟电极在CI任务的一个窗口(b)(即未混合)或多个窗口(c)显示响应的分布；

d，显示一个以上显著正权值的电极的比例(即混合电极)；

e，连续介质模型模拟的100000次迭代。

f，报告了使用完整模型或缺乏规划回归器的GLM显示知觉相关反应的电极数量。

g，h，描述感知(g)和规划(h)的散点图。

GLM权值空间的CI聚类分析

为了评估功能相关的电极类别(即感知、规划和产生)是否在GLM权重空间中形成不同的簇，使用聚类对所有被试所有反应电极进行聚类。假设有三个聚类，在三维GLM权值空间(即感知权值、规划权值和产生权值)中进行聚类。

通过模拟，我们评估了GLM权重空间中观察到的功能电极类的聚类是否可能是由于对不断变化的神经活动模式进行细分而导致的。为此，我们生成了253个模拟电极(即在我们的数据集中观察到的响应电极的数量)，并随机分配了感知权重、规划权重和产生权重。每个回归变量的模拟权重由独立的单峰正态分布生成，其平均值和标准差与响应电极上的观测值相匹配。这种方法允许我们将模拟反应电极的回归权重范围与实际数据中观察到的相匹配，同时假设回归权重反映了潜在的非分类的、单模态的连续神经活动，而不是我们假设的离散响应剖面。接下来，模拟反应电极被划分为未混合和混合电极，与实际数据的分类方式相同，我们量化了(1)混合电极的比例和(2)“错误聚集”的未混合电极的比例。
评估规划响应的语音选择性

为了量化规划响应的特异性，对CR任务数据进行了另一种GLM分析。这个分析与在CI任务中执行的GLM是相同的，除了4个计划回归量(CR1-CR4)，3个产生回归量(CR1(手部运动)，CR2(非言语口面部运动)，以及CR3和CR4(言语))被使用。由于每个位点的时间精度通过CI任务量化，因此不进行抖动分析。此外，由于这个任务中的CI持续时间更长(例如，“张开你的嘴”相对于一个单词)，CI的开始被定义为计划回归器的开始。

我们通过计算计划电极在(1)尾侧IFG(即三角部和盖骨部)中的比例来评估单个区域内计划电极的语音选择性。(2)尾侧MFG和(3)中央前回在四项CR任务中均表现出显著的正计划权重。为了评估这些比例的重要性，我们进行了一项重采样分析，将每个CR任务的所有计划电极上观察到的计划权重打乱并随机分配到这三个区域中的每一个电极上。然后计算出在每个区域内被打乱的显著正面反应的比例，这个过程被重复了10万次，以确定预期的随机比例的分布。

主成分（PC）分析

基于任务和谈话的PCs的计算

为了降低神经活动的维数，使用奇异值分解对所有CI任务响应电极的非平均高gamma信号进行PCA(即，每个电极都是一个变量，以时间点作为观察值)。具体来说，我们将每个参与者的数据(在实验过程中依次发生的数据)的任务和对话时段分开，并对每个时段的数据独立地进行PCA。任务期定义为第一次CI或CR试次开始前5秒开始，最后一次CI或CR试次结束后5秒结束的段。对话分段定义为第一个实验者开始对话前5秒开始，最后一个被试对话后5秒结束的对话周期。

PC系数空间中任务响应电极的聚类

为了以无监督的方式评估网络组织，我们用k-means聚类确定了每个参与者至少拥有两个不同类别的未混合电极的任务响应电极簇。为了使这一分析在参与者之间标准化，我们在三维PC系数空间中使用前三各PCs的标量系数进行聚类，同时假设有三个聚类，因为目测显示在所有情况下至少有三个主要电极聚类(扩展数据图7a-f)。

扩展图7对个体参与者的PCA结果。

a-f，对于6个具有足够数量的多个GLM类电极的被试：在任务和对话期间PC系数空间中描述电极分布的散点图。

g，h，2名受试者主要拥有规划电极。

电极簇的功能分类

为了确定PC系数空间中的电极簇是否与使用CI任务和GLM定义的感知、规划和产生电极类相对应，我们检查了GLM定义的每个簇内电极的分类。为此，我们统计了每一簇中未混合感知、规划和生产电极(即具有单一显著正GLM权重的电极)的数量，并根据电极种类的数量对其进行了功能分类。
PCs的功能分类

为了检查与谈话过程中的语言感知、计划和产生相关的神经活动，我们评估了时变的PC得分(即根据PC系数对时间进行相加的电极的线性组合)，作为感知内电极聚集活动的代理——与计划和产生相关的集群。为了首先确定哪些PC对应于每个电极类，我们检查了PC系数的分布由电极显示在每个参与者的每个集群类别。具体来说，我们确定了前三个PC中哪一个在感知集群、规划集群和产生集群中电极的平均系数值最高，并将这些PC分别定义为感知PC、规划PC和产生PC。

如果您对脑电等数据处理感兴趣，可参加思影的脑影像基础班及其他模态班，具体可浏览以下链接（可添加微信号siyingyxf或18983979082咨询，另思影提供免费文献下载服务，如需要也可添加此微信号入群)：

北京：

第二十五届脑电数据处理入门班(北京，5.16-20）

重庆：

第二十二届近红外脑功能数据处理班（重庆，5.24-29）

更新：第二十四届脑电数据处理入门班（重庆，6.9-13）

上海：

第三届脑电机器学习数据处理班（Matlab版，上海，5.15-20）

第三十六届脑电数据处理中级班(上海，5.28-6.1）

数据处理业务介绍：

思影科技EEG/ERP数据处理业务

思影科技近红外脑功能数据处理服务

思影科技脑电机器学习数据处理业务
思影数据处理服务六：脑磁图（MEG）数据处理

思影科技眼动数据处理服务

招聘及产品：
思影科技招聘数据处理工程师 （上海，北京，南京）
BIOSEMI脑电系统介绍
目镜式功能磁共振刺激系统介绍
2、结果

对话转换可以分为三个主要的认知过程：意识到对方说话的时机，计划自己的时机，以及包含该时机的说话内容(图1a，b)。每个步骤都由几个子成分组成(扩展图1a)，语言规划是一个特别多面的过程，包括各种功能，从抽象的概念和语义操作到低层次的发音编程和运动启动。因此，许多皮质区域都与计划有关，包括额下回、前运动皮层、颞上回、辅助运动区和顶叶下皮层。在本研究中，我们通过测量参与者在结构化的互动任务和非约束性对话时的皮层活动，描绘了与快速转换相关的规划过程的神经基质。
规划活动的特征描述

言语规划是一种内部过程，几乎或根本没有行为上的关联，通常与自然对话中的言语感知和产生重叠。因此，我们首先试图从实验上分离出与对话转换过程中规划相关的神经活动。为此，我们采用了一个已建立的问答范式，在这个范式中，一个单词(即“关键信息”或CI)通过提供正确回答所必需的信息来初始化言语规划(图1c-f)。实验人员会提出一组39至94个的CI问题给8名参与者(神经外科患者志愿者)，CI要么出现在问题的中间(“早”)，要么出现在问题的末尾(“晚”)。如果语言规划是由CI启动的，晚应该比早试次显示出更长的反应潜伏期，因为它们提供相对较少的规划时间。正如预期的那样，我们观察到晚期试次的反应时间明显长于早期试次(扩展数据图1b，c)，表明CI范式暂时隔离了与快速转换相关的前过程。

接下来，我们检测了参与者回答CI问题时他们的皮质反应。之前使用这项任务的工作已经使用脑电图报告了头皮上广泛的与CI相关的活动，我们试图利用颅内皮质脑电图(ECoG)的时间(<10ms)和空间(<5mm)精度来测量不同皮质部位的规划活动。我们在8名参与者的左侧语言支配半球植入了总共874个ECoG电极，发现790个电极适合于进一步分析。我们通过检测局部场电位的高gamma频带(大约70-150Hz)来检测神经活动，并观察到许多电极的激活被暂时锁定在CI问题的特定阶段(图1c-f)。具体来说，感知相关的活动在实验者提出问题的整个过程中都保持不变(图1c，d)，而产生相关的活动在很大程度上只出现于参与者的口头回答时(图1e，f)。相比之下，计划相关活动在CI陈述后立即被观察到，并在参与者反应前回到基线(图1c-f)；无论CI位置或问题内容(扩展数据图1d，e)，该结果在所有试次中都是一致的(图1g-j)。

图1互动语言中的皮层反应。

a，在对话中实验者和参与者436之间的互动例子(上)，用图表描述了三个行为阶段(下)。

b，与参与者436(上)的所有说话转换交互示意图以及相关的说话间隙分布(下)。黄色箭头表示来自a的交流例子。

c-f，442(c，d)和436(e，f)参与者的高gamma活动早CI(c，e)和晚CI(d，f)试次。

g-j，所有与问题(上)或CI(下)对齐的试次c-f中4个示例电极的活性：e55(g)，e125(h)，e26(i)和e57(j)。

K-n，分别为g-j中样本电极的感知、规划和产生GLM权重。o，所有任务响应电极在GLM权重空间的分布。

p，q，在CI任务的一个窗口(p)或多个窗口(q)显示反应的电极分布。

皮层语言回路是高度多模态的，之前的研究表明，对交互行为的处理可能是广泛分布的，而不是组织成离散的模块。因此，我们的电极所显示的动态可能并没有与特定的口语互动阶段相关联，而是在群体水平上形成了一个连续统一体。为了区分这些选项，我们设计了一个一般的线性模型(GLM)来量化CI任务感知、计划和产生窗口期间的活动水平(图1c-f中的彩色条形图，扩展图1f，2)。我们集中分析了高gamma振幅的显著增加—与局部神经元活动相关，并检测到共有253个电极(32.0%)在至少一个确定的任务时段内显著提高了(图1k-n)。然后，我们根据感知、计划和产生的GLM权重检查了所有任务响应电极在三维空间中的组织(图1o)，发现每一类显著的积极反应总是局限于单独的集群(k-中心聚类，图1p)。相比之下，假设GLM权重的单峰分布的“连续模型”(扩展数据图3a-c)总是显示包含多个响应类的簇(扩展数据图3d)。此外，我们发现，在我们记录的数据中，只有61个电极(24.1%)在一个以上的任务窗口内显示积极反应(图1q)，显著低于连续模型下的预期。综上所述，这些结果表明，我们的ECoG电极记录的神经反应被组织成离散的类，这些类与言语感知、计划和说话时的产生有关。

接下来，我们检查了与CI任务的每个窗口相关的神经反应的相对频率(即显著正的GLM权重)。我们发现，与计划和产生相关的反应最常见，20.3%和15.3%的电极在计划和生产期间的活动显著增加。这些电极通常表现出显著的负感知相关的GLM权重(图1k-n，扩展图4a)，这可能反映了CI任务感知窗口活动的减少(扩展图4b)。同时，只有4.6%的电极在感知窗口有反应，这可能是由于电极覆盖了与听觉相关的颞叶皮层(扩展图5a-c)。为了确保感知和计划的时间重叠窗口在早期CI试次(图1c，e)并没有阻碍我们的分析检测感知响应，我们重新分析了我们的数据集，发现感知相关的电极没有净增加(图3f-h扩展数据)。这些结果表明，我们的统计方法和行为范式有效地描绘了与这些相互作用的每个阶段相关的皮质动力学。

扩展图4与任务相关的活动变化的附加分析。

a，表报告了感知、计划和产生相关电极的数量，在每个GLM回归变量中显示显著的正和负权重。

b，直方图描述了所有未混合感知、计划和生产电极在CI问题前500毫秒的平均高gamma振幅。

c，d，在所有参与者的CI任务的感知(c)、生产(d)和计划(e)窗口中，典型皮层表面显示具有显著正(有色)或负(黑色)GLM权重的电极。

补充图5反应解剖分析。

a，所有参与者的皮质重建显示所有电极的位置；每个电极的大小描述了其在皮质表面记录区域的实际大小。GLM的分类由电极的颜色来表示。

b，标准的皮质表面以标准大小的白色圆圈显示所有参与者的电极位置。

c，汇集所有参与者的电极后，在典型皮层表面的每个区域取样的电极数量。

d，在CI任务中显示与产生相关的显著反应的电极比例。

e，分别在肿瘤患者(上)和癫痫患者(下)的典型皮层表面显示与语言感知、产生和规划相关的显著反应的电极。

规划响应的空间结构

尽管ECoG已被用于绘制与语音感知和产生相关的皮层区域，但类似的高精度语音规划空间表征仍未实现。此外，与规划相关的位置可能没有空间隔离，并与感知相关和/或生产相关的脑区共享位置。为了解决这个问题，我们首先检查了个体参与者的活动记录，并观察到对CI任务相同窗口(即相同的GLM类)作出反应的电极在空间上是聚集的(图2a，b，扩展图5a)。在参与者中，在CI任务中，与语音感知、计划和产生相关的解剖学上不同的皮层网络出现在一致的皮层位置。具体来说，在感知(图2c)和产生(图2d，扩展图5d)过程中反应灵敏的电极分别主要局限于表征良好的感觉结构和运动结构。同时，95%的计划相关电极被分组在一个空间隔离的额颞区(图2e)，计划电极集中在额叶尾下回(cIFG)和额叶尾中回(cMFG)，位于腹侧言语运动皮层(vSMC)和颞前上回(aSTG)的计划电极数量较少(图2)。我们发现，计划相关和产生相关的vSMC、IFG和cMFG中的许多电极也表现出显著的负感知相关的GLM权重(扩展数据图4c-e)，这表明这些结构在语音感知中相对不活跃。然而，IFG内的一小部分电极显示了感知相关的反应(图2c)，这与之前确定的IFG在语言理解中的作用一致。总之，我们已经描绘了一个空间连贯的网络，其活动被选择性地与规划性言语联系在一起。

图2言语规划反应的空间组织。

a，在CI任务的不同阶段，左外侧皮层表面和颞上平面电极的试次中平均高gamma活动中位数。

b，对a中描述的响应进行GLM分类。

b-e，所有参与者的典型皮层表面显示与语音感知(c)、生产(d)和规划(e)相关的反应的电极。

f、显示规划响应的电极比例。

计划应答的语音选择性

要启动CI任务中的言语规划，参与者首先要感知CI；因此，这个范式并没有将理解CI的认知过程从计划开始时的认知过程中分离出来。为了解决这一问题，我们采用了命令响应(CR)任务，在这个任务中，参与者被要求执行一系列不同语言相关性的动作，包括：手部动作(即按按钮；“CR1”，图3a)、非言语口面部行为(“CR2”，图3b)、言语重复(“CR3”，图3c)和语言操作(即名词复数；“CR4”，图3d)。至关重要的是，CR任务的结构反映了CI任务：一个关键的词或短语被提前或晚地呈现，并且需要对其进行理解才能产生运动反应。

图3计划反应的语言选择性。

a-d，每项CR任务的单次试次中的高gamma活动：非言语手(CR1；a)和口面(CR2；b)动作、言语重复(CR3；c)和复数化(CR4；d)。

e-h，每个CR任务的规划权重与CI任务的规划权重相对应。

i，CR和CI任务中所有计划相关电极的计划权重分布。星号表示任务之间的显著差异。

j，在CR3、CR4和CI任务的后期试次中，中位反应时间(RT)没有显著差异。k-n，典型皮层表面，指示每项CR任务的计划反应电极。对特定任务没有产生显著反应的电极用白色的小圆圈表示。

o-r，计划电极在每个CR任务中表现出显著升高的反应的比例。

s，位于每个结构内的电极对每个CR任务显示计划反应的百分比。

利用这种方法，我们进一步对6名在CI任务中表现出显著计划相关反应的参与者的124个电极进行了表征。虽然单个规划电极在每个CR任务中都能产生最大的反应(图3a-d)，但只有一部分电极在手部预备活动(18.6%)和非言语口面部运动(43.6%)上表现出显著的增加，而大多数电极对言语重复(59.7%)和复数化(80.7%)有反应(图3e-h)。在群体水平上，除了复数化实验外，CI任务的计划活动比所有CR条件下的计划活动都要大。而在重复任务、复数化任务和CI任务中，反应时间无显著差异，表明观察到的活动差异不太可能是由任务难度引起的。综上所述，这些结果表明，在已识别的计划网络中的活动反映了语言准备，而不是与理解或任务参与相关的过程。

虽然计划电极通常在语音过程中比非语音CR任务更活跃(图3e-i)，我们假设单个区域可能显示不同程度的语音选择性。因此，我们研究了规划活动水平与皮层位置的关系，并观察到随着语言相关性的增加，规划网络中广泛存在更高水平的准备活动(图3k-n)。然而，我们发现，与位于中央前回(PreCG)和额中回尾部(cMFG)的电极相比，cIFG内的规划电极具有更强的语言选择性(图3q-r)，因为大多数PreCG和cMFG电极在两种语言任务中都表现出显著的计划反应，而cIFG电极通常仅对复数化任务有反应(图3q-s)。因此，这些结果表明我们的规划网络被进一步划分为与不同的语音规划过程相关的子网络。
在自然对话中规划

接下来，我们的目标是将基于任务的交互过程中观察到的神经活动与自然语言使用过程中产生的神经活动进行比较。为此，我们记录了参与者在完成结构化任务后与实验者进行无约束对话2.8分钟至16.3分钟(扩展数据图6a)时的神经活动。在这种背景下，我们的队列显示了大致正常的轮流行为，其时间特性与在一般人群中观察到的相当(扩展数据图6b)。因此，这些快速的相互作用提供了一个机会，以研究自然的转换背后的神经机制。

补充图6附加的对话有关分析。

a，表报告了每个参与者额外的回合制对话行为。

b，每个被试在无约束对话中间隔时间的直方图。

c，记录任务周期(左)和对话周期(右)高gamma信号的PCA分析图。

d，观察到在任务和对话之间集群中不稳定(即切换集群)的电极数量。

e，观察到的电极在感知、计划和产生集群中的百分比，分别显示显著的感知、计划和产生响应(根据GLM)，用直方图描述每种集群类型的预期概率百分比。

f，在任务(左)和对话(右)中，皮层表面显示了参与者(n=6)感知、计划和产生集群中所有电极的位置。

g，表报告了在无约束对话期间，每个参与者的PC活动的汇总统计数据。

在对话过程中，我们观察到个体在CI任务中显示与计划相关的反应的电极通常在参与者开始发言之前被激活(图4a)，这表明这些区域在这两种行为中都参与了言语准备。然而，与我们的互动任务不同，自然行为中的言语规划是高度灵活的，不会暂时锁定在一个实验定义的刺激(即CI)；这种行为变动性使得对神经活动的监督分析在很大程度上不可行。为了克服这个问题，我们对连续电极信号的记录进行了主成分分析。该方法允许我们识别在任务执行和对话过程中独立显示相关信号的电极组，并评估网络结构在两种情境之间是否保持稳定。实验中，我们发现电极信号在三维主成分(PC)系数空间内形成了三个主簇，表明基于任务的交互过程中的神经活动被组织成不同的类别。然后，我们观察这种配置是否在非结构化的轮次中保持不变，并发现电极信号在对话过程中形成了几乎相同的簇(图4c，扩展数据图7a-f)。具体来说，200个电极中只有5个在参与者的两种行为之间有不同的聚集，这比预期的偶然性要少得多。因此，在基于任务交互的语言生成过程中，活跃的皮层网络在自然回合转换过程中也有类似的组织。

图4在自然对话中计划的活跃度。

a，参与者472(左)在CI任务(中)和无约束对话(右)期间的示例规划电极的高gamma活动。

b，c，对于442名被试的所有CI任务响应部位，在CI任务(b)和对话(c)期间PC系数空间的电极活动分布。

d，每组电极的PC系数由c表示。

e，f，在CI任务(左)和对话(右)中，感知和计划PCs的平均活动实验者讲话的偏移量一致(e)，以及与参与者发言开始时间相匹配的计划和生产PCs(f)。

g，被试436产生和计划PC活动。

h，i，被试436对话期间产生和(h)和计划(i)PC活动。

j-l，实验者转换(j)、转换间隙(k)和参与者转换(l)感知、计划和生产PC活动中位数的经验累积分布函数。

随后，我们评估了在自然对话中观察到的PCA活动簇是否与与语音感知、计划和产生相关的神经反应相对应。尽管这些功能分类最初是使用GLM进行的，GLM在CI任务的预定义时间窗口内检测到较高的神经活动(图1)，但我们发现PC系数空间中的集群绝大多数由显示单一类型任务相关反应的电极组成。我们发现，聚类分类与GLM衍生的活动类之间存在高度的对应关系。因此，使用我们的无监督PCA方法，我们揭示了自然对话中对应于与CI任务隔离的不同响应类和回路的神经活动类别(扩展数据图6f)。

接下来，我们分析了时变的PC活动(即PC分数)，以检查电极在基于任务和自然回合转换的感知、计划和产生集群中的功能属性。每个聚类类别被发现对单个PC具有很高的权重(图4d)；因此，我们将这些最大加权PC作为反映每个集群整体活动的聚合信号，并进一步分析了2个感知相关PC、6个规划相关PC和5个产生相关PC(扩展数据图7)。在参与者中，我们观察到计划PC在实验者讲话转换附近显示了一个显著的平均活动峰值，并也出现在任务和对话的转换间隙；相反，感知PC在实验者转身时活跃，但在实验者讲话时活动急剧减少。计划型PC同样在参与者开始进行任务和对话之前表现出活动高峰，而产生型PC的活动通常局限于参与者在两种情境下的讲话。这些结果表明，在无约束轮位转换过程中，PC与语音感知、语音规划和语音产生相关的功能属性与结构化CI任务中观察到的反应一致。

最后，我们研究了在个体轮流互动过程中规划PC活动，以提供自然对话中与言语规划相关的动力学的第一个描述。我们观察到，与计划相关的PC在实验者转向和参与者转向前的沉默间隙时最活跃；这些反应与产生相关的PC有显著的不同，后者的活动很大程度上局限于发音阶段(图4g-i)。综上所述，与计划相关的PC所显示的功能属性与对话中的语音准备一致，这表明这些信号代表了计划过程的神经关联，在自然语言使用过程中实现快速转换。
3、总结

对话转换需要一个复杂的相互作用，同时的语音感知和计划，再加上精确的语音产生时间。我们使用ECoG记录来分离与计划相关的动态，发现这些反应在功能上和解剖学上与那些潜在的语言感知和产生截然不同。在结构化的交互和无约束的对话中，我们观察到这些离散的神经活动类别，从而通过提供真实世界语言使用中产生的神经动力学的描述，为未来自然主义语音生成的研究铺平了道路。尽管之前的研究表明，与人类语言相关的神经回路是高度多模态分布的，但我们的研究结果表明，在与动物行为学相关的交互式语音产生过程中，不同的皮层模块在语言网络中执行不同的功能。这一结论与对人类语言回路的扰动研究以及对非人类发声皮层依赖的研究一致，表明在更大的发声系统中存在解剖上不同的子回路。我们的研究结果表明，在互动过程中，与计划相关的反应在很大程度上局限于以cIFG和cMFG为中心的额颞回路。IFG的尾部部分被认为代表布罗卡氏区，这是经典的语言产生的关键。然而，最近的研究表明，这一区域在发音前而不是发音期间是活跃的。使用我们的交互范式，我们还观察到，cIFG中的反应主要发生在语音启动之前，并且我们表明，这种活动与规划语音相关。与cIFG不同，cMFG通常被认为对言语规划或发音不重要，尽管最近报道了一例局灶切除后的纯粹言语失用症。在这里，我们发现cMFG参与了交互过程中的语音选择规划。该区域显示出与cIFG以及其他语言相关区域的强大的解剖连接，因此，由于其在语言生成中的作用在很大程度上被忽视，因此是未来研究的重要皮层部位。

很可能，cIFG和cMFG执行不同的与语音规划相关的功能，这可以从CR任务中不同水平的语音选择性得到证明。然而，未来的工作需要阐明由这些和其他节点在已确定的规划网络中执行的具体规划子过程，并揭示这些子过程在转换过程中是如何实时展开的。然而，这个规划回路的分离代表了理解人类大脑如何在自然环境中产生语言的重要进展。此外，这项工作有助于为进一步研究交流障碍的生物学基础奠定基础，例如口吃和言语失用症，其中言语规划的异常破坏了社会语言的使用。

如需原文及补充材料请添加思影科技微信：siyingyxf或18983979082获取,如对思影课程及服务感兴趣也可加此微信号咨询。另思影提供免费文献下载服务，如需要也可添加此微信号入群，原文也会在群里发布，如果我们的解读对您的研究有帮助，请给个转发支持以及右下角点击一下在看，是对思影科技的支持，感谢！