# 采用深度学习解码的非侵入式脑机接口连续追踪

> AI 辅助翻译，非官方版本。专业判断、引用和争议应以原文及其勘误为准。

- 来源 ID：S0197
- DOI：10.1093/pnasnexus/pgae145
- 原始来源：https://www.ebi.ac.uk/europepmc/webservices/rest/PMC11060102/fullTextXML
- 许可：CC BY 4.0
- 翻译方法：Argos Translate 1.11.0; translate-en_zh 1.9; MiniSBD 0.9.5; structured extraction and immutable-token validation
- 审校状态：机器翻译，需专业人工复核

## 原始文件映射

- [fullTextXML.xml](../original/fullTextXML.xml)

## 许可文件（保留原文）

- [europepmc-fullTextXML.xml](../license/europepmc-fullTextXML.xml)：法律或许可证据原文未翻译

## 原始文件：fullTextXML.xml

# 对非侵入性大脑机接口使用基于深层学习的解码进行持续跟踪

- 期刊: PNAS Nexus
- 作者:迪伦·福伦佐;郝 Zhu;简·沙纳汉;贾云·林;宾贺;德里克·阿博特
- 道尔:10.1093/pnasnexus/pgae145

## 摘要

### 摘要

脑机接口(BCI)使用电脑学,为用户提供了一种非侵入性的方法来与外部设备互动而无需肌肉活化. 虽然非侵入性BCI具有改善健康和有运动障碍的个人生活质量的潜力,但由于性能不一,自由度低,目前应用有限. 在这项研究中,我们使用基于深层学习(DL)的解码器进行在线连续追求(CP),这是一项复杂的BCI任务,需要用户在2D空间跟踪一个物体. 我们开发了一个标签系统,将CP数据用于监督学习,根据两个架构培训了基于DL的解码器,包括新提出的对PointNet架构的修改,并在几个在线课程中评价了业绩。 我们严格评价了基于DL的解码器 28 研究发现,随着更多培训数据的提供,基于DL的模型在整个课程中都有所改进,并且到上一期课程时大大地超过了传统的BCI解码器。 我们还进行了更多的实验,以测试通过其他科目数据培训前模式进行转移学习的情况,并进行中期培训以降低会间差异。 这些实验的结果表明,前期培训没有显著改善业绩,但更新模型的会中期可能有一些好处。 总体而言,这些调查结果支持使用基于DL的解码器来改进BCI在CP等复杂任务中的性能,这可以扩大BCI设备的潜在应用,并有助于提高健康和机动障碍个人的生活质量.

关键词:脑机接口,人-机器智能,深层学习,持续追求,运动影像

## 意义说明

大脑机接口(BCI)有可能为患者替换或恢复运动功能,并通过提供大脑与机器人或其他设备的直接联系而使普通民众受益. 在这个作品中,我们开发出一种范式,利用以深层学习(DL)为基础的解码器来持续控制BCI系统,并通过广泛的在线实验来展示其能力. 我们还调查DL的性能如何受到不同数量培训数据的影响,收集的超过 150 h 用于培训新模型的BCI数据。 这项研究的结果为开发未来的基于DL的BCI解码器提供了宝贵的信息,这些解码器可以提高性能,并有助于使BCI更接近实际应用和广泛使用.

## 导言

Brain-计算机接口(BCI)是允许用户通过直接从所记录的大脑信号中确定其意图来与计算机或其他设备交互的设备. 这些快速生长的装置有可能帮助患有运动或言语障碍的患者,让他们控制假肢等装置,或执行日常任务,如发送电子邮件或开灯等. 成功的BCI也有可能改善健康个体的生活质量,让他们可以直接与手机或计算机等电子设备互动,而不需要肌肉活化或说话.

用于BCIs的脑记录方法一般可以根据其是否需要入侵程序分为两大类. 入侵BCI常能更接近大脑活性的来源,并普遍提供良好的质量信号. 非侵入性脑记录方法如电脑学(EEG)记录脑外的神经信号,不需要任何侵入性程序. 虽然它们携带的风险较小,但与入侵性记录技术相比,这些方法的信号在信号与噪声的比例和空间分辨率上可以受到限制.

需要最佳可用信号质量的BCI应用也许能够证明入侵性BCI所需的医疗程序是合理的,但迄今为止入侵性BCI只被植入了几十个患者体内. 对于其他应用而言,非入侵性BCI提供了更安全和更广泛的替代品。 在非侵入性方法中,EEG特别适合BCI系统,因为其时间分辨率高,可携带性高,成本相对较低(EEG).[1]) (中文(简体) ). 一个EEG-BCI设置的例子在Fig中显示.1A 这些系统被用于控制机械臂等装置(例如:[2–4] 轮椅 [5–7])和虚拟([8] , [9])甚至物理四面体无人机([10]),并可能有一天用于控制下肢假肢等高级装置(.[11]) (中文(简体) ). 虽然这些基于EEG的BCI已经研究了几十年了(E.[12]),硬件,软件,和可得到的计算电源等近期的进步为这种技术开辟了新的可能.

### 发相.1.: EEG-BCI的外观插图. A) BCI设置,用户与计算机进行互动,意图从EEG中记录并解码. B) BCI的运动图像控制范例。 C) DT和CP BCI任务的说明。

控制以EEG为基础的BCI的常见方法之一是运动影像(MI)范式. 为了执行MI,用户想象着移动身体部分的感受或感觉,而不执行运动(M.[13]) (中文(简体) ). 由于这种方法不需要肌肉活化,可以被健康的个人和一些运动障碍的患者使用(.[14]) (中文(简体) ). 此外,先前的研究表明,基于MI的BCI可能帮助受中风影响的病人的康复进程([15–17] ).

在休息时,健康的个体在皮层的感官区域有神经活性,在周围有振荡 8–13 Hz. 这些振荡通常被称作mu或α节奏,并可能由感官区域神经元的同步活性所引起. 当用户执行或想象运动时,它们会减少这种同步活性,这些振荡的振幅在被称为事件相去同步(ERD)时会减少(E.[13] , [18]) (中文(简体) ). 这个频段的变化可以在EEG信号中被检测出,这些信号也一直与血氧基水平依赖(BOLD)fMRI信号相关(BOLD).[19])),并用来推断用户在想象自己身体部位的移动时,允许他们控制BCI设备.

传统上,BCI实验涉及执行MI或另一种控制范式的主体,以产生特定的任务或输出. 在一个常见的设置中,主体在屏幕的一面显示目标,并被要求执行MI来移动虚拟光标来使用预定的控制来击中目标(图1B和C) (p.[20–23]) (中文(简体) ). 这些实验,我们将称之为离散试验或DT任务,使得被试者能够实现对BCI系统的有效控制,因为它们是直观的,用户只需在每次试验中集中关注一个目标结果. 然而,虽然主体可以在DT任务中获得良好的性能,但这些系统往往需要几秒钟才能产生出单一的输出,并且可能不适合需要动态控制的现实世界应用.

最近为使用MI的基于EEG的BCI探索了一种新型BCI任务,即连续追逐(CP)(C.[2] 或肢体实际移动([24]) (中文(简体) ). 在这项任务中,主体的任务是不断跟踪一个在一次试验中随机移动的目标,而不是只进行一个目标移动(图1C). 这项任务比相类似的DT任务更为复杂,因为被试者需要将光标移动到许多不同的方向,在整个一次试验中更接近于随机移动的目标,而不是每次试验只需向单一方向移动. 尽管难度更大,但这项任务需要动态和持续的控制,使其更接近控制机器人设备等现实世界应用的要求.

受试者控制CP BCI系统有几种可能的方法. 在这项研究中,我们集中在一个范式上, 主体通过想象左手移动光标左手, 右手移动右手, 两手同时向上移动, 两手都不向下移动。 主体集体控制光标的运动,以跟随目标的移动.

近年来BCI技术的另一个重大进步是开发了更复杂的解码器. 特别是,深层学习(DL)模型已应用到BCI解码器上,并取得了一定的成功,并被证明在常规解码器的能力之外提高了性能(DL).[25–31]) (中文(简体) ). 由于在计算机视觉和机器翻译等许多需要复杂建模的其他领域的成功应用,这种技术得到了迅速发展([32]) (中文(简体) ). 这些模型可以从大型而复杂的数据集中提取出特征和模型关系,使它们成为解码EEG信号的绝佳人选,并特别适合利用主题特有特征. 这些解码器的成功引起了外地越来越多的兴趣,最近还提出了许多不同的DL架构和范式来进行BCI解码(英语:BCI 解码).[25] ).

虽然DL模型具有提高BCI性能的潜力,但与常规解码器相比,还有好几项挑战需要解决. 培训DL模型需要大量培训数据才能取得更好的成果([26]) (中文(简体) ). 在已经成功使用DL的其他领域,如图像处理,培训数据相对容易获得或已经有大量([33]) (中文(简体) ). 然而,BCI数据成本高昂,收集数据需要时间,而且可以使用不同参数收集数据,这些参数可能不相容,例如不同采样频率或 EEG 通道的数量(EEG)[34] , [35]) (中文(简体) ). 此外,在对模型广泛进行有限数据培训时,不同学科间或甚至不同课次的BCI特征存在较大差异,可能导致问题过于恰当。

即使面临这些挑战,基于DL的解码器提供的潜在性能改进使它们成为未来BCI系统的有希望的信号处理方法. 此外,正在制定方法来克服这些挑战,并利用DL的优势。 具体主题模型通常经过培训,以减少主题间可变性的影响。 转移学习(TL)是应用DL减少有效模型所需培训数据量的其他领域使用的一种方法(TL).[36]) (中文(简体) ). 这种方法至少可以涉及从不同但相关的任务中培训数据模型的一部分,随着DL越来越受欢迎,BCI领域的兴趣也越来越大([37–40]) (中文(简体) ). 通过这些方法,以及从EEG信号等复杂数据中提取特征的能力,基于DL的编解码具有超越常规方法改进BCI系统的潜力,特别是在CP等复杂任务中.

在这项工作中,我们的目标是通过实施基于DL的BCI解码器进行在线实验来提高BCI在CP任务中的性能. 为此,我们开发了一种系统,将CP数据贴上监督学习的标签,并用它来培训若干DL模型用于BCI解码. 随后,我们根据在线BCI实验中两个不同的DL架构,对解码器进行了多次评估,并研究了培训数据数量增加的影响。 我们还评价了更多的解码器,这些解码器使用的方法可能进一步提高性能,例如TL,从而可能减少所需培训数据的数量并重新校正,以减少会间可变性的影响。

总体而言,CP任务具有挑战性,要求对BCI系统进行持续和动态控制. 然而,通过DL等先进的解码方法来提高这项任务的性能,可以帮助将非入侵BCI设备更接近于机器人设备的连续控制等现实世界应用. 反过来,这些进步也有可能通过提供与其电子设备的直接通信线路,提高健康个人和运动障碍患者的生活质量。

## 结果

在CP任务中,有几种不同的方法可用于量化BCI性能. 在线实验的主要衡量标准是光标与目标之间的平均平方差(MSE). 为了让这个数字更直观,我们使用这个普通的MSE(NMSE)在整个手稿中. 已规范的MSE是光标与目标之间的平方距离,由平方任务区域的对角长度相除. 用这个衡量标准,最好的表现是 0,而光标和目标位于同一个位置,最差的性能是 1 在对角处

箱形板的构造如下:中线是数据(中线)的50%,而下行和上行边缘分别是25和75. Whiskers被绘制到距离每个边缘最远的数据点 <1.5 乘以平方相间范围(75分之-25分之,或箱长)。 所有其他点均单独显示为外向. 在每个图中,统计意义通过 * 表示:P < 0.05, **: P < 0.01,并***:P < 0.001 在补充材料中可以找到每个测试的数值。

### 集团一级的成果

图 2 以光标目标位置 NMSE 显示分组结果。 图 2A 显示整个试验期间的总体结果。 传统的(非DL)解码器在第一会话中的表现优于两个DL模型,但每个DL模型在整个实验过程中都有改进. 传统的编解码器和机会运行在会议期间没有明显的趋势。

#### 发相.2.:在线CP实验中DL解码的结果. A) 整个研究期间在NMSE方面的编码工作。 较低的NMSE表示性能更好. B) 第一会中解码器的NMSE性能. P - 值: ANOVA <0.0001 页:1 <0.0001,机会/EG <0.0001 机会/PN <0.0001,AR/EG 0.7019 年度报告/国家方案 0.0052, EG/ PN 设备 0.1134 C) 上一会中解码器的NMSE性能(会话)7 P - 值: ANOVA <0.0001 页:1 <0.0001,机会/EG <0.0001 机会/PN <0.0001,AR/EG <0.0001 页:1N <0.0001, EG/ PN 设备 0.2768 D. 在整个研究期间,光标与目标位置(皮尔逊相关系数)之间的横向关联。 E) 整个研究的纵向相关性。 F) 每一编解码器在分会期内在反倾销协定方面的性能。 G) ADA在第一届会议上的表现. P - 值: ANOVA <0.0001 页:1 <0.0001,机会/EG <0.0001 机会/PN <0.0001,AR/EG 0.8328 年度报告/国家方案 0.4515, EG/ PN 设备 0.9216 H) 上届会议(届会)的《反倾销协定》执行情况 7 P - 值: ANOVA <0.0001 页:1 <0.0001,机会/EG <0.0001 机会/PN <0.0001,AR/EG <0.0001 页:1N <0.0001, EG/ PN 设备 0.6182.I) 以ADA vs. NMSE来划分每个试验的情节. 发现两者之间有很强的关联性,线性合体被显示为固线. 盒片的构造风格为图克(Tukey),显示中位数,第一克和第三克,和至 1.5 乘以相位范围。

Fig小组B和C。2 分别显示第一和第二场会的结果。 会议期间 1,所有三个解码器的性能都优于机会级,传统的解码器优于PointNet,但并非EEGNet. 在最后一届会议上,7,两个DL模型的性能都超过了传统的解码器,EEGNet和PointNet之间没有显著的区别. EEGNet通过改进 0.43 每个会话(% 屏幕大小2),而PointNet 则通过 0.56. Videos S1, S3, S5 显示从这个子研究中重建了使用EEGNet的两个不同主题的试验,以及使用PointNet架构的其中一个主题.

评估CP任务中性能的另一种方法是通过光标与目标位置的关联. 这一衡量尺度衡量光标与目标位置之间的关系,如果在整个试验期间这些位置往往位于任务地区的类似位置,则会更高。 接近于零的关联意味着光标与目标运动之间没有实质性的关系,使这成为随机基线性能的直观基准. 如所预期,实验机会水平结果在横向和纵向方向上均以零相关起伏.

相关结果被分入了每个轴上,横向光标与目标位置之间的关联在图. 2D中显示,垂直结果在图. 2E中显示. 在这两块地块中,传统的解码器在整个会话中都保持相对水平,而两个DL解码器随时间推移而改善. 在这两种情况下,EEGNet的性能在上个会话前都达到了比PointNet更高的性能,并且似乎继续呈上升趋势,而PointNet则开始在最后几个会话上趋于平稳.

图2F以每场会议的平均差角(ADA)衡量尺度(关于这一衡量尺度的细节,见材料和方法)来说明小组一级的氯化石蜡结果。 在这里,本研究中测试的三种解码器在会话中都具有类似的性能.1,但两个DL模型都会随着时间推移而改进,并在上个会话之前超过了传统的解码器. 会议具体结果 1 财务报告和审定财务报表 7 以图显示。2G 分别是H类和H类。

我们选择使用ADA进行下线培训和评估DL模型,因为这个度量标准可以在下线CP试验中不模拟光标路径的情况下获得. 然而,光标目标NMSE仍然是量化在线性能的主要衡量标准,可能比ADA更直观. 为了研究ADA在离线分析中如何能很好地取代NMSE,我们研究了这两个衡量标准之间的相互关系. 图2I显示每个在线CP试验的散块图,比较距离和ADA结果,同时显示一个线性吻合. 所有在线试验的结果是,0.81 距离和ADA之间,显示出两个度量衡之间的强烈关系.

### 光标-目标滞后

在CP任务期间,BCI解码器可能受光标-目标方向变化与解码器可以相应更新之间的延迟期的影响. 这个延迟期可以有几个促成因素,包括:被主体的反应时间和快速改变其MI的能力,以及解码器检测MI特性变化并及时修改其输出的能力. 虽然这一滞后期可能对CP任务构成挑战,但对传统的BCI任务可能没有实质影响,这些任务在每个试验中都有单一的目标,如DT范式.

为了调查改变目标方向与解码器输出之间的这一延迟或滞后,我们随着时间的推移而转移了光标位置并计算出每个后差的光标-目标距离. 每次试验都记录了产生最佳性能(光标-目标NMSE最低)的滞后情况。 图 3A 在所有解码器上显示结果的直方图。 几秒钟后大幅飙升表明,大多数试验的性能比以往几秒钟相比目前的目标位置更好使用目标位置. 图3B-E显示实验 " 跳跃 " 运行时的直方图、传统模式EEGNet和PointNet的直方图。 周围的相近突起 1.5 s 在每一个解码器中都存在,而概率级运行没有任何悬浮,显示延迟在运行中不存在,而没有任何BCI控制.

#### 发相.3.: Cursor 位置滞后. A-E)光标位置的直方图滞后,导致每次试验的最佳性能. 周围的巨型尖顶 1–2 s 表示目标方向变化与解码器输出之间有短暂的延迟. F) 光标-目标NMSE在每个滞后期间的CP性能. 每个曲线的低点显示估计BCI的性能去除延迟.

图3F显示每个解码器在所有会话中的大平均数NMSE,这是滞后的函数。 每个BCI解码器的性能随延迟而改善,最高达到顶点之间 1 财务报告和审定财务报表 2 s,而“chance”水平的业绩在任何滞后期间都保持稳定。 传统模式在落后于 1.28 s 并改进了国家妇女教育。0.8(屏幕大小% 2). EEGNet的最佳落后是 1.2 s 经改进 1.6,而PointNet是后来的 1.48 s 经改进 1.7. Video S2, S4, 和 S6 显示从 Videos S1, S3 和 S5 同样的试验,但通过将光标位置向前移动来调整滞后。

### TL 和再调整

基于DL的解码器的一个主要缺点是,它们可以要求更多的训练数据,以便与其他方法相比实现最佳的性能. TL是一些DL应用中所使用的一种方法,通过预先培训这些模型来自以前研究过的科目的数据,可能减少这些模型所需的培训数据量. 我们假设,根据本研究第一部分的数据预先培训基于DL的解码器,可以帮助由此产生的基于TL的模型在早期课程中为新课题发挥良好作用,即使前几期课程中提供的针对特定课题的培训数据有限。

除了需要足够的培训数据外,基于DL的解码器也容易在培训数据集上过于适应. 学科间,甚至同一学科的课程间,BCI数据存在较大差异,如果模型过于适合来自不同学科或不同日的培训数据,则可能导致性能下降。 为了帮助模型适应当前的任务,我们假设利用当前测试会话的数据重新校正模型可以帮助提高性能.

我们比较了TL和再校正(CL)与我们在第一次子研究(DL)中使用的EEGNet范式. 与研究的第一部分一样,DL模型需要特定主题的培训数据,在课程之前无法使用 2。我们选择在会话中包含传统编解码器中的四行 1 与第一个会话中的TL解码器比较,该会话中TL模型尚未对任何主题特定数据进行培训.

前四会的结果见Fig.4A。所有三种模式在小组一级都有类似的表现,TL和DL在每届会议上都有改进 2 第4会。 有趣的是,TL模型没有从会中改进 1 会 议 2 在小组一级(所有科目的平均数)。 TL和DL培训方法在整个课程中都取得了类似的成绩 2–4.

#### 发相.4.: 转让学习成果。 A. 会议的总体结果 1–4 在NMSE方面。 B) 第一届缔约方会议的结果 1 P - 值: ANOVA <0.0001 页:1 <0.0001 机会/CL <0.0001 机会/TL <0.0001,AR/TL 0.6224 页:1 0.8597 时,TL/CL 0.9753 C) 会议结果 4 的实验。 P - 值: ANOVA <0.0001 机会/数字L <0.0001 机会/CL <0.0001 机会/TL <0.0001 数字/TL 0.3723,数字数据/数字数据 0.8331 时,TL/CL 0.0676. 箱形平板按图克的样式构造,显示中位数,第一和第三克,和至 1.5 乘以相位范围。

审视会议结果 1(图4B),传统的解码器和TL模型达到相近的性能,CL模型具有相近的中位但较大的相差. 在最后一场培训(图4C)中,三种培训方法都取得了相似的成绩,但CL有很大差异,一些科目受益匪浅。

最后,我们用更慢的速度(图S1)将第一次子研究的性能与第二次子研究的性能进行了比较. 对于这一分析,我们只比较了使用EEGNet而不使用TL的运行,因为这是两个子研究中唯一的条件. 虽然我们降低了光标和目标速度,使主体的任务更加容易,但结果显示,使用两种速度的性能并没有实质性的不同.

此外,我们研究了滞后对两种速度的影响(图S2),发现滞后对性能的影响更多是使用更快的速度. 虽然速度较慢的性能受到的影响较小,但最佳的滞后时间比设置速度较快的时间更长(2.04 s 文选.1.34 s) (中文(简体) ). 这可能是因为较慢的光标速度需要更多的时间让被试者修正他们的航向.

## 讨论情况

在这项研究中,我们设计了一个新的框架,为CP任务培训基于DL的EEG解码器,并评价了两个不同的DL架构和一个传统的解码器在7个BCI会话上的性能. 我们发现,两个基于DL的解码器在整个研究过程中都有改进,并在最后的会话前超过了传统的解码器. 以EEGNet和PointNet为基础的解码器在包括光标-目标距离、相关性和ADA在内的若干度量标准上都进行了类似的工作。 当我们通过对基于DL的解码器进行前几个科目的数据的预训来实施TL技术时,我们发现,与从零开始的训练相比,预训在早期课程中并没有显著地提高BCI的性能. 然而,通过对本次在线会议的小数据样本进行培训,重新校正模型有助于在某些情况下改进结果。 总体而言,使用基于DL的解码器在整个研究过程中提高了性能,并在获得足够的培训数据后,超过了传统的解码器。

MI BCIs旨在帮助个人在不使用常规肌肉活性的情况下控制外部设备. 在当前的研究中,左手,右手,双手的MI或无M来完成2D空间虚拟光标的在线连续控制. 尽管MI模式相对简单,这反映了非侵入性BCI的艺术状态,构建了BCI所控制的任务和预期结果之间的映射关系. 在在线实验中使用基于 DL 的解码,我们在这项工作中证明,拟议的BCI系统能够控制一个虚拟物体随着变化的方向而不断移动,并可能被用作神经辅助设备. 进一步的发展可能会将这种CP范式转化为更先进的应用,如持续控制机器人设备或使用更复杂的MI范式. 此外,先前的研究还提出了MI BCI的优点,用简单的离散的MI任务帮助中风病人恢复运动([41] 鉴于通过MI的CP的复杂性,测试CP MI任务是否将进一步帮助中风康复是有意义的。

CP任务是比较传统的分散试验任务的延伸,例如在Refs. (ref.)中.[21] , [23]) (中文(简体) ). 虽然这些任务要求用户持续地控制光标来击中一个目标,但目标在每个试验中只位于一个位置,因此只需要向一个方向移动. CP等连续跟踪范式在工作空间周围随机地移动了目标,需要被试者改变光标的方向,在整个试验过程中跟踪目标. Edelman等人(美国)[2])开发了本研究中使用的CP范式,由主体使用手MI来移动虚拟光标和/或机器人臂来持续地去追求随机移动的目标,并表明在EEG源成像的帮助下,使用性能良好的MI可以实现. 在这部作品中,我们表明,在基于DL的解码器的帮助下,利用EEG传感器空间数据,人类能够以良好的性能,通过MI范式来跟踪随机移动的目标.

最近,Mondini等人(1990年)[24])使用轨迹重建范式从EEG中解码被试者执行的手动,并能够移动机器人臂来不断跟踪随机移动的虚拟蛇. 在这部作品中,我们显示,如果没有明确的手/臂运动,用户可以使用MI EEG信号来完成CP任务. 将基于DL的解码应用到在线CP任务中,可以帮助提高这一困难任务中的性能,类似的模型有可能在未来被训练用于其他范式,如被执行或被想象的手动体.

虽然基于 DL 的解码器已经用于其他BCI 任务,但CP范式缺乏用于监督学习目的的数据的明确标签. 与单独的试验BCI任务相比,使用传统方法的培训DL模型更加困难,因为每次试验都有一个单一的目标,因此有明确的标签. 为了解决这个问题,我们开发了一种CP任务标签方法,在"材料与方法"一节中描述,使用光标与目标位置之间的向量作为标签. 类似的技术已经用于入侵的 BCI 字段,允许解码器在整个过程中适应用户的意图在每一试验中,如中外合作和中外合作等试验任务中设定目标([42] , [43]) (中文(简体) ). 这里使用的标签系统扩展为CP范式,光标和目标都在整个试验过程中移动并不断改变. 通过使用光标-目标向量作为CP范式中数据的标签,我们能够使用依赖监督学习的方法,例如DL,来完成以前没有的CP任务.

虽然这个范式允许我们对CP数据应用标签来进行有监督的学习,但也给解码器造成了两个潜在的问题. 首先,标签系统假设主体总是试图向目标的最佳方向移动. 虽然这是光标更接近目标的最佳方向,但主体可能并不总是在实际实验中试图朝这个方向前进,这可能会产生不准确的标签. 第二,指导主体移动的MI模式仅由四个主要方向(左,右,上,下)组成. 要向其他方向发展,主体必须同时完成这些管理事务任务,每个主体都要决定他们合并运动的最佳策略. 主体如何选择整合这些运动,可以区分为多个方向产生可解码的特性,或者仅仅是四个主方向.

即使面临这些挑战,这项工作也表明,这些模型能够捕捉到标签与主体的EEG录音之间的某种关系,并提供了证明标签系统适合为CP任务培训有监督的学习模型.

整体组结果为"Fig".2 显示整个研究期间每个解码器的发展情况。 在第一个会话中,所有三个解码器的性能都优于机会级,表明基于DL的解码器即使在只使用一个主题特定数据的单个会话训练时也能进行. 然而,传统的以自转为主的(AR)解码器具有最佳的平均性能,在统计学上优于PointNet模型. 在整个研究过程中,由于培训数据数量不断增加,基于DL的解码器都有所改善,并在最后课程(图2C)前超过了传统的解码器。 总体而言,这些结果表明,由于培训数据数量不断增加,基于DL的解码器有所改善,甚至可能不断改进此处研究的七个课程。

我们最初选择实施两个DL架构,以显示这种范式可以容纳不同的模型,并检查建筑之间的任何性能差异. EEGNet之所以被选中,是因为它是EEG和BCI应用的既定解码器,而我们选择实施PointNet模型来测试在其它领域取得成功的BCI的新架构. 结果显示两种模型的性能都相似,因此PointNet的额外复杂性在此情况下可能没有理由. 尽管如此,该架构可能对其他BCI应用有用,特别是当该输入可以作为一组点来代表一个多维空间或点云. 例如,EEG源成像基于BCI([2] , [44] , [45])可以通过在3D空间分布的电极输入头皮录音来估计脑活性,电极可以作为点云来表示,可能是PointNet架构的潜在应用.

有趣的是,传统编解码器的性能在整个研究过程中似乎始终保持一致,而不是随着科目经验的增强而有所改进. 由于学习,我们没有看到业绩改善的一个原因是,本研究所征聘的所有科目都经验丰富,在这次试验之前至少参加了两次BCI课程。 这意味着,在本研究之前完成的课目中学习后取得的任何业绩改进,均不在这里显示。

另一个潜在因素是,在实验期间,主体可能能够根据光标运动及其所观察到的性能分辨出三个解码器之间的区别. 学员们意识到,在整个试验过程中可能会使用不同的解码器,但没有被告知每次试验会使用哪种解码器。 当BCI系统开始对其用意作出不同的反应时,解码器性能的差异可能会给主体带来一些混乱或冲突. 虽然我们认为,在每届会议上测试多个解码器对这一模式至关重要,但这在某些情况下可能会影响结果。 例如,这可能是传统编解码器在最后会议时业绩略有下降的一个原因。 随着DL解码器的性能随着更多的培训数据而得到改进,课题可能注意到AR试验期间的性能相差很大,在这些试验期间可能感到沮丧,因为较难控制光标. 虽然在每次试验中都指示受试者尽其所能,但在较困难的AR试验中,动机降低可能导致性能下降.

由于光标-目标NMSE是CP任务的主要衡量标准,但不能轻易地下线使用,因此必须确定ADA是否可以作为NMSE的下线近似. 为了研究这一点,我们研究了图2I中显示的光标目标NMSE和ADA之间的关联. 高相关性(0.81),表明ADA和距离都遵循了类似的趋势,而一个低的ADA离线表示类似的在线设置可以实现良好的NMSE. 然而,线性趋势仍有较大差异,这意味着ADA并不是对在线性能的完美预测.

在以更快的速度进行的实验中,我们注意到目标位置和光标运动之间的相差很大. 我们假设这个滞后 可能是由于主题反应时间 和解码器改变输出的能力。 (原始内容存档于2017-10-21). The results in Fig.3 显示对及时移动光标位置向量的分析。 面板A-E的直方图显示,每次试验的光标-目标距离是多少次。 大山顶周围 1–2 s 用于每个BCI解码器的显示, NMSE 通过向前移动光标位置来改进 1–2 s 显示光标位置落后目标的时间 1–2 s. 图3F显示每个解码器在整个试验中的平均光标-目标NMSE,这是滞后的一个函数。 在这里,三个解码器都会在短暂延迟后看到峰值性能. 三个解码器都有相类似的滞后,这说明这种延迟可能主要由于CP任务或MI范式,而不是单个解码器的设计. 对光标和目标位置的变化作出反应并相应调整其MI意图所需的时间会增加光标和目标移动之间的延迟,而不管使用的BCI解码器如何. 目标移动与解码器输出之间的这一滞后对CP范式提出了独特的挑战. 虽然持续任务需要实时和动态控制,但受试者的反应时间和解码器的内部缓冲可能会限制BCI系统快速反应的能力. 这在更高速度的CP任务中更为明显,在CP任务中,主体很可能需要更频繁地改变其用意,而解码器修改其输出的时间会更短.

基于DL的解码器的主要缺点之一是,它们需要大量培训数据才能运行良好。 这个问题与BCI的任务特别相关,因为收集数据的时间和金钱都可能代价高昂。 在这项研究中,我们采用了TL范式,通过使用来自贸发会议的数据来减少所需的培训数据。14 本作的第一部分研究的课题是为了为新课题预训DL模型. 此外,我们试图通过利用本届会议所收集的数据,在每届会议的中途调整模型来进一步提高这些新主题的绩效。 由于我们假设TL模型会超过标准DL训练范式,所以我们在TL模型上完成了这个再校正步骤.

这第二套实验的总体结果(Fig.4A)遵循与原始实验类似的趋势. 每个基于DL的解码器在接连举行的课程中都有所改进,因为有了更多的专题培训数据。 总体而言,TL模式和DL模式在会议中取得了类似业绩 2–4 表明我们在早期会议中具体执行《过渡法》没有取得成效。 有趣的是,TL解码器在第一会话(图4B)中达到了与传统解码器相类似的性能,当时没有特定主题的数据. 由于TL模型此时没有特定主题的培训数据,因此它们无法利用任何特定主题的特征是有意义的,这可能是类似性能的一个解释. 这两个结果都表明,基于DL的解码的主要好处在于模型具有提取特定主题特征的能力。

对于这项研究,我们采用了一种基本的TL方法,包括对现有主题数据模型进行预先培训,然后对新主题模型进行微调。 虽然这种方法使我们能够初步探索TL的影响,并用在线CP范式演示实施过程,但为BCI应用开发出各种更精密的TL算法,这些算法可能更为有效([38]) (中文(简体) ). 我们认为,这项工作表明TL有潜力改进诸如CP这样的复杂的在线BCI应用,从这项研究中收集的数据可能有助于测试更先进的TL方法,从而可以减少新科目所需的培训数据数量,甚至可以提高总体性能.

同会重新校正的结果很有趣,但不是结论性的. 重排模型的平均性能比首个会后每一会所基于的TL模型要好,但没有达到统计意义. 我们目前实施重新校正时只使用四跑的数据来更新模型的会中,我们没有任何方法在五个训练时代中选择最佳模型权重. 这一方法的未来迭代可能包括验证集或者使用不同的方式来更新模型权重,例如不同的学习率或者只更新特定的地层. 此处显示的重新校正结果表明,更新模型的某种方法可能有助于减少会间差异并值得进一步调查。

本研究展示了在挑战性任务中使用基于DL的解码器进行在线BCI解码的潜力,并显示主体可以使用这些模型实现强效. 但是,还可以做更多的工作来进一步提高业绩,帮助优化培训进程。 在这项研究中,我们比较了三个不同的解码器的结果:EEGNet,一个为EEG-BCI建立的良好DL架构,PointNet,我们探索到一个新的DL架构,以及AR解码器,这是BCI研究中使用的传统解码器. 还有许多其他为BCI解码而开发的算法,包括比这里使用的AR模型更先进的其他DL架构和非DL方法. 今后应开展工作,将这些模型用于在线CP实验,并严格比较所产生的性能,以确定现有的最佳解码器。 虽然这些模型在此种情况下也发挥了类似的作用,但其他DL架构可以专门为CP任务设计,并可以产生更好的结果. 这项工作所产生的实验 150 h 用于开发此类模型的丰富培训数据集。 我们希望,在此开展的工作将促成并鼓励开展更多的研究,为诸如CP范式等复杂的BCI任务制定更好的解码算法。

在这项研究的两个部分中,DL模型的性能在所研究的第二至最后一期之间仍在改进,这表明这些模型仍可从额外的培训数据中受益. 一项长期研究,为每个课题举办多场课程,可有助于进一步说明基于DL的解码器性能与培训数据之间的关系,并可确定这些模型的全部潜力。

最后,在此简要地研究了TL和再调整问题,但每种方法都值得研究。 虽然我们实施TL似乎没有为基于DL的解码器带来好处,但TL有一个坚实的基础,并在其他领域,甚至一些BCI应用中都取得了成功(C.[37–39]) (中文(简体) ). 此处的再校正方法在某些情况下确实改善了性能,但可能受现有再校正数据数量的限制,可能还有更好的方法对模型进行中期调整。 虽然这项工作为将基于DL的编解码纳入在线CPBCI系统奠定了基础,但今后仍可开展工作来进一步改进这一设置。 DL和TL都是活跃的研究领域,无论是在BCI领域内外,更先进的解码器或TL算法可以帮助提高用户的性能. 此外,本研究所收集的数据可能有利于专门为CP任务构建DL和TL模型.

将DL方法应用到在线实验中,有助于改进课题在具有挑战性的CP任务中的表现. 我们发现,主体很难精确地遵循目标 对于整个 60- 试验,但表现良好的科目能够接近目标,并且能够从大的错误中恢复(一些例子见补充视频)。 还需要做更多的工作来进一步改善对复杂任务的受试对象的BCI控制,但受试对象反复到达随机移动目标的能力表明,在不久的将来,非侵入性BCIs可以被用于复杂的应用. 即使没有完美的控制,这些系统也可以通过后处理和共享控制来增强,以对现实世界的任务有用,类似于自动校正如何改进拼写应用. 此外,本文介绍的结果来自在BCI控制下经历的学科. 今后应开展工作,调查对天真主体以及机动车残疾人群使用在线DL解码的情况。

简而言之,我们开发了一个新的标签范式和离线性能衡量标准,使我们能够为CP BCI的任务培训基于DL的解码器,并严格评价基于DL的CP BCI的一组人 28 人类主体。 在7个BCI课程中评价了两个不同的基于DL的解码器,在整个研究中发现这两个模式都有所改进,因为有了更多的培训数据,而且仅经过几期就超过了传统的BCI解码器。 还评估了TL范式和会中再校正技术,并显示出有利于业绩的潜力,尽管需要做更多的工作来优化这些方法。 这项工作为CP任务引入了在线,基于DL的解码,并展示了这些解码器在连续BCI系统中如何有潜力改善对象的控制. 尽管CP具有挑战性,但这一任务中的强效能能为具有实时动态控制的更复杂而复杂的BCI系统打开了大门,并有助于将非入侵性BCI更接近于现实世界和临床应用.

## 材料和方法

在这项工作中,我们着重研究围绕MI范式的EEG-BCI系统. 为了用这种方法控制BCI系统,受试者坐在计算机显示器前并被要求想象出移动手的感觉或感觉(Fig.1A) (中文(简体) ). 表演手MI在EEG信号的α波段引起ERD(8–13 Hz,这有时被称为"mu 节奏",但我们将在整个本文中使用"alpha 节奏"一词来指向对角感应器区域,通常是在C3或C4电极(C4电极)周围.[46]) (中文(简体) ). 这种对大脑活性的调制可以被检测出,并用来用我们称为解码器的信号处理方法推断出用户的意图. 然后,这些解码器的输出可用于控制机器人设备等应用,或者在这种情况下用于虚拟光标.

在CP任务中,对象被要求使用MI来控制虚拟光标来移动到2D屏幕上. 指示他们想象左手移动光标向左移动,右手移动光标向右移动,双手同时向上移动,休息时不执行任何MI将光标向下移动(图1B). 在这个范式中,一个虚拟圆圈起到目标的作用,它随机地在屏幕区域周围漂移. CP任务的目标在于用MI控制来移动光标以尽可能接近目标(图1C).

### 专题征聘

本研究由两个实验部分组成. 在第一个子学习中,我们招募 15 健康人类主体(平均年龄:25.2, 14 右撇子,8(男性)用于 8 B. 《京都议定书》之下的 14 科目全部完成 8 届会。 在第二个子研究中,我们又招募了一名 15 健康人类主体(平均年龄:22.13, 13 右撇子,8(男性)用于 2 BCI培训班和 4 CP会议。 其中14个科目完成了 6 总会期。 每个子学习的科目都是独特的,没有科目参加这两个课程。

飞行器被放置在卡内基梅隆大学校园和大匹兹堡地区以招生. 这项研究得到卡内基梅隆大学机构审查委员会的批准,每个学科在参加前都对协议提供了书面同意. 对于第一个子研究,要求所有参与者在开始实验前至少完成前两次基于MI的BCI光标控制. 如果一个课题被招募不到两次经验,他们在开始这项研究之前进行了独立的试验光标控制BCI会话。 征聘了经验丰富的科目参加第一次子研究,以减少学习管理信息系统的科目对BCI结果的任何影响,并侧重于更多培训数据对基于DL的解码器的影响。 此外,我们假设,从各科目开始学习如何执行管理信息系统时收集的数据可能不利于培训DL解码器,并可能降低整体性能,即使在以后的课中也是如此。 在第二个子研究中,所有被招生的科目都没有之前的BCI经验,但每个科目在不同的日子里进行了两次独立的BCI试验,作为研究设计的一部分. 尽管我们没有着重研究这一部分的额外培训数据的影响,但我们仍要求课题接受两次培训,以避免利用课题最初学习MI时的数据对DL和TL模型进行微调。

### 信号获取

使用 Neuroscan Quik- Cap 记录了 EEG 信号 64 频道并用 SynAmps 放大 2/RT系统来自Compumedics Neuroscan. 电极顶被配置在经过修改的国际版中 10/20 系统,在中线中枢(CZ)和中线中枢(CPZ)电极之间中间有参考电极. 在每届会议开始时,所有电极障碍都减少到以下 5 kΩ 利用Neuroscan Acquire应用程序收集数据,取样速度为 1 kHz,低通口过滤 200 Hz 带有 Notch 过滤器 60 Hz 消除空调电子设备的潜在干扰。

这个BCI2000 程序( E)[47])用于运行BCI实验和光标控制应用. 数据包从购置软件中流出,并在 40 ms 信号处理的间隔。 用于分类的数据数量对每个解码器不同,但每个解码方法每个输出一个 40 ms 以更新光标速度。

### CP任务

CP任务使用为 BCPy 2000 制作的自定义 python 脚本运行, 部分为BCI2000程序。 在这个范式中,主题的任务是移动他们的光标,在屏幕上显示为圆形,分两个维度来尽可能地跟踪一个虚拟目标. 主体使用上述MI范式来移动光标,每个解码器提供了两个输出:一个是水平轴,另一个是垂直.

此任务中的虚拟目标也是与光标大小相同的圆. 目标是在每次试验中,通过应用从正常分布中选择的加速度,在屏幕上随机漂移 40 ms 遵循最初的氯化石蜡研究中后来进行的实验的模式([2]),我们选择了不允许光标或目标环绕屏幕与控制物理对象保持一致。 为了阻止目标长时间地停留在屏幕的边界上,如果目标向屏幕边缘漂移,我们就对目标施加了反冲加速.

### DL 培训模式

监督学习是培训DL模型的标准范式之一. 这种方法要求培训数据被贴上相应的地面真实输出的标签. 对于BCI任务来说,这些标签可以是移动光标或设备时所期望的方向,或者拼写器中所选择的字母. BCI任务每个试验只有一个目标,如DT任务,每个试验都有明确的标签,非常适合监督学习. 相形之下,CP任务对于每个试验都没有一个可以用作标签的明确的目标或方向,因此需要额外的步骤来使用这些数据进行有监督的学习.

CP任务的首要目标是在整个试验期间尽可能地把光标移到目标附近。 因此,他们将光标移动来缩短这一距离的最佳方向是向量从光标位置到目标位置(用Fig来说明的例子).5A) (中文(简体) ). 在入侵的BCI文献中也采用了类似的程序,在一些任务中帮助改进解码器,在每个试验中设定目标([42] , [43]) (中文(简体) ). 虽然这个向量可能不是被试者在任何时刻都打算移动的确切方向,但是如果被试者正在正确尝试任务,应该是一个严密的估计.

#### 发相.5.:研究设计. CP数据标签系统。 光标与目标位置之间的矢量被作为被监督学习的标签. 模型预测和真实标签之间的角度被用作离线性能度量:ADA. B)CP运行分解. 每个试验持续 60 s 每次运行包括5起试验,持续时间约为 5 min. C) 主要研究设计. 课题进行了8次BCI实验,每次试验均使用 12 BCI 运行在各种解码器和 1 额外运行以估计机会水平。 D) 评估TL和再校正的研究设计。 设置类似C小组,但课题进行了DTBCI和CP的四个培训班.

DL模型是使用自定义的蟒蛇脚本和Pytorch框架实施和培训的,模型培训的细节见补充材料. 每个DL架构的预处理不同,可以在相应的章节中找到更多信息.

除了为CP任务设计一个标签系统外,我们还需要找到一种方法来评价离线实验中的CP性能. 光标-目标距离和关联性是用于评价在线实验的信息度量标准,在有光标和目标位置的地方,但在必须模拟位置的离线情况下,它们更难被计算出. 在一项离线任务中,如评价一个基于DL的解码器的一组权重,离线模型的输出可以用来模拟光标移动,就像在线任务一样. 然而,EEG数据是从在线实验中录入的,因此当离线模拟中的光标和目标处于与在线任务时不同的位置时,EEG记录中对象的意图可能与离线模拟的正确方向不符.

为了评价DL模型的性能,不使用光标-目标位置,我们选择使用模型预测和标签之间的角度作为性能度量(Fig.5A) (中文(简体) ). 这里,一个更低的平均角度表明,预测更接近真实的标签,表明该模型将在在线CP实验中表现更好. 这种方法,我们称之为ADA,不依赖光标或目标位置,只依赖数据集中可用的标签. 这意味着该方法可以在不需模拟CP试验的情况下被下线计算出,并可用于在训练期间评价DL模型性能.

### 传统解码器

为了提供比较这项工作所研究的DL模型的基线性能,并为了获得监督学习的初步培训数据,各科目使用传统的在线BCI解码器完成了每一期的CP任务中的若干跑. 为此,我们选择使用AR信号处理模块,这是标准的一部分BCI2000 软件。 这一级的解码器为BCI实验([21] , [48–51]),在使用前不需要任何培训数据,使我们能够在每一主题的第一届会议上加以实施。 关于此处所使用传统解码器和两个DL解码器实施情况的更多信息可参见"补充材料".

### EEGNet 网络

在对基于DL的BCI解码的兴趣不断提高后,出现了一些专门为EEG-BCI开发的DL架构(C.[25] , [29]) (中文(简体) ). 我们以前的工作在两个离线数据集上比较了其中几个模型,发现它们的总体表现相似,但有一个模型,即EEGNet(EEGNet).[52]),在其中一个数据集上表现优于其他数据集. 由于EEGNet在本次离线研究中的性能和已经确立的使用,我们选择了将这个模型应用于在线CP实验.

### 点网

除了为CP任务实施EEGNet之外,我们还选择在在线实验中测试另一个架构. 为此,我们调整了PointNet架构,用于BCI解码(英语:[53] , [54]) (中文(简体) ). PointNet架构的设计围绕点云表示任务,作为提取空间模式或地物的投入. 在其它领域,这个点云可以是构成三维场景的点集,但在这里我们用电极集及其在空间中的三维位置(相对相接)作为点云.

我们实施PointNet架构的情况见Fig.6. 模型从频率频谱输入开始,通过相接相接的三个相接的抽象层,一个完全连接的层,批量正常化,修正的线性单位(RELU)活化函数,去掉(40%),最后一层完全连接。

#### 发相.6.:DL架构. (A) 本研究中使用的EEGNet的实施情况。 B) 我们提议的PointNet架构,为BCI解码所改编.

### 研究设计

这项研究的两个主要目标是为CP任务建立基于DL的BCI解码器,并评价其在人类学科方面的表现来评价额外培训数据的效果. 为了完成这个任务,我们开发了Fig显示的研究设计.5 课题完成了CPBCI实验的8个会. 每届会议包括:12 CP运行,每跑一次 5 试验时间为1分钟,另用跑道来计算机会级别(图5B). 当系统没有控制权时,这种机会水平被用来估计基线性能([55]) (中文(简体) ). 关于机会水平的更多信息见补充材料。 由于基于DL的解码器在被使用之前需要针对特定主题的训练数据,所以第一个会话完全由使用传统解码器的跑道所组成. 第一次之后的每个会话都分别有4个运行传统的解码器,PointNet模型和EEGNet模型(图5C). 每个会话的解码器顺序被随机排列,但每个解码器的四跑都作为块一起完成.

在开始这项试验之前,课题必须至少具备两次BCI经验。 这一要求有助于确保学科对BCI系统有一定的控制,减少培训对前几期课程业绩的影响,并为更复杂的CP任务准备课题. 此外,这次试验的第一届会议(图5B中的“T会”)减少了光标和指标的速度,以帮助介绍CP任务的主题。 之后提高了速度,并保持了其余七届会议(届会)的一致性。1–7(图5B)。

### 转让学习

我们设计了第二个子研究,以调查利用TL减少基于DL的解码器所需的培训数据量的潜在好处. 对于这个实验,我们选择只测试EEGNet架构,以使我们能够为每一个实验条件收集更多的数据,而不必在EEGNet和PointNet之间分割运行. 我们设计的研究如图5C所示,与最初的研究设计类似 12 CP运行,每会增加一次机会. 在这里,我们只招收了以前没有BCI经验的科目,并在进入CP任务之前举办了两次DTBCI培训班作为培训. 这一实验所招聘的所有科目都与之前参加CP实验的科目不同. 我们还选择降低光标速度 25% 和对目标适用的随机加速度的相差 33% 对于这个实验,先是看到一些课题在本研究的第一部分中以更快的速度挣扎.

对于这一后续实验,我们测试了最初的EEGNet DL-decoder范式(DL),同时测试了两个基于DL的新范式:TL和再校正(CL). 关于我们实施TL的详细情况见补充材料。

## 补充材料

## 承认

提交人感谢金杰云协助收集数据。

## 贡献者信息

Dylan Forenzo,卡内基梅隆大学生物医学工程系,匹兹堡,巴勒斯坦权力机构 15213 美国。

Hao Zhu,卡内基梅隆大学生物医学工程系,匹兹堡,巴勒斯坦权力机构 15213 美国。

Jenn Shanahan,卡内基梅隆大学生物医学工程系,匹兹堡,巴勒斯坦权力机构 15213 美国。

Jaehyun Lim,卡内基梅隆大学生物医学工程系,匹兹堡,巴勒斯坦权力机构 15213 美国。

Bin He, 卡内基梅隆大学生物医学工程系,匹兹堡,PA 15213 美国。

## 补充材料

补充材料可在网上获得。

## 供资

这项工作得到国家卫生研究所部分赠款的支持。AT009263, NS127849, NS096761, NS131069, NS124564,以及 EB029354.

## 作者贡献

概念化、调查和分析:D.F.、H.Z.和B.H. 数据获取:D.F.、H.Z.、J.S.和J.L. 编写原始手稿:D.F. Manuscript修订:D.F.和B.H. 监督:B.H.

## 预印

这个手稿张贴在预印上:https://doi.org/10.1101/2023.10.12.562084.

## 数据可用性

评估文件中的结论所需的所有数据都载于该文件和补充材料中。 原始的 EEG- BCI 数据 28 人类参与者也可在Figshare仓库中访问:https://doi.org/10.1184/R1/25360300. 本研究中使用的EEGNet和PointNet架构的实施情况可通过GitHub访问:https://github.com/bfinl/CPDL.

## 参考资料

## 相关数据

### 补充材料

### 数据可用性说明

评估文件中的结论所需的所有数据都载于该文件和补充材料中。 原始的 EEG- BCI 数据 28 人类参与者也可在Figshare仓库中访问:https://doi.org/10.1184/R1/25360300. 本研究中使用的EEGNet和PointNet架构的实施情况可通过GitHub访问:https://github.com/bfinl/CPDL.

## 原文 DOI 与数字核对索引

下列不变量从原始载荷自动提取，仅用于核对译文完整性，不构成额外证据摘要。

- `10.1002`
- `10.1002/hbm.23730`
- `10.1007`
- `10.1007/s42979-021-00815-1`
- `10.1016`
- `10.1016/0028-3932(95)00073-c`
- `10.1016/j.clinph.2008.06.001`
- `10.1016/j.isci.2022.105418`
- `10.1016/j.neuroimage.2009.10.028`
- `10.1016/j.neuron.2014.04.048`
- `10.1038`
- `10.1038/nn.3265`
- `10.1038/s41593-020-0608-8`
- `10.1038/s41597-021-00883-1`
- `10.1038/srep38565`
- `10.1073`
- `10.1073/pnas.0403504101`
- `10.1088`
- `10.1088/1741-2552/aa8ce3`
- `10.1088/1741-2552/aace8c`
- `10.1088/1741-2552/ab0ab5`
- `10.1088/1741-2552/aba6f7`
- `10.1088/1741-2552/ac0584`
- `10.1088/1741-2560/1/3/002`
- `10.1088/1741-2560/10/4/046003`
- `10.1088/1741-2560/8/3/036010`
- `10.1093`
- `10.1093/cercor/bhaa234`
- `10.1093/pnasnexus/pgae145`
- `10.1101`
- `10.1101/2023.10.12.562084`
- `10.1109`
- `10.1109/CVPR.2009.5206848`
- `10.1109/CVPR.2017.1`
- `10.1109/IEMBS.2006.259822`
- `10.1109/RBME.2022.3165062`
- `10.1109/RBME.2023.3309328`
- `10.1109/TBME.2004.826698`
- `10.1109/TBME.2004.827072`
- `10.1109/TBME.2014.2312397`
- `10.1109/TBME.2015.2467312`
- `10.1109/TBME.2018.2872855`
- `10.1109/TBME.2019.2921198`
- `10.1109/TBME.2023.3298957`
- `10.1109/TCYB.2019.2904052`
- `10.1109/TCYB.2019.2905157`
- `10.1109/TCYB.2021.3122969`
- `10.1109/TNNLS.2019.2946869`
- `10.1109/TNSRE.2010.2077654`
- `10.1109/TNSRE.2022.3198041`
- `10.1109/jproc.2015.2407272`
- `10.1126`
- `10.1126/scirobotics.aaw6844`
- `10.1146`
- `10.1146/annurev.bb.02.060173.001105`
- `10.1155`
- `10.1155/2007/79642`
- `10.1161`
- `10.1161/STROKEAHA.112.665489`
- `10.1177`
- `10.1177/1550059414522229`
- `10.1184`
- `10.1184/R1/25360300`
- `10.1186`
- `10.1186/s40537-021-00444-8`
- `10.1371`
- `10.1371/journal.pone.0026322`
- `10.3389`
- `10.3389/fnhum.2022.1019279`
- `0`
- `0.0001`
- `0.001`
- `0.0052`
- `0.01`
- `0.05`
- `0.0676`
- `0.1134`
- `0.2768`
- `0.3723`
- `0.43`
- `0.4515`
- `0.56`
- `0.6182`
- `0.6224`
- `0.7019`
- `0.8`
- `0.81`
- `0.8328`
- `0.8331`
- `0.8597`
- `0.9216`
- `0.9753`
- `00`
- `000`
- `00073`
- `002`
- `0026322`
- `0028`
- `00444`
- `00815`
- `00883`
- `010506`
- `016009`
- `016873`
- `02.060173.001105`
- `020`
- `021`
- `027`
- `031001`
- `036010`
- `037732`
- `0403504101`
- `046003`
- `046031`
- `046082`
- `0537`
- `056013`
- `0560395`
- `0608`
- `0614823`
- `0803074`
- `082720`
- `09263`
- `1`
- `1.0`
- `1.2`
- `1.28`
- `1.34`
- `1.48`
- `1.5`
- `1.6`
- `1.7`
- `10`
- `101`
- `1019279`
- `103`
- `1034`
- `1043`
- `105418`
- `1060102`
- `1073`
- `1076`
- `109`
- `1097`
- `11`
- `11060102`
- `112.665489`
- `1123`
- `1134`
- `119`
- `12`
- `13`
- `131`
- `1323`
- `1326`
- `13279`
- `13292`
- `135`
- `1355`
- `1380`
- `1393`
- `14`
- `141`
- `1419`
- `1425`
- `1432`
- `1434`
- `1435`
- `15`
- `150`
- `15188875`
- `15188881`
- `15213`
- `1550059414522229`
- `155290`
- `15585584`
- `157`
- `15876632`
- `1593`
- `1597`
- `16`
- `1646`
- `17`
- `1741`
- `1752`
- `1757`
- `17849`
- `17854`
- `17946038`
- `18`
- `180`
- `183`
- `18368142`
- `18621580`
- `19`
- `1916`
- `1973`
- `19850134`
- `1988`
- `1995`
- `1999`
- `2`
- `2.04`
- `20`
- `200`
- `2001`
- `2003`
- `2004`
- `2004.826698`
- `2004.827072`
- `2006`
- `2006.259822`
- `2007`
- `2008`
- `2008.06.001`
- `2009`
- `2009.10.028`
- `2009.5206848`
- `2010`
- `2010.2077654`
- `2011`
- `2012`
- `2013`
- `2014`
- `2014.04.048`
- `2014.2312397`
- `2015`
- `2015.2407272`
- `2015.2467312`
- `2016`
- `2017`
- `2017.1`
- `2018`
- `2018.2872855`
- `2019`
- `2019.2904052`
- `2019.2905157`
- `2019.2921198`
- `2019.2946869`
- `2020`
- `2021`
- `2021.3122969`
- `2022`
- `2022.1019279`
- `2022.105418`
- `2022.3165062`
- `2022.3198041`
- `2023`
- `2023.10.12.562084`
- `2023.3298957`
- `2023.3309328`
- `2024`
- `202533`
- `2050`
- `20876032`
- `21`
- `212`
- `21493978`
- `2159`
- `2169`
- `219871`
- `22`
- `22.13`
- `22046274`
- `2232175`
- `228`
- `2283`
- `22895995`
- `2291`
- `23`
- `23160043`
- `23730`
- `23735712`
- `24`
- `2417`
- `2427`
- `24564`
- `24756025`
- `24759276`
- `248`
- `24945777`
- `25`
- `25%`
- `25.2`
- `25360300`
- `255`
- `2552`
- `2560`
- `2596`
- `26`
- `2606`
- `26276986`
- `27`
- `272302`
- `2735`
- `2740`
- `27849`
- `27966546`
- `28`
- `282`
- `28782865`
- `289`
- `28914232`
- `29`
- `29354`
- `294`
- `2979`
- `29932424`
- `3`
- `30`
- `30281428`
- `3033`
- `3044`
- `305984`
- `30808014`
- `30932860`
- `31`
- `310`
- `31021810`
- `31069`
- `31180829`
- `31656937`
- `31725394`
- `32`
- `320`
- `32231340`
- `323842`
- `3265`
- `32679573`
- `3281`
- `3293`
- `32965471`
- `33`
- `33%`
- `33795705`
- `33816053`
- `34`
- `34038873`
- `34334804`
- `34426802`
- `346`
- `34748509`
- `35`
- `35103`
- `35380970`
- `35951573`
- `36`
- `36590466`
- `36606248`
- `37`
- `372231`
- `37494151`
- `37639425`
- `38`
- `380`
- `3839`
- `3852`
- `38565`
- `39`
- `3932`
- `4`
- `4.0`
- `40`
- `40%`
- `41`
- `42`
- `420`
- `420068`
- `426`
- `43`
- `437`
- `438`
- `44`
- `45`
- `4583653`
- `46`
- `47`
- `478`
- `48`
- `487`
- `49`
- `498`
- `5`
- `50`
- `51`
- `5105`
- `5114`
- `52`
- `523`
- `53`
- `5391`
- `54`
- `5420`
- `55`
- `570`
- `575`
- `581`
- `582`
- `584`
- `589`
- `6`
- `60`
- `61`
- `618`
- `628`
- `63`
- `6322`
- `638087`
- `64`
- `65`
- `655781`
- `667`
- `67`
- `677`
- `683`
- `7`
- `71`
- `716869`
- `727383`
- `74`
- `76`
- `764486`
- `77`
- `785`
- `786`
- `795`
- `79642`
- `8`
- `801246`
- `807599`
- `814169`
- `818527`
- `82`
- `821060`
- `839680`
- `844`
- `85`
- `855`
- `8565`
- `8584178`
- `867`
- `89`
- `9`
- `907`
- `925`
- `942`
- `945182`
- `949`
- `95`
- `957`
- `9642`
- `96761`
- `98`
- `997`
- `>1`
- `>10`
- `>10.1093`
- `>11`
- `>11060102`
- `>12`
- `>13`
- `>14`
- `>15`
- `>18`
- `>19`
- `>2`
- `>20`
- `>21`
- `>23`
- `>24`
- `>25`
- `>26`
- `>29`
- `>3`
- `>32`
- `>33`
- `>34`
- `>35`
- `>36`
- `>37`
- `>38`
- `>38689706`
- `>4`
- `>41`
- `>42`
- `>43`
- `>4335`
- `>44`
- `>45`
- `>46`
- `>47`
- `>48`
- `>5`
- `>52`
- `>53`
- `>54`
- `>55`
- `>6`
- `>8`
- `>9`