# 基于 EEG 的脑机接口实现实时单指级机器人手控制 > AI 辅助翻译，非官方版本。专业判断、引用和争议应以原文及其勘误为准。 - 来源 ID：S0191 - DOI：10.1038/s41467-025-61064-x - 原始来源：https://www.ebi.ac.uk/europepmc/webservices/rest/PMC12209421/fullTextXML - 许可：CC BY 4.0 - 翻译方法：Argos Translate 1.11.0; translate-en_zh 1.9; MiniSBD 0.9.5; structured extraction and immutable-token validation - 审校状态：机器翻译，需专业人工复核 ## 原始文件映射 - [fullTextXML.xml](../original/fullTextXML.xml) ## 许可文件（保留原文） - [europepmc-fullTextXML.xml](../license/europepmc-fullTextXML.xml)：法律或许可证据原文未翻译 ## 原始文件：fullTextXML.xml # 基于 EEG 的脑机接口可以实现单个指层的实时机器人手控 - 期刊:自然传播 - 作者:Yidan Ding;Chalisa Udompanyawit;Yisha Zhang;Bin He - 道尔:10.1038/s41467-025-61064-x ## 摘要 大脑机接口(BCI)将人的思想与外部设备相连接,为有运动障碍的个人和普通人群提供了提高生活质量的潜力. 非入侵性BCI可供广大观众使用,但目前面临挑战,包括不直观地绘制图和不准确的控制. 在这项研究中,我们提出一个实时的非侵入性机器人控制系统,使用单个指动(ME)和运动影像(MI)来驱动机器人指动. 所拟议的系统通过将意指运动的脑信号解码为相应的机器人运动,推进了最先进的电脑学(EEG)-BCI技术. 在一项涉及 21 有经验的BCI用户 我们实现了实时解码 80.56% 用于双指MI任务和 60.61% 用于三指任务. 利用深神经网络促进脑信号解码,并进行微调,增强BCI性能. 我们的研究结果表明,自然学的非侵入性机器人手控在被切入的指层是可行的。 ## 导言 脑机接口(BCI)在通过将人的思想与没有自然肌肉输出的外部装置相接,为有运动障碍的个人提供替代通信或控制方法方面表现出了巨大的希望 [1] , [2] 开发了入侵和非入侵性BCI系统,用于生物肢体操纵 [3] – [6],机器人设备控制 [7] – [11] 语言交流 [12] – [15] 与非侵入方法相比,入侵BCI系统实现了更精密和直观的机器人设备控制,原因是所记录的神经信号的信号与噪声比率和空间分辨率较高 [16] , [17] 然而,手术植入和长期维护的要求极大地限制了这种方法的目标人群。 另一方面,已经证明基于电脑学的非侵入性BCI系统能够控制身体健全人群和有运动障碍的个人的外部装置。[18] – [22]。 。 。 。 EEG的非侵入性、低成本和可携带性保证促进BCI系统在临床和家庭环境中的实际应用。 作为植入式大脑控制的机器人系统的一种有希望的替代办法,多年来一直在对基于EEG的BCI控制上端机器人装置进行研究。 孟等编.[11] 演示了基于EEG的运动图像(MI)BCI对机器人臂的控制,以达到并抓住三维空间中的任务. 埃德尔曼等.[10] 在EEG源成像的辅助下,利用以EEG为基础的MI-BCI,证明了对机器人臂伸展的连续控制. 然而,上述范例利用了用户意图和外部机器人控制指令之间的非直观映射,控制仍仅限于大型肌肉和联合组. 在这些范式中,机器人装置的多维翻译运动被肢体运动成像任务所控制,导致运动意图和所期望的机器人运动之间出现差距. 这与通过神经肌肉途径的自然肌肉输出形成对比. 此外,利用肢体一级的运动意图来激活机器人装置也限制了系统的精确性和复杂性。 因此,它促使非侵入性BCI的研究者调查更自然的控制系统,并侧重于更狡猾的人类运动. 在各种生理功能中,恢复或增强手和手臂功能是运动障碍和身体健全人群最需要的,因为即使部分功能改善也能大大地延长他们的身体能力。[23] , [24]。 。 。 。 人手的分明性使个人能够在广泛的日常工作中采取精确、多样和灵活的行动。[25] , [26]。 。 。 。 它在感官皮层中的比例过高,突出了手的多用途性,激发了对单个手指运动的解码研究,控制了手指一级的机器人装置.[27] 中风最常见的后果是上端功能缺陷,特别是影响手部功能缺陷,在所有中风患者中,几乎有一半患有中风。[28]。 。 。 。 这些缺陷严重地阻碍了日常生活活动,需要精确的、个人的手指控制,而传统的康复工具和总的动能BCI往往无法解决。 这一差距突出表明,迫切需要由BCI驱动的机器人装置,能够解码并恢复手指层面的分解性,从而使患者能够重新获得功能上至关重要的精密运动技能. 然而,与单个指头有关的神经反应存在大量重叠,对在这类系统中实施精确的指级控制构成重大挑战。[29] 多年来一直努力通过使用内科脑信号来进行直指控制。 Hotson等编.[30] 报告有一个基于电动的单个指动实时解码系统。 纳松等.[31] 报告说,两个指组的独立运动,即食指和中环-小指的结合,可以实时地在非人类灵长类动物中使用体内神经信号来复制. 威尔西等.[32] 引入了浅接前向神经网络,以进一步提高双度自由指运动的实时解码性能. 关等.[33] 报告对两个被植入的四聚体患者的外侧和外侧个人假指进行神经控制 96- 左后庭皮层的通道阵列 最近有人提议采用手指解码法进行四合会控制和打字的内部BCI [34] , [35] 此外,有人试图不侵扰地将个人手指动向和动向分开。 Alazrai等 (英语).[36] 报告从头皮脑电图信号下线解码单个指动任务的可行性。 同一小组还进一步探讨了从能动和跨射截取对象的电磁图信号中将与手指有关的运动成像任务进行离线分类的问题。[37] 李等编.[38] 使用超高密度的EEG来进行单个指对运动的离线解码. 孙等.[39] 从离线低频时域振幅中解码出非重复取出指的弹性和扩展. 阿尔苏拉迪等.[40] 采用数据驱动方法,采用Shapley知情扩增法,评估个人指模图像的离线分类。 然而,这些研究依赖于冗长的EEG段和计算密集的地物提取过程来进行准确的解码,这阻碍了在线解码和实时控制. 尽管在通过可植入装置控制个人假指方面取得了可喜的进展,但利用非侵入性神经信号在个人指上实时控制机器人手还没有表现出来. 为了弥补这一关键差距,我们的研究显示,在个人手指一级能够使用以深入学习为基础的EEG-BCI解码器进行实时机器人手控。 在同一只手内非侵入性地解码个人手指运动,构成重大挑战。 首先,同一只手内的指动会激活感官皮层内相对较小且高度重叠的区域,使其与非侵入性录音的区别复杂化.[29] 第二,随着EEG信号从脑源到头皮表面,由于体积传导效应和其他因素,其空间分辨率和信号-噪音比被大大降低,进一步阻碍了神经活动的精确解码.[41] , [42]。 。 。 。 这些因素共同构成了对手指运动进行有效的非侵入性解码的重大瓶颈。 然而,在BCI中深层学习应用的出现,通过从原始信号中自动学习分级和动态的表示,促进了解码性能,这为识别由同手中指动所诱发的非侵入性脑信号中的细微差别带来了希望. 在BCI解码中调查了深层学习技术相对于传统方法的好处 [43] – [45]. Lawhern等编.[46] 被设计为EEGNet,一个为基于EEG的BCI系统所优化的进化神经网络. EEGNet及其变体在各种EEG-BCI应用中表现出了高多用途性.[46] , [47]。 。 。 。 通过利用EEGNet的微调机制,我们得以从头皮EEG信号中不断解码出单指移动执行(ME)和同手的想象力,并将解码输出转化为实时机器人指控的在线控制指令. 在这里,我们提出一个非入侵性BCI系统 具有持续自然主义的能力从手指我和MI的活动中控制出机器人的手指. 一组人 21 我们显示,经过一次培训和模型微调后,可以实现极好的准确性。2- 指头和 3- 使用MI和ME模式的线上机器人控制。 我们测试在线培训能够通过将网络的会话特定学习与课题适应实时反馈进行微调,大大提高任务绩效,在线平稳可进一步稳定控制产出. 拟议的系统在单个指层推进了基于BCI的非侵入性机器人控制,突出了其被开发成为临床应用和日常任务的实用设备的潜力. ## 结果 在这项研究中,我们通过基于EEG的BCI调查了指层实时机器人控制. 以自然主义控制为目的,机器人指运动被设计成由被执行或想象的相应指在主手(右手)内的运动来控制. 21个有肢体水平BCI经验的健全人参加了一次离线会议和两次在线会议,每次用于指甲和MI任务。 离线会议使与会者熟悉了这项任务,并用于培训特定主题的解码模型。 在在线会议上,EEGNet-8.2 用于实时解码个人手指运动 [46]. 与会者收到两种反映持续解码结果的反馈形式,包括屏幕上的视觉反馈,目标指为表示解码的正确性而改变颜色(绿色指正确,红色指不正确),机器人手的物理反馈实时移动了被测出指. 反馈期从试验开始后一秒钟开始,一直持续到试验结束. 为缓解会议间在编解码方面的可变性问题,在每届在线会议上,利用在上半会期间收集的同一天数据,从基准模型中进一步培训了一个微调模型 [48]。 。 。 。 利用多数表决准确率对在线任务业绩进行评价,计算为预测的类别与试验中多个部分的分类产出的多数投票结果相符的试验百分比 [49] , [50] 此外,还计算了每个分类者的准确性和召回性。 准确性评价模型准确性,以正确识别特定类别的情况,而召回则衡量分类者在发现所有相关情况方面的效力。 每届会议包括:16 运行带有拇指和指形任务的二进制分类范式,以及 16 三角分类范式的运行,解码任务涉及拇指,食指和指指. 基础模型被用来解码第一个 8 运行每个任务,而微调的模型被应用到最后一个任务 8 运行。 ### 通过运动意图进行手指级机器人控制 我们展示了使用指层MI(Fig.1 页:1 纵横 21 分析差异(ANOVA)模型显示,在为两个二进制(F=)举办的两个在线课程中,管理业绩显著改善。14.455, p = 0.001 费格 1A)和毒性(F=24.590, p < 0.001,图 1B)的范式. 绩效提高明显表现在对各类的精确度和召回度衡量标准方面,显示在闭会期间所有类别都有所改进(图1C,补充图S1A)。 此外,从深层学习解码器学到的特征说明显示,随着不同课程的培训规模扩大,班级的差别性得到加强,中间层激活的可视化就证明了这一点(补充图S2)。 图1 机车影像(MI)机器人指控中的在线性能. 集团级在线性能 2- 指(A)和(A)3- 各会(B)n = 21 主题)。 会话的基准模型和微调模型的比较 1 财务报告和审定财务报表 2 使用由Bonferroni校正的双尾Wilcoxon签名排名测试进行多次比较(如果 p < 0.001, * 如果 p < 0.05) (中文(简体) ). 采用 " ANOVA " 办法,主要效果是会议和模式,以及会议之间的比较 1 财务报告和审定财务报表 2 由届会的主要效果(如果 p < 0.001 如果 p < 0.01) (中文(简体) ). 红色破折线表示机能水平,而灰色破折线代表每个条件下的中位性能. 黑点代表每个实例。 P 值 :0.0002(A,届会)1), 0.0122(A,届会)2), 0.0011(A,届会)1 文选.2); 0.0271(B,届会)1), 3.62e−05(B,届会)2), 7.55e−05(B,届会)1 文选.2. 组级精度 2- 指头和 3- 各会话(C)和小组级召回的缩写 2- 指头和 3- 不同分类器(D)的指针MI解码结果(n = 21 主题)。 中线表示中值. 盒由下方的 qua向上方的 qua相延伸. 钻石表示超过 1.5 倍数 相差范围在第三夸克以上或第一夸克以下。 使用双尾的Wilcoxon签名排名测试与Bonferroni校正进行了跨会话的精度和跨模型的召回的比较,以进行多重比较(如果 p < 0.001,** 如果 p < 0.01, * 如果 p < 0.05。P值为:4.62e−08(C,缩略语,2- 班级,0.0009(C,缩略语,3- 班级,0.0395(C,指数,3- 班级,0.0012(C,平基语,3- 班级,0.0412(D,缩略语,3- 班级,0.0007(D,索引,3- 同学们 E 组平均alpha带(8−13 Hz) MI在线控制任务的ERD地形. F. EEGNet模型的集团平均地形图,供在线管理信息系统会议使用。 最高的频道 25% 电极上白色圆圈突出亮相值. ANOVA还确定了二进制模型类型(F =31.380, p < 0.001)和毒性(F=22.443, p < 0.001 任务。 进行了双向比较,以评估每次会议对业绩结果进行微调的效果。 Bonferroni修正后两尾的Wilcoxon签名排名测试结果显示,在所有在线会议和范式中,微调模型显著地超过了基本模型(p < 0.001 用于届会 1 二进制任务和会话 2 三重任务,p < 0.05 用于届会 2 二进制任务和会话 1 三角任务; 图片 。1A 中层地物图的比较进一步表明,微调模型显示,相对于基准模型(补充图S2),解码能力有所增强。 这一观察与先前的研究一致,表明微调可有效增强模型能力,使其适应目标数据集的分布 [51] , [52] 15. 尽管使用基准模型(补充图.S1B)的各类精确值相对平衡,但模型查明不同类别相关实例的能力存在不平衡(补充图.S1C,D)。 特别是拇指和食指 3- 类范式在使用基准模型时的召回值较低(图1D)。 微调有助于解决这些等级失衡问题,大大提高了低召回值类别的检测能力,多比对被更正为双尾的Wilcoxon签名排名测试结果(图1D)证实了这一点. 经过一次在线培训和模型微调,2- 以平均精确度达到 80.56% 纵横 21 主题,以及 3- 手指在线控制可以实现平均精度 60.61%. 许多研究都记载了在MI期间反相机和前相机管的参与 [53] , [54]。 。 。 。 为了进一步阐明这一现象,Alpha Band 8–13 Hz 从EEG数据中提取出与事件相关的去同步(ERD)模式来分析MI引起的电生活化. 在MI任务(图1E)期间,左侧感官区功率显著下降. 作为这些发现的补充,由EEGNet模型生成的显要地图,利用输出类概率相对于输入的EEG信号的梯度,突出显示左主运动皮层(图1F)的手把手区域. 这些调查结果与先前的研究相一致,这些研究确定该区域对动机意图至关重要。 解码器的显著地貌与ERD模式之间的空间协调加强了感官区在模型预测中的作用。 为了验证这一观测结果,我们进行了离线解码实验,比较了感官特定通道、非感官运动通道和全缩输入之间的性能。 为了控制输入维度的潜在混淆效应,对感应器和非感应器区域中的通道数量进行了匹配。 Sensorimotor频道实现了可与全Scalp输入相媲美的解码性能,而非senorimotor频道显示的精度显著降低(补充图. S3A, C),加强了感官区域在指MI解码中的关键作用. 将四个分区域隔离开来,进一步分解了皮质贡献,每个分区域包括:11- 控制手指、卵巢皮层和前部区域细微移动的外侧和外侧手把手区域(补充图S4A)。 在次区域中,左手和右手把手区产生最高的解码快克(补充图.S4E),与我们的电生分析结果保持一致,并证实解码器主要依赖这些区域。 这种趋同证实了解码器在MI期间主要依赖感官区域。 然而,仅使用反面手势作为输入的准确性明显低于 128- 渠道全口径输入(补充图. S4C)。 这一发现与EEGNet模型的突出位置图一致,该图显示,在左主运动皮层中,主要侧重于手把手区域,并更加重视右手把手区域和鹦鹉管道(图1F)。 重要地图和次区域分析共同强调了反相手把手区域在解码指向运动中的关键作用,同时也表明分布式电极配置能捕捉与任务相关的补充信号。 为了说明有助于改进所观察到的性能的因素,利用在MI机器人控制会中收集的EEG数据进行了离线模拟。 会话中来自微调运行的数据 2 采用三种模式对会议进行评价:1 基础模型(S1-B),会话 1 微调模型(S1-F)和届会 2 基础型号(S2-B). 在所有会议和模式中,在二进制任务(S1-B对S1-F:p = 0.052; S2 B vs. S2-F: (中文(简体) ).p < 0.001; S1-B对 S2-B:p = 0.019; S1-F对 S2-F:p < 0.001 费格 2A)和三重任务(S1-B对S1-F:p = 0.044; S2 B vs. S2-F: (中文(简体) ).p = 0.004; S1-B对 S2-B:p < 0.001; S1-F对 S2-F:p < 0.001 费格 2A) (中文(简体) ). 所观察到的改进利用了比较模型的相同输入数据,排除了数据质量作为混淆因素,因此突出了机器学习的效果。 微调模型(S1-F、S2-F)的性能高于其基本对应模型(S1-B、S2-B),这表明机器学习驱动的适应在精炼特定会话数据的特征提取方面的有效性。 此外,会议的优异业绩 2 跨会话模式(S2-B,S2-F)1 模型(S1-B、S1-F)建议通过增加培训规模来增强编码能力。 为了调查人类学习的效果,使用Filter Bank共同空间模式(FBCSP)方法进行离线解码,并配以线性差别分析(LDA)分类器 [50] ANOVA的双向重复测量揭示了该模型在以下几个方面的主要重大影响:3- 级离线模拟(图2B). 在第一个报告期间,业绩显著改善。3- 将最后8个微调运行与前8个基数运行(p < 0.01 页:1 会议还注意到解码性能的数值增加 2 相对于会话 1 用于三重任务(Cohen's d =0.222 页:1 3.065, p = 0.095) (中文(简体) ). 然而,在8个连续运行(图2C)的在线解码精度方面没有明显改善的趋势。 这些调查结果表明,在会议期间,人类的学习产生了初步效果,并且为土著人民提供了跨会的人类培训。3- 手指MI任务。 2Machine和人类学习效果用于基于MI的机器人控制任务. A级 离线模拟结果 n = 21 会议主题)2 使用会话进行微调运行 1 基准模型(S1-B),会话 1 微调模型(S1-F)和会话 2 基础模型(S2-B),以及会话在线解码结果 2 微调跑道(S2-F). 中线表示中值. 盒由下方的 qua向上方的 qua相延伸. 钻石表示超过 1.5 倍数 相差范围在第三夸克以上或第一夸克以下。 会话和模型的比较是使用由Bonferroni多相比较校正(***如果 p < 0.001,** 如果 p < 0.01, * 如果 p < 0.05,如果找不到统计意义。 P 值 :0.0003(S2-B对S2-F,2- 班级,0.0254(S1-B对S2-B,2- 班级,0.0003(S1-F对S2-F,2- 班级,0.0449(S1-B对S1-F,3- 班级,0.0074(S2-B对S2-F,3- 班级,0.0009(S1-B对S2-B,3- 班级,0.0002(S1-F对S2-F,3- 同学们 B 离线 FBCSP 解码结果 MI 机器人手指控制数据(n = 21 主题)。 S1-B、S1-F、S2-B和S2-F表示会话的解码结果 1 基础运行, 会话 1 微调运行, 会话 2 基础运行和会话 2 分别进行微调运行. 中线表示中值. 盒由下方的 qua向上方的 qua相延伸. 钻石表示超过 1.5 倍数 相差范围在第三夸克以上或第一夸克以下。 统计分析采用双向重复计量的ANOVA,主要效果为会话和模型. 该模型的主要效果:p < 0.001,如果找不到统计意义。 在同一会话中,采用双尾的Wilcoxon签名级测试与Bonferroni校正进行了模型之间的临时比较(如果 p < 0.001,** 如果 p < 0.01, * 如果 p < 0.05,如果找不到统计意义。 P 值 :0.0005(型号,3- 班级,0.0114(S1, (中文(简体) ).3- 同学们 C. 连续8次在线运行的集团平均业绩趋势 中行表示正值. 阴影区域代表标准出错. ### 移动行刑控制机器人指动 同一组与会者 n = 21)还参与了一款下线会话和两款指向ME任务的在线会话,遵循与MI任务(补充电影S3,S4)相同的实验设计. 如双向重复措施ANOVA所示,各届届会以及微调模型和基准模型之间的绩效都有了重大改进(2- 级会话效应:F=8.826, p = 0.007; 2- 类模型效应:F=35.034, p < 0.001, 3- 级会话效应:F=12.914, p = 0.001; 3- 类模型效应:F=35.869, p < 0.001 费格 3A 页:1 在学习到的全场专题空间中观察到分级性增强,经过微调的模型显示出比其基本模型对应的更明确的分级(补充图S6)。 在线培训大大提高了各课程拇指和指指的精确度和召回度(图3C,补充图S5A)。 使用会话对同一数据集的不同模型进行比较的离线模拟结果 2 模型比对会话 1 型号(2- 类解码: p(S1-B vs. S2-B)=0.140 p(S1-F对S2-F) <0.001; 3- 类解码: p(S1-B vs. S2-B)=0.009 p(S1-F对S2-F) <0.001 页:1 这一改进突出了培训规模扩大对各期机器学习业绩的影响。 在将经过微调的模型与会话内的基础模型进行比较时观察到了重要的解码改进 2 (2- 类解码: p(S2-B vs. S2-F) <0.001; 3- 分类解码:p(S2-B vs. S2-F)=0.001,补充图S7A),确认在同一会中微调提高性能的效果. 图3 移动执行(ME)机器人指控中的在线性能. 集团级在线性能 2- 指(A)和(A)3- 指(B) me跨会(n = 21 主题)。 会话的基准模型和微调模型的比较 1 财务报告和审定财务报表 2 使用由Bonferroni校正的双尾Wilcoxon签名排名测试进行多次比较(如果 p < 0.001,** 如果 p < 0.01) (中文(简体) ). 采用 " ANOVA " 办法,主要效果是会议和模式,以及会议之间的比较 1 财务报告和审定财务报表 2 由会话的主要效果(如果 p < 0.01) (中文(简体) ). 红色破折线表示机能水平,而灰色破折线代表每个条件下的中位性能. 黑点代表每个实例。 P 值 :0.0001(A,届会)1), 0.0055(A,届会)2), 0.0075(A,届会)1 文选.2); 0.0003(B,届会)1), 0.0026(B,届会)2), 0.0018(B,届会)1 文选.2. 组级精度 2- 指头和 3- 指代各会(C)和小组级召回 2- 指头和 3- 不同分类器的缩写(D)n = 21 主题)。 中线表示中值. 盒由下方的 qua向上方的 qua相延伸. 钻石表示超过 1.5 倍数 相差范围在第三夸克以上或第一夸克以下。 使用双尾的Wilcoxon签名排名测试与Bonferroni校正进行了跨会话的精度和跨模型的召回的比较,以进行多重比较(如果 p < 0.001, * 如果 p < 0.05。P值为:0.0003(C,缩略语,2- 班级,1.79e−05(C,平基语,3- 班级,0.0310(D,缩略语,2- 班级,3.35e−05(D,索引,3- 同学们 E 组平均alpha带(8−13 Hz) ERD 地貌学为我在线控制任务. F. EEGNet模型中供在线ME会议使用的集团平均重要地形图。 最高的频道 25% 电极上白色圆圈突出亮相值. 与MI范式一样,利用FBCSP-LDA模型解码在线会话的EEG数据的离线模拟结果显示,在第一次会话期间,会内性能有所改善 3- 课会,但不在其他条件下(补充图S7B)。 一个重要的会话效应 3- 班级模拟结果进一步表明人类学习参与 3- 类范式(补充图. S7B). 然而,在同一范式内,8个连续运行的在线解码准确性没有持续改善(补充图. S7C)。 精细调整通过提高最有挑战性的类别(图3D,补充图S5B-D)的召回和精准度,有效缓解了不同指的分类不平衡. 有了精细的模型 2- 以平均准确度达到 81.10% 纵横 21,而平均准确性 3- 指头控制是 60.11%. Electrophysiological分析显示,左感应器区内部的α波段动力在右指运动时明显去同步,符合运动规划和执行的既定神经生理规律(图3E). 深层学习解码器类似地主要以运动皮层为主(Fig. 3F, Afind Fig. S3B, S4D),与已知的神经生理机制相配合. ### 通过继续培训,微调工作继续有效 在以军械为主的军械控制中心各级在线控制业绩显著改善 [11] , [55] , [56] 为了彻底调查在线MI机器人控制在个人手指层面的学习效果,16 离开 21 课程共完成了5次管理信息系统在线课程。 通过对以往管理信息系统会议提供的所有特定专题数据进行培训,逐届会议更新了这一基本模式。 业绩评价采用了同样的衡量标准,即多数投票的准确性。 开展了 " ANOVA " 双向重复措施,以评估会议、模式和模式互动对业绩的影响。 结果显示,这两个课程的学习效果都很大。2- 级和 3- 班级任务(2- 类别:F=7.127, p < 0.001; 三等号:F=14.406, p < 0.001 费格 4A,B),显示了在线培训期间显著的绩效改善. 此外,一项重大的模型效应表明,随着培训课程的进展,不断进行微调,提高解码准确性(2- 类别:F=35.606, p < 0.001; 三等号:F=39.138, p < 0.001 费格 4A 然而,会话模型交互效应并不显著,表明基础模型和微调模型之间的学习速度是可比的(2- 类别:F=1.375, p = 0.253; 三等号:F=1.686, p = 0.164(原始内容存档于2018-03-27) (英语). Dig. B. 集团一级的趋势 2- 指(A)和(A)3- 5个在线会话的指(B)MI精度(n = 16 主题)。 中行表示正值. 灰色破折线代表了机能级别,出错栏表示标准出错. 所有课程中的基础和精细调整模型的性能分布在右边。 中线表示中值. 盒子从下克到上克,线条表示 1.5 乘以相位范围。 统计分析采用双向重复计量的ANOVA,主要效果为会话和模型. 该模型的主要效果:p < 0.001。P值:2.6e−05(A),1.53e−05(B级). 对齐比较 2- 指头(C)和 3- 连续会话之间的指 (D) MI 精度(n = 16 主题)。 中线表示中值. 盒由下方的 qua向上方的 qua相延伸. 胡子长到 1.5 乘以相位范围。 每个会话配对和型号类型都进行了单侧威尔科克森签名排名测试. Bonferroni更正后的统计意义表示为***p < 0.001, **p < 0.01, *p < 0.05。P值:0.0260(C,2-1 基数),0.0024(D级,2-1 基数),0.0012(D级,2-1 精细调整,0.0103(D级,4-3(原始内容存档于2017-09-25)., Base. 改进的线性回归分析 2- 手指(E)和 3- 与基础模型相比,精细化模型在五会中实现了指(F)MI精度. 中心线表示数据的线性回归模型相适应. 阴影区域表示 95% 回归时的置信间隔。 为了进一步调查性能动态,采用单面的Wilcoxon签名排名测试对连续几会进行了比较。 这些分析显示,在培训初期,特别是在培训班之间,业绩明显提高。2 届会 1(图4C, D.). 然而,尽管数字上有所改进(图4C,D),但随后的会议没有显著提高业绩。 具体而言,在线培训的一次课程足以使EEGNet模型从头皮EEG信号中提取出可分辨的特征,从而可以与以后的培训课程相媲美。 这突出了培训进程的效率。 评价EEGNet的紧凑结构 8,2,只有几千个可训练参数,限制了它利用更大型数据集的能力,我们用更宽更深的变体(deepEEGNet)进行线下分析. 这种模式增加了每层的过滤器数量,并在平分层之前再分出两个可分化的相接层(补充表S1)。 尽管在解码准确度方面略有改进(2- 类:+1.21%; 3- 类:+1.52% 与使用EEGNet的模拟结果相比,使用深层EEGNet(补充图.S8)的总体学习趋势仍然一致。 为了进行这种比较,以EEGNet的模拟结果作为基准衡量深层EEGNet结果,而不是在线性能衡量标准,以减轻实时反馈可能产生的困惑效应。 这种持久的高原表明,所观察到的趋势可能源于精密的指向运动解码的EEG衍生特征固有的局限性,而不只是模型能力。 为了量化微调的效果,对各培训班微调模型和基准模型之间的准确性差异进行了线性回归分析。 结果显示,随着培训的进展,微调模式具有显著优越性,表现为显著的正抵消(2- 类:t = 4.251, p < 0.001; 三类 :t = 2.992, p = 0.004(图4E、F)。 然而,会议效果并不显著(第1段)。2- 类别: t = -1.558, p = 0.311; 三类 :t = 0.286, p = 0.776,图4E,F),表示在整个培训过程中,微调模型的解码能力始终优于基准模型. 这些结论证实,微调在减轻跨会间变异性以及改进多个会间深入学习模式的绩效方面是有效的。 除了在线行为结果之外,还进行了离线解码和电生理学分析,以审查训练对人类方面的影响。 使用FBCSP-LDA模型的单会话EEG数据的离线解码显示二进制任务的信号区分性没有改善(补充图. S9A). 然而,关于三重任务,与基础任务相比,微调后运行有显著改善,如双向重复计量法ANOVA(F=)所示。15.028, p = 0.001,补充图S9B),数据可区分性的增强主要发生在第一届会议(Cohen's d =0.502 用于届会 1 页:1 这表明在培训的早期阶段,人类军校学习处于高地。 ANOVA对在线培训班期间收集的EEG数据的单向分析显示,C3频道的ERD水平被认为能产生与右手MI有关的最强神经信号,在五个培训班期间始终保持一致(2- 类别:F=0.432, p = 0.784; 3- 类别:F=0.284, p = 0.887 页:1 这些调查结果表明,拟议的模式需要最低限度的培训,才能取得令人满意的业绩。 ### 在线平滑稳定了机器人控制 尽管在指相级机器人控制任务中由深层学习解码器所实现的强效性能,这种精密的控制范式仍然具有挑战性. 主要困难来自头皮脑电图的信号-噪音比低和空间分辨率有限,特别是在有越来越多的类别进行三角分类的任务中。[57]。 。 。 。 为了进一步提高机器人控制性能,我们开发出一种在线平滑方法,旨在通过将先前的解码出品纳入决策过程来稳定机器人运动(补充电影S3,S4). 离开 21 研究的课题 16 参加了1个ME在线会话和1个MI在线会话,每场会话由4个使用原控制机制的运行和4个使用平滑机制的运行组成. 除了准确性外,我们还利用两个额外的度量标准评估了平滑方法的功效: " 标签移位 " (Label Shift),定义为一次试验中连续预测结果的变化次数;和 " 全希特比 " (All-Hit Breaty),即所有预测都与真实标签相符的试验百分比。 为每个计量标准构建了单独的线性混合效应模型。2- 指我范式(图.5A), 3- 指我范式(图5B),2- 缩略语(图5C),以及 3-指向MI范式(图5D). 平稳产出和原始产出在准确性方面没有显著差异,这表明平稳产出方法保持了这些范式的任务业绩。 此外,在所有四个范式中,我们看到标签转换次数显著减少,反映出产出控制指令的稳定性得到提高。 在比较采用平滑方法前后的全高速试验的百分比时,我们发现,它有效地过滤了任务期间的小扰动,从而改善了总体控制(图5E,F)。 这些结论突出了平滑方法提高基于电子设备的机器人控制系统的稳健性和可靠性的潜力。 图5 网络平滑效应. 微调的 EEGNet 模型的原始产出与平滑产出的比较 2- 指点我(A),3- 指着我(B),2- 手指MI(C),和 3-手指MI(D)在线任务(n = 16 主题)。 准确性采用多数投票法来计算; 标签移位代表一次试验中预测标签的平均变化次数,这可以量化解码器的稳定性; 全重比被定义为在整个试验中正确分类的试验的百分比. 中线表示中值. 盒由下方的 qua向上方的 qua相延伸. 钻石表示超过 1.5 倍数 相差范围在第三夸克以上或第一夸克以下。 使用线性混合效应模型(***p < 0.001,** 如果 p < 0.01, * 如果 p < 0.05) (中文(简体) ). 没有作p值调整。 P 值 :7.66e−13(A,标签移动),7.97e−06(A,全脂比率)2.16e−28(B,标签移动),2.78e−10(B,全脂比率),3.43e−12(C,标签移动),9.04e−07(C,全脂比率)3.49e−33(D,标签移动),9.77e−16(D,全速比). 将一个示例的目标类的原始概率和平滑概率进行比较 2- 手指试验(上)和一个例子 3- 为ME(E)和MI(F)任务进行手指试验(下方)。 黑色破折线代表概率水平. ### 不同指对之间的离线解码 离线课程的解码结果为了解不同指组的差别性提供了宝贵的见解,指导了在线实验范式的设计. 受命研究对象要么是大拇指、食指、中指,要么是其主要手(右手)的指尖。 尽可能进行离线解码 2- 指头 3- 手指,还有 4-使用EEGNet和FBCSP的指头组合. 在所有这些 2-指组,拇指-平克对对 演示了所有范式和分类器的最高解码性能,实现了平均精确度 77.58% 管理信息系统任务和 75.65% 使用 EEGNet 完成我的任务。 反之,食指和中指组合表现出的差别最小(图一.6A 为了探索指对之间差异性变化的电生理学基础,计算和比较了显示每对对最大ERD活化的EEG通道之间的距离。 拇指-平克和索引-平克对在由MI引发的ERD激活中,在α波段内显示最远的距离,与离线解码结果和somatothopic映射(平均距离:46.316 mm 用于拇指- pinky 和 42.262 mm 指数-平克,补充图. S11。 对于 3-指向组合,拇指-index-pinky和拇指-中指-pinky组显示的精度最高,如平均结果所反映. 在那个 4- 手指分类,平均精确度 43.61% 管理信息系统任务和 42.17% 为了完成我的任务 这些离线解码结果显示,与FBCSP等非深层解码器相比,EEGNet在指层EEG-BCI解码方面的性能得到了提高,突出了以深层学习为基础的方法在准确区分各种指向运动或运动意图方面的潜力. 发相. 6Offline解码性能与电生理学分析. 使用EEGNet和FBCSP(n = 21 主题)1 代表拇指,2 代表食指,3 代表中指,和 4 指指指针。 红色破折线表示机能水平. 中线表示中值. 盒由下方的 qua向上方的 qua相延伸. 胡子长到 1.5 乘以相位范围。 对两个解码器进行了比较,采用了由Bonferroni校正的双尾的Wilcoxon签名排名测试进行多次比较. P 值 :0.0011(A类,1-2), 0.0003(A类,1-3), 0.0006(A类,1-4), 0.0132(A类,2-3), 0.0308(A类,2-4), 0.0009(A类,3-4), 3.81e−06(A类,1-2-3), 0.0011(A类,1-2-4), 0.0002(A类,1-3-4), 2.67e-05(A类,2-3-4), 3.81e-06(A类,1-2-3-4), 0.0054(单位:千美元)1-2), 0.0001(单位:千美元)1-3), 5.72e−06(单位:千美元)1-4), 0.0009(单位:千美元)2-3), 0.0011(单位:千美元)2-4), 1.14e−05(单位:千美元)3-4), 0.0003(单位:千美元)1-2-3), 0.0002(单位:千美元)1-2-4), 1.14e-05(单位:千美元)1-3-4), 0.0005(单位:千美元)2-3-4), 0.0002(单位:千美元)1-2-3-4) 组级任务特有α频段(.8−13 Hz) (C)和β波段(13–30 Hz) (D) ERD地貌图 (.n = 21 主题)。 从左到右,显示与拇指,索引,中间和指向运动相对应的ERD地貌. 上行呈现出ME数据的结果,而下行呈现出MI数据的结果. 离线EEGNet解码性能比较(n = 21 主题),用于ME(E)和MI(F)任务,使用经过不同波段通道设置过滤的EEG信号(4–40 Hz,α乐队,β乐队,三角乐队,Theta乐队. x轴显示不同频段的分类结果. 离线分类是在拇指与指指上进行的(1-4),拇指对索引指指对指指指(1-2-4)和所有四个指头(1-2-3-4) (中文(简体) ). 双向ANOVA通过不同的频段和指对进行,在所有任务条件下都观察到了统计意义. 显性恒星使用FDR修正后双尾的Wilcoxon签名级测试(***如果 p < 0.001,** 如果 p < 0.01, * 如果 p < 0.05。P值为:0.0181 页:1 4–40 Hz 与阿尔法有关,9.53e−06 页:1 4–40 Hz 诉贝塔案),4.45e−05 页:1 4–40 Hz 德尔塔案),4.45e−05 页:1 4–40 Hz 与Theta案有关,0.0018(E,阿尔法诉贝塔),0.0020(E,阿尔法诉德尔塔),0.0023(英、法、法、西塔)0.0197(英、法、俄、西)0.0329(女,4–40 Hz 与阿尔法有关,3.17e−06(女,4–40 Hz 诉贝塔案),3.17e−06(女,4–40 Hz 德尔塔案),1.19e−05(女,4–40 Hz 与Theta案有关,0.0002(F,阿尔法诉贝塔),3.17e−06(F,阿尔法诉德尔塔),4.76e−05(F,阿尔法对西塔),8.74e−05(F, Beta vs. Delta). (中文(简体) ). ### 对手指歧视的具体频率贡献 抑制在α体内的振荡活性 8–13 Hz)和β类(13–30 Hz 在ME和MI两个任务期间,都广泛讨论了反相感应器区域的频段 [58] , [59]. 以往的研究表明,α和β频率元件在肢体层面的MI任务之间提供了有效的区别.[10] , [11] , [18] , [60]。 。 。 。 为了探索指向ME和MI任务期间被编码入EEG的频率特定信息,我们从离线的EEG录音中提取出α和β频率组件. 任务特定的ERD地貌在对象进行或想象出不同指的移动时,在α和β波段显示出高度相近的空间规律(图6C, D. 在ME任务期间,在感应器区上空观察到两个频带的双边功率下降,而反面的压制力最强。 相形之下,MI任务在两个频段的左感应器区域显示出更本地化的ERD. 在比较由ME和MI任务所引发的EEG振荡的调制时,我们观察到ME期间的双边去同步性更强,这与以前的结论一致.[59] , [61] – [63] 此外,还观察到了α和β波段的动力调制。 由于分析的重点是在根据其ME和MI性能进行两轮筛选之后的BCI响应者,这可能会影响组级的α和β波段ERD趋势,因此我们进行了分析,比较了合格参与者和非响应者之间因性能不合格而启动ERD的情况。 被排除在外的参与者中,n = 13,),反相感应物区域的α和βERD仍然可被探测到,但明显弱于应答者(补充图. S12A, B, F. 由于MI性能不足而被排除在外的人,尽管ME能力完好无损(n = 5),相反的ERD在ME任务期间是显而易见的,但在MI任务期间是缺席的(补充图S12C, D.). 在答复者和非答复者中,MI任务总是比ME任务(补充图.S12E)引出更弱的α和βERD,并由不同群体的中到大效果大小支持. 非答复者在ME和MI任务(补充图.S12F)中也显示与应答者相比,ERD的分量也有所下降,表明他们无法产生强活的感官皮质活化. 这些调查结果表明,MI期间在α和β波段相对于ME的衰减的ERD是两个组的一致特征. 在α和β节奏之外,低频带中与运动相接的皮质潜能(MRCPs)(M.0.3–3 Hz 经常用来区分手和指的移动 [39] , [64] , [65]。 。 。 。 为了评估这些慢元件的贡献,我们在选定的信道(C3)将时间解析振幅可视化为流行地和MRCP波形(补充图S13)。 所有四个指头在第一个指头内引起低频 EEG振幅的重大变化 1.5 试验开始后秒(补充图.S13A,B)。 振幅调制开始于相邻的中线地区,并在相邻的中线和中线地区逐渐扩散。 在试验开始之前或之后没有观察到重大变化 1.5 秒数。 与军情局相比,我引发了更强烈的振幅变化。 MRCP既存在于指甲中,也存在于MI中,其特点是试射后不久电极发生负偏转(补充图S13C,D)。 虽然在MRCP偏转周围的短暂窗口中观察到了指向差异,但在整个试验期间,单个指向的低频率活度显示出相当大的重叠。 为了评估单个指跨频段移动的可区分性,我们把EEG数据过滤入三角洲(E.0.5–4 Hz),Theta(英语:4–8 Hz),α,和β带. 每一个都单独输入了EEGNet,由此产生的解码速率与从宽带获得的速率作了比较(4–40 Hz 数据。 使用单个频段时的解码性能比 4–40 Hz 输入,突出宽带信息在解码指动中的贡献(图6E,F). 在单波段条件中,α波段产生的精度明显高于三角地段,Theta,和β波段,而β波段的优于三角地段. 为了进一步审查低频组件的作用,我们扩大了宽带范围,使其达到:0.3–40 Hz 包括三角洲活动。 这种扩展宽带输入的解码性能仍然优于单个频段,并可以与α频段(补充图. S14)相媲美. 这些调查结果突出了宽带电磁学信号的关键作用,并特别强调了α和β振荡在区分个人指动方面的关键作用。 ## 讨论情况 在这项研究中,我们通过深层学习技术(Fig.7A,"补充电影"S1-S4. 我们的研究结果突出了头皮脑电图信号的可分离性,这些信号与同一只手的不同手指运动或运动意图相对应,使用以深入学习为基础的模型解码。 通过在线培训和模型微调,任务绩效得到显著改善. 在线范式包括二进制任务(thumb和pinky movement)和ternary任务(thumb,食指和pinky movement). 一组人 21 有丰富经验的BCI用户, 我们平均达到了 80.56% 页:1 2- 指纹MI控制器和 60.61% 页:1 3- 在单一的在线培训和微调后进行指纹管理,以显示系统的有效性。 关于管理信息系统任务的进一步在线培训表明,一个课程足以使所研究的手指控制任务取得令人满意的业绩。 这一结论突出表明了我们系统在现实世界应用方面的实用性,因为它只需要最低限度的培训。 此外,我们开发了在线平滑方法,通过减缓噪音引起的波动来增强控制稳定性。 该系统的性能表明它有能力通过直观的绘图,将大脑信号转化为同一手的精确运动指令,这是基于现实世界BCI的机器人控制应用的关键特征. 图7 实验范式. 一个实验设置。 单指的汽车图像或执行被用来驱动机器人指动. B 从人类运动或对手指运动(右手)的想象到机器人手指控制(右手). C 每位参加者的试验会议概况。 实验有四个不同的阶段,参与者人数不尽相同,取决于能否进行。 D 在线会话设计概述. 在上半场,使用了经过预先培训的EEGNet模型,在主体进行指动图像或执行时,在指头一级提供实时机器人手控. 会议后半部分使用了EEGNet模型,对第一个阶段的数据进行了微调。8 运行。 内部BCI系统通过直接与神经活性交接,实现高精度实时反馈多度自由任务,在机器人设备控制上取得了显著进展. 研究表明 高性能的神经假肢控制 [7] – [9] 同时进行独立的指动控制 [31] , [33],以及基于指向解码的 BCI 系统,用于四缩写控制和打字 [34] , [35]. 高密度录音可以直观地解码复杂的四肢运动,而EEG的低空间分辨率限制了它的任务复杂性,尽管它不具有入侵性和可移植性。 因此,大多数最先进的EEG-BCI系统都采用了与用户希望实现的预期产出行动无关的运动成像任务.[10] , [11] , [47]。 。 。 。 人类思想与控制指令之间的差异需要练习和培训才能达到令人满意的性能. 这导致开展研究工作,以解码上端运动或反映预期行动的意图,包括肘部、前臂和手动 [65] , [66],抓住类型 [67] , [68] 和与手指有关的任务 [36] – [38]。 。 。 。 虽然有些研究已经用头皮脑电图将直截了当的把握转化为在线控制 [67],现有的指层运动解码的研究仅限于离线分析. 我们的工作延续了以前对尖端上肢运动解码的探索,并探索了在单个指层进行实时,自然的机器人控制,同时进行动作执行和运动想象的可能性. 与以前利用侵入性获得的信号进行的研究相比,我们的研究显示,对应的反应时间是:1 s 对比之下,最近一项关于基于ECoG的指码解码系统的研究表明,有一组人延迟:~1.17 s [30],而另一项使用植入式电极阵列进行指代解码的研究则引入了延迟期:1.5 s 在提供反馈之前 [33]。 。 。 。 我们观察到,在任务开始后的第一秒内,目标指的解码概率持续增加。2- 指头和 3- 手指控制(补充图S15)。 反馈期开始后,目标指的解码概率一直高高并持续到试验结束,这表明可以以最小的延迟实现可靠的控制. 此外,我们实现了满足在线解码性能,平均解码精度为:80.56% 页:1 2- 指向MI控制,大大超过了先前研究中报告的同一组指(thumb vs. pinky)的离线移动解码精度 [38]。 。 。 。 虽然我们的研究还没有达到 独立和同步的在线手指控制水平 通过内部的BCI [31] , [32],它代表着在非侵入性BCI领域在自控机器人控制上的重大进步. 我们的研究结果表明,深入学习战略能够有效地解决被体积传导效应所掩盖的与运动有关的微妙的电能教育模式。[42],可以进行精确的实时BCI控制. 单个指向运动或想象出的运动导致的电活性细微差异,由于信号涂片而难以用常规的BCI解码器来检测. 目前的研究结果表明,与传统的机器学习方法相比,深层学习能够有效、自动地从EEG时间序列中提取特性,大大减少了信号处理所需的时间。 这种方法有利于对经过最小处理的短 EEG 片段进行在线分类,允许在在线环境下实时反馈,并最终改善BCI的性能. 此外,拟议中的微调范式通过减轻课会之间的变异性提高了BCI的绩效,这是标准预先训练的深层学习模式无法应对的挑战。 各届在线任务业绩的改进和微调突出了在线培训在加强管理信息系统和中小企业控制方面的关键作用(图)。1A,B类,3A 页:1 使用会话实现的上等离线解码性能 2 模型,相对于会话 1 模型揭示了通过增加培训数据促进积极机器学习的证据(图3)。2A 页:1 此外,我们证明,微调能大大地提高解码性能,即使培训数据有限(图)。1A,B类,2A, 3A 页:1 对绩效的会内比较突出了微调,认为这是缓解教育、科学和技术信号的会间变化的关键战略。 除了机器学习效果外,我们还观察到人类的学习贯穿整个课程,并且是在关于Ternary MI和ME任务的首次在线培训班(图2B,补充图S7B)中进行的。 然而,二进制范式没有表现出显著的人类学习效果,可能是由于认知负荷和任务复杂性的变化. 认知负载理论认为平衡任务难度对于有效学习至关重要,而过于简单的任务却不能充分刺激认知处理.[69] , [70]。 。 。 。 这些研究结果为设计最有利于人类学习的实验范式提供了宝贵的见解。 我们的成果突出表明了相反的感官区域在区分被处决和被想象出指动、与运动意图和执行的神经生理模式相适应(图1E、3E、补充图S4)。 然而,值得注意的是,仅仅局限于反面手把手区域(补充图S4B,C)的解码工作下降,这表明其他协同区域在在线培训期间可能作出的贡献。 这些可能包括注意力调节和双边感应器协调。 突出的地貌地貌图凸显了平面和occcial通道在在线解码中的重要性,建议在MI和ME期间发挥视觉关注的作用,并辅以离线的EEG分析(图1E,F,3E,F). 有些与会者报告说,通过直接目光或外观,将注意力集中在目标指上,表明视觉接触。 主要视觉皮层所在的骨髓叶是视觉反馈的主要接收者. 皮质活化已知能反映隐蔽的注意力和被窝运动的意向,作为前肢网络的一部分,在神经后背所需的自上而下注意力中起关键作用.[71] 11. 为支持这一观察,以往的研究表明,在有意识的空间注意力调制任务期间,在院内地区开展了活化活动。[72] – [74]。 。 。 。 在我们的研究中,观察到了外相感官区域的ERD,特别是在指向ME期间,这可能归因于外相感官结构的去除。[60] 不同主题和研究报告并讨论了自然感官区域内的各种神经模式 [58] , [63] , [75]。 。 。 。 我们的显著地图和次区域分析表明,与任务有关的环境教育变化涉及指向运动解码的外侧(图1F、3F、补充图S4D、E)。 此外,对低密度、覆盖面广的EEG系统的模拟显示,尽管频道计数减少,但解码性能稳定,强调空间广度高于高密度取样(补充图S16)。 这一发现反映了EEG由于体积传导而固有的空间分辨率有限,在头皮区之间表现出焦皮活性. 因此,稀有但空间分布的电极可以有效捕捉解码、降低系统复杂性和计算负荷所需的分布式神经信号,同时又不牺牲准确性。 简而言之,虽然感官皮层是手指运动解码的核心,而全缩覆盖则能捕捉到能提高解码稳健性的补充神经过程.[44]。 。 。 。 低密度系统的最小性能下降突出表明,实用的以EEG为基础的BCIS可以优先使用高通道密度的宽空间覆盖,这为设计复杂程度降低,可用性提高的现实世界系统提供了重要指导. 有趣的是,机器人手指控制的任务性能在在线课程初期就已经稳定下来,而额外的培训则无法进一步提高准确性(图4C,D)。 同样,在前三届会议上,欧洲复兴开发银行的C3 ERD值在数字上表现出更强的反应。2- 级和 3- 类任务,但在会话后被固定 3 页:1 此外,使用FBCSP和DeepEEGNet的离线解码结果显示,主要在第一届会议上(补充图S8,S9),数据的可区别性有所提高,这表明性能饱和度可能反映了EEG衍生特征在精确指动解码方面的固有局限性,而不是模型能力所施加的限制。 这与其他研究报告形成对比,这些研究报告报告,在以下几个方面不断改进:10 会议 [55]。 。 。 。 这种差异可能是由于主力手动和输出指令之间的直观地映射,减少认知负荷并缩短学习曲线. 此外,参与者以往在肢体层面的MI任务方面的经验可能有助于更快地适应。 观测到的早期性能高原表明,对于有经验的BCI用户来说,即使他们是新到指级的MI,也可能没有必要进行广泛的额外培训. 这一发现对设计高效的基于MI的BCI系统具有实际影响. 未来的研究应探讨手指管理信息系统培训对天真问题的影响,以确定快速高原是有经验的用户所独有的,还是对没有以前管理信息系统经验的用户所特有的。 此外,尽管对扩大建筑规模进行了初步调查,对最新技术的解码器进行系统评价,有可能在今后应用中加强较长培训期间的解码工作 [76] . 我们看到了ME控制与MI控制范式(补充图. S17A, B)之间的可比较在线性能. 两项任务在一段时间内都表现出类似的解码模式(补充图. S15). 人们广泛讨论了我和MI之间的神经机制的相似性,支持我们的结论。[77] , [78] 然而,先前的研究表明,与MI任务相比,在ME期间观察到的主要运动皮层参与程度更高。[59] , [61] , [62],这与我们在有经验的BCI用户和非回复者(图6D,补充图.S12,S17C)中对α和β频段ERD的离线EEG分析一致. 在MI和ME控制的在线范式之间观察到的高度可比较的性能可能是由于实时反馈的强化参与,这有助于根据Yerkes-Dodson定律优化刺激水平,从而增强认知和神经接触.[62] , [79] , [80] 神经素回放被证明能将 MI 相关感官节奏放大到 ME 所见的水平 [62] 提高分类准确性 [81]。 。 。 。 我们认为,我们范式中的实时反馈提高了参与者的热情和注意力,改善了与MI有关的神经活性的特殊性并缩小了MI和ME之间的解码差距. 此外,解码性能不是严格由ERD规模决定的,而是由分类者提取与任务相关的生物标记的能力,包括主题特定的振荡模式和全缩分布. EEGNet利用主题和任务特定的窄带光谱特征,尽管一般侧重于α和β范围内的频率组件(补充图. S18). 与常规的ERD分析依赖于固定的宽波段电压制不同,深层学习的解码器会自动识别微妙的时间规律来区分个人的指动和想象. 这类方法可以捕捉编码与任务相關信息的细微神经规律,即使没有宣告的ERD表达. 此外,虽然反相感官皮层活性显著地促进了运动解码,但与只使用运动区信号(补充图. S4B, C)相比,纳入全相感克数据大大提高了分类精度. 深入学习确定与任务有关的分布特征的能力 [44] 可能通过结合与任务有关的补充生理活动,包括注意力调节、双边感应器协调和其他运动规划过程,来补偿MI引起的较弱的ERD。 这些调查结果表明,指向ME和MI之间的类似性能来自反馈驱动的神经接触和数据驱动的对多种生理生物标记的提取。 离线解码结果用于其他 2- 指头和 3- 手指组合以及 4- 手指分类 在所有的二进制条件中,拇指和指指向在ME和MI任务中都表现出了最佳的可分性,而解码器未能区分索引和中指运动. 这一发现与先前的研究一致,这些研究显示,对相距较远的对相距较大,对相距较近的对相距较远的对相距较大,对相距较近的对相距较远的对相距较大。[82]。 。 。 。 这对头皮脑电图因空间分辨率有限而区分相邻指头提出了挑战。 在那个 3 类解码,拇指-index-pinky组和拇指-中指-pinky组实现的类似性能进一步证实了由索引和中指运动所引发的脑活性高度相似. 基于EEGNet的解码器取得了平均准确性:46.22% 为军情局 4- 手指任务和 45.58% 用于实时机器人反馈应用。 涉及头皮水平上不同指的动作或运动影像之间的神经活化模式高度相近,凸显出多指分类方面的挑战(图6C, D. 有趣的是,指向在α和β频带上 和其他指相提并论, 与功能性近红外光谱学研究的结果一致。[83] 一个合理的解释是,指向运动或图像需要更多的关注和努力,因为其日常活动较少使用。[83] 未来的工作应探索先进的计算方法和空间分辨率增强,以提高控制系统的稳健性并加深我们对指向神经生理规律的理解。 我们调查了不同频率段对指向运动歧视的贡献。 离线模拟显示宽带频率信息显著地提高了解码精度(图6E,F). 在被隔离的频段中,α波段表现出了最高的性能(图6E,F),强调α振荡是区分单个指相运动的关键频段. 相形之下,低频组件在指间显示的差别力有限(图6E,F,补充图S13). 这与前几次研究表明低频MRCP在区分手动和指动方面的效用形成对比.[39] , [64] , [65]。 。 。 。 这种差异可能源于实验设计和分析重点的不同。 通常在移动开始之前和之后立即观测到MRCP,因此非常适合描述离散、非重复的移动任务。[84] 然而,我们的研究涉及在反复的指向运动或想象中不断进行解码,即瞬时的MRCP组件在试验开始后不久返回基线,并在一段时间内贡献不大。 重要的是,MRCP和ERD反映了不同的神经机制和时间动态.[84]. MRCP代表与调度规划和启动有关的缓慢而有时间限制的潜力,而α和βERD则捕捉持续抑制与正在进行的运动处决或想象有关的振荡活性。 MRCP的瞬间性质限制了它们在连续任务中的效用,而整个运动中α和β节奏的持续调性更能配合我们这样的连续解码任务. 这也许可以解释为什么阿尔法波段 在我们的分类分析中表现优异 将机器人手纳入其中反映了这一研究的一个更宽泛的目标:能够精确地,非侵入性地以脑来控制物理效应器. 虽然本研究侧重于解码单个指动向,但我们的长期目标是为机能障碍和能动的用户开发实用的BCI应用. 尽管不同反馈模式(补充图.S19)的分类性能是可比较的,但机器人手为不同的功能目的服务。 屏幕上的虚拟反馈提供二进制结果信息,视分类是否正确而将目标指向绿色或红色. 相形之下,机器人手实时地移动解码指,提供系统认为对象试图移动的连续和可解释的信息,即使在错误分类时也是如此. 这使得参与者能够深入了解解码器的输出. 此外,与会者还报告加强了对机器人反馈的参与。 因此,机器人手是朝着实现现实世界功能迈出的关键一步,它允许用户通过大脑解码与自己的环境进行物理互动. 今后的工作将进一步调查与日常使用案件更密切配合的任务设计和设想。 尽管EEGNet在EEG-BCI解码中应用很广,但它是一个紧凑的网络,旨在跨越各种BCI范式的通俗性. 神经网络、自动编码器和变压器的近期发展提供了有希望的替代办法 [45] , [85] , [86]. RNNs通过计算时间依赖性处理时间序列的 EEG 数据,自动编码器通过数据重建学习出强大的潜在特性,而变压器则使用关注机制,以便能够动态地关注 EEG 投入中最有区别的部分. 优化这个指相MI设计的解码算法,可以大大提高系统的性能. 此外,整合先进的信号处理技术可以解决头皮电磁电子设备空间分辨率目前存在的局限性。 大脑生物学分析揭示出四指运动和想象力的相似的ERD模式(图6C,D),凸显出需要更好的空间分辨率来区分单个指. EEG源成像已被证明通过对皮质电流密度进行估计和在更细的空间尺度上利用信息来加强MI解码,这尤其有利于精确MI运动的解码.[10] , [42] , [66] , [87] , [88]。 。 。 。 优化系统性能的另一种潜在方法是将EEG与其他神经成像模式与更高的空间分辨率相结合,如fMRI. 沈等获得 63.1% 从离线的fMRI数据中,右手内5个手指的平均解码精度,突出显示fMRI在个人手指层面的空间区分能力 [89] 将这些战略纳入其中的未来研究可导致更精确地绘制大脑活动图,从而提高BCI系统的准确性和可靠性并推进机器人设备的控制。 我们研究的一个局限是选择参加小组。 在参加这项研究之前,所有参与者都曾不同程度地接触肢体一级的BCI实验,在解释目前的调查结果时需要考虑这些实验。 今后对没有以前管理信息系统背景的个人进行实验,可能有助于更全面和更全面地了解这一范式。 此外,根据前两次离线会议对与会者进行了筛选,以确定他们是否被视为答复者而不是非答复者。 此前曾报告 [90] 并不是每个人都能很好地响应感官节奏BCI的范式 15–30% 参与者将被视为非答复者,他们没有表现出使用运动图像准确控制BCI的技能。 我们把本研究的重点放在感官节奏BCI的响应者身上,因为我们的目标是在BCI响应者中调查参与者是否能够以及如何控制单个指层的机器人手. 根据这种研究设计,不能令人满意的离线表演者被排除在研究之外,因此目前的调查结果不应被解释为适用于普通民众。 然而,无论离线结果如何,通过不断的机器人反馈来增强主体的接触和动力,都可能优化其在线行为表现 [91]。 。 。 。 随着本研究运用BCI响应器中的非入侵性BCI来展示出指级机器人控制,未来的研究可以将这一范式应用于BCI-naïve对象以及最初在探索其对更广泛的目标人群的适用性方面表现不佳的个人. 我们研究的另一个局限性是,该系统在更复杂的现实世界情景中的表现仍有待检验。 虽然我们用EEG-BCI在个人手指层面演示了机器人控制,但至关重要的是设计更接近现实世界应用的BCI任务,并彻底评估我们BCI系统在这些背景下的实际用途. 简言之,我们通过在人的意图和控制产出之间自然地绘制图,展示了对单个机器人手指运动进行非侵入性、基于EEG控制的能力,显示了人与机器人之间直觉和精密互动的潜力。 我们通过实时机器人反馈评估了基于深层学习的BCI解码器的功效. 5个管理信息系统控制的在线课程的业绩趋势表明,拟议模式所需的培训最少。 此外,我们采用并测试了在线平滑方法,以进一步加强连续机器人控制。 尽管使用非侵入性技术进行单个指动解码的固有挑战,但本研究所实现的性能凸显出开发更复杂和自然的非侵入性BCI系统的重大前景. 单个机器人指控的成功演示代表了德克勒特的EEG-BCI系统的重大进步,是向前迈出的关键一步,指导了该领域的未来研究. ## 方法 ### 脑机接口任务 #### 手指移动执行无反馈 在研究开始时,进行了一次没有反馈的指动执行(ME)会议,这意味着参与者在进行动作时没有收到任何显示系统解码结果的视觉或物理提示. 在本会中,课题被指示进行重复的单指柔和和右手伸展,包括拇指,食指,中指和指指. 本届会议包括:32 运行,每个包含 5 按随机顺序对每个手指进行试验。 每次试验都持续了 5 s,然后是 2- 试验间隔 #### 无反馈的指动机图像 在离线取指ME会后,课题参加了一次取指运动成像会,没有反馈. 指示研究对象设想进行重复的单指弹性和右手伸展,包括拇指、食指、中指和指指头,而不实际执行动作。 他们奉命生动地去想象运动的感觉和亲缘感,同时将任何身体运动,如吞咽或咬牙切齿等都降到最低. 为了协助保持他们的注意力和参与,鼓励学员们想象出一种具体行动,例如按下钢琴键,使目标指被伸展和伸展。 #### 有实时机器人反馈的指动执行 在离线数据收集初始阶段之后,二进制分类精度超过 70% 在离线的ME和MI会话中,都通过右手指来进行机器人手控(Fig.7A 页:1 本会场包含两个截然不同的范式:二进制分类范式,涉及区分拇指和指向运动;三进制分类范式,解码出一个包括拇指,食指,指向运动在内的三等条件. 每次在线会议包括:32 运行,每个运行包含 10 按随机顺序对每项任务进行试验。 前八跑采用基础模型进行实时反馈,后取二进制分类范式并用基础模型进行后八跑. 随后的8跑运用了ternary分类范式,使用微调模型进行实时反馈,最终的8跑运用了有微调模型(图7D)的二进制分类范式. 每次试验都持续了 3 s 试验开始后,受试者开始自行调整和延长手指。 反馈期始于 1 s 继续 2 s,在此期间机器人手会根据最新的预测结果移动手指,不断根据实时解码输出来调整运动. 同时,在主体前的屏幕上呈现的刺激通过改变靶指的颜色来反映当前在线分类结果,绿色表示正确的分类,红色表示错误的分类. A级 2- 连续试验之间的试验间隔时间。 #### 有实时机器人反馈的指向运动图像 在指向ME阶段后,课题以实时机器人反馈方式参加了MI课程,这遵循了类似于ME任务的设计. 这些会话还包含了两个截然不同的范式:二进制分类范式,区分了拇指和平指所想象的运动;以及三进制分类范式,解码了有拇指,食指和平指所想象的运动. 每届会议包括:32 运行,每个运行包含 10 按随机顺序对每项任务进行试验。 前八跑运用了三元分级分类范式,使用基准模型进行实时反馈,后八跑用基准模型进行二元分级分类范式. 接下来的8跑运用了ternary分类范式,使用微调模型进行实时反馈,而最终的8跑运用了有微调模型的二进制分类范式. 每次试验都持续了 3 s,在试验开始后,实验对象启动自序的手指运动图像。 反馈期始于 1 续)2 s A级 2- 连续试验之间的第二次试验间隔。 每次课后分别培训并更新了ME和MI任务的模型,以优化现有数据的利用。 #### 有平滑机器人反馈的手指运动执行/图像 为了提高控制产出的稳定性并降低对噪音的敏感性,对指向ME和MI任务都采用了在线平滑方法。 如Eq所示,这种方法通过计算当前和历史概率的加权和,使解码模型的产出平滑了。(1). ```xml \documentclass[12pt]{minimal} \usepackage{amsmath} \usepackage{wasysym} \usepackage{amsfonts} \usepackage{amssymb} \usepackage{amsbsy} \usepackage{mathrsfs} \usepackage{upgreek} \setlength{\oddsidemargin}{-69pt} \begin{document}$$\begin{array}{c}{h}_{0}=0\\ {{{{\boldsymbol{P}}}}}_{{{{\boldsymbol{t}}}}}^{{{\hbox{'}}}}=\alpha*{{{{\boldsymbol{h}}}}}_{{{{\boldsymbol{t}}}}-{{{\bf{1}}}}}+{{{{\boldsymbol{P}}}}}_{{{{\boldsymbol{t}}}}}\\ \begin{array}{c}{{{{\boldsymbol{h}}}}}_{{{{\boldsymbol{t}}}}}={{{{\boldsymbol{P}}}}}_{{{{\boldsymbol{t}}}}}^{{{\hbox{'}}}}\\ {{{{\boldsymbol{P}}}}}_{{{{\boldsymbol{t}}}}}^{{{\hbox{'}}}}=\frac{{{{{\boldsymbol{P}}}}}_{{{{\boldsymbol{t}}}}}^{{{\hbox{'}}}}}{{||}{{{{\boldsymbol{P}}}}}_{{{{\boldsymbol{t}}}}}^{{{\hbox{'}}}}{||}}\end{array}\end{array}$$\end{document}h0=0Pt’=α*ht−1+Ptht=Pt’Pt’=Pt’∣∣Pt’∣∣ ``` 变量 ```xml \documentclass[12pt]{minimal} \usepackage{amsmath} \usepackage{wasysym} \usepackage{amsfonts} \usepackage{amssymb} \usepackage{amsbsy} \usepackage{mathrsfs} \usepackage{upgreek} \setlength{\oddsidemargin}{-69pt} \begin{document}$${{{{\boldsymbol{h}}}}}_{{{{\boldsymbol{t}}}}}$$\end{document}ht ``` 保存上一个概率信息,最初设定为 ```xml \documentclass[12pt]{minimal} \usepackage{amsmath} \usepackage{wasysym} \usepackage{amsfonts} \usepackage{amssymb} \usepackage{amsbsy} \usepackage{mathrsfs} \usepackage{upgreek} \setlength{\oddsidemargin}{-69pt} \begin{document}$${{{\boldsymbol{0}}}}$$\end{document}0 ``` 向量 ```xml \documentclass[12pt]{minimal} \usepackage{amsmath} \usepackage{wasysym} \usepackage{amsfonts} \usepackage{amssymb} \usepackage{amsbsy} \usepackage{mathrsfs} \usepackage{upgreek} \setlength{\oddsidemargin}{-69pt} \begin{document}$${{{{\boldsymbol{P}}}}}_{{{{\boldsymbol{t}}}}}$$\end{document}Pt ``` 包含每个可能类别的原始解码输出作为概率。 平滑的输出, ```xml \documentclass[12pt]{minimal} \usepackage{amsmath} \usepackage{wasysym} \usepackage{amsfonts} \usepackage{amssymb} \usepackage{amsbsy} \usepackage{mathrsfs} \usepackage{upgreek} \setlength{\oddsidemargin}{-69pt} \begin{document}$${{{{\boldsymbol{P}}}}}_{{{{\boldsymbol{t}}}}}^{{{\hbox{'}}}}$$\end{document}Pt’ ``` ,通过合并历史产出和当前产出计算。 参数 ```xml \documentclass[12pt]{minimal} \usepackage{amsmath} \usepackage{wasysym} \usepackage{amsfonts} \usepackage{amssymb} \usepackage{amsbsy} \usepackage{mathrsfs} \usepackage{upgreek} \setlength{\oddsidemargin}{-69pt} \begin{document}$$\alpha$$\end{document}α ``` 调整先前信息的权重。 ```xml \documentclass[12pt]{minimal} \usepackage{amsmath} \usepackage{wasysym} \usepackage{amsfonts} \usepackage{amssymb} \usepackage{amsbsy} \usepackage{mathrsfs} \usepackage{upgreek} \setlength{\oddsidemargin}{-69pt} \begin{document}$${{{{\boldsymbol{P}}}}}_{{{{\boldsymbol{t}}}}}^{{{\hbox{'}}}}$$\end{document}Pt’ ``` 实现正常化,以确保概率合计到 1. 常态化,平滑的输出随后被用来引导机器人手的运动. 为了验证在线平滑的功效,在这项研究结束时举行了一次电子会议和一次MI会议。 每届会议包括:32 运行,每个运行包含 10 以随机顺序对每项任务进行试验,类似于前面描述的在线会话. 在上半会中,最初的8跑采用三元分类范式,使用基准模型进行实时反馈,后有8跑使用二元分类范式与基准模型. 在下半场,8跑应用了ternary分类范式与微调模型用于实时反馈,最后8跑运用了有微调模型的二进制分类范式. 使用微调解码器的后两组8跑被进一步分为两组,每组4跑,一组使用原始算法,另一组使用平滑机制. 这些组的顺序是随机的,而主体没有被告知范式的变化. #### 具有不同反馈方式的指纹运动执行/图像 为了调查不同反馈方式的影响,10个主题各自参加了一个ME会议和一个MI会议。 每届会议包括:34 运行,每个运行包含 10 以随机顺序对每项任务进行试验,类似于前面描述的在线会话. 第一阶段 16 运行,使用一个离线会话进行预训的基础模型和同一主题的前两次在线会话都用于这两个主题 2- 指头和 3- 手指解码。 在这些初步运行期间所收集的数据被用来微调基本模型。 在下半期,与会者完成了三轮培训班。2- 指头和 3- 在三个条件下用微调模型进行指针任务:只进行视觉反馈,只进行机器人反馈,以及结合视觉和机器人反馈. 反馈条件的顺序是随机的,以减轻潜在的偏差. ### 实验设计 #### 议题 招收了49名右撇子的健全人文科目参加这项研究。 所有程序和协议均由卡内基梅隆大学机构审查委员会批准(程序号:STUDY2017 00000548) (中文(简体) ). 在参加实验之前,主体填写了筛选表以确定其资格,并被告知与研究有关的潜在风险. 在试验开始前,从所有主体获得了书面知情同意。 每一个题目都同意在试验期间录相。 我们没有得到同意公布可识别主题的信息。 由于时间安排上的冲突,有10个学科退出了研究. 采用了统一的筛选程序,只有达到 70% 整个研究都包括了ME和MI任务的离线二进制分类的准确性。 这一筛选过程旨在解决与下列方面有关的问题:15–30% 主体是感官节奏BCI的非响应者 [90] 我们的目标是研究个人能否以及如何在BCI响应者中控制机器人指. 整个研究中排除了18个科目,原因是指ME或MI离线课表现不尽人意。 其余21个科目(6个男性/15个女性;平均年龄:24.23 ± 3.72),每场,完成两场ME在线会话,然后是两场MI在线会话(图7C). 完成主要研究后,16个科目参加了增加的3次管理信息系统在线会议和2次包含在线平滑功能的课程(图7C)。 #### 实验设置 EEG数据是使用下列方法获得的:128- 通道 BioSemi(荷兰阿姆斯特丹BioSemi) EEG头部和活化两个放大器(荷兰阿姆斯特丹BioSemi)。 为每个主题选择了适当的上限,并按照国际标准设置。10–20 在每次会话开始时设置电极的系统。 eEG信号记录在采样速度为 1024 Hz 在所有会议期间,主题坐在计算机显示器前,距离 ~90 cm 他们的双手躺在他们面前的桌子上 机器人手被放置在被试者与屏幕之间,其位置可以使被试者清晰地观察视觉刺激和机器人手动. Allegro Hand(韩国沃尼克机器人公司),a 4- 手指机器人手 16 自由度,用于在实验期间提供实时视觉反馈. #### 机器人控制研究 21个学科参加主要研究,研究自然主义机器人在线控制个人指动. 所有议题至少前两届会议(关于 2(b) 肢体水平的MI BCI经验,但以前没有手指水平的MI经验。 他们为收集培训数据举办了一个离线的ME和一个离线的MI课程,随后为每项任务举办了两个在线课程。 #### 在线管理信息系统的培训效果 为调查在线管理信息系统任务的培训效果,有16个科目(5个男性/女性;平均年龄:23.56 ± 3.22 在完成主要研究后,又举行了三次在线管理信息系统会议。 所有这五届会议都遵循同样的设计,每届会议都通过纳入以往各届会议的数据更新模型。 #### 平滑机器人控制 16个学科(5个男性/女性;平均年龄:23.56 ± 3.22)参加了研究的这一阶段,包括一个ME在线会话和一个MI在线会话. 在每场比赛中,课题用机器人控制的原始微调模型输出进行了四次跑跑,用在线平滑机制进行四次跑跑,既用于二进制任务也用于三进制任务. ### 在线解码 在线处理和分类使用自定义 Python(3.8.4 为BCPy2000制作的脚本(2021.1.0),该部分 BCI2000 程序 [92] 编辑 128- 通道的EEG信号被重新引用到共同平均值,并被下取样到 100 Hz,并过滤到 4 财务报告和审定财务报表 40 Hz 使用第四顺序的巴特沃斯滤波器. 最近一个 1- 数据第二段是Z分数 输入在线解码器 解码输出是由自定义的用于机器人指向移动控制的 C++ 脚本接收的,每次更新都会发生 125 ms。当前概率最高的手指会调整出四个关节,方法是 0.1 弧度在 125 ms 持续时间,提供视觉反馈。 在每次试验结束时,最有弹性的手指被认为是试验的预想类. 在下次试验开始前,所有手指被重置到最初的位置。 EEGNet - 电子网络 8,2 以在EEG-BCI解码中的有效性而出名,在本研究中被用于在线解码 [46]。 。 。 。 每期前半期在线解码所使用的基准模型经过预先培训,用于 300 以往各届会议所收集并为每届会议更新的数据的时代。 在培训过程中,雇用了一名提前停学和学习率计时员。 每期后半期使用的微调模型,在同日收集的前八次运行数据方面得到了进一步培训。 在微调过程中,将前四层的参数,包括时间分解地层和空间深度分解地层固定下来,而其余地层的参数则根据同日数据进行优化. 在线解码任务的评价衡量标准包括准确性、准确性和召回性。 准确性的定义是,正确预测与试验总数之比,在每次试验中,最后预测是连续分类器产出在试验多个部分中得票最多的预测 [49]。 。 。 。 在多级解码中,每级的精确度和召回度被计算出. 对某一类的精确度是该类正确分类的实例与分类者预测的该类实例总数之比。 召回被计算为正确预测与数据集中实际属于该类的事件总数的比例. 一种能可视化影响模型预测的最显著输入数据的显要地图被用来理解和解释指向ME和MI解码任务的神经网络的内在特征. 如Eq所示,每个模型的显著地貌图是通过对时间维度输入数据的预测梯度进行总结来计算的。(2). ```xml \documentclass[12pt]{minimal} \usepackage{amsmath} \usepackage{wasysym} \usepackage{amsfonts} \usepackage{amssymb} \usepackage{amsbsy} \usepackage{mathrsfs} \usepackage{upgreek} \setlength{\oddsidemargin}{-69pt} \begin{document}$$\begin{array}{c}{{{\boldsymbol{X}}}}=\left[{{{{\boldsymbol{x}}}}}_{{{{\bf{1}}}}},{{{{\boldsymbol{x}}}}}_{{{{\bf{2}}}}},\ldots,{{{{\boldsymbol{x}}}}}_{{{{\boldsymbol{n}}}}}\right]\\ {{{\boldsymbol{G}}}}=\frac{d{{{\boldsymbol{P}}}}}{d{{{\boldsymbol{X}}}}}\\ \begin{array}{c}{{{{\boldsymbol{S}}}}}_{{{{\boldsymbol{t}}}}}=|{{{\rm{mean}}}}\left({{{\boldsymbol{G}}}}\right)|\\ {{{\boldsymbol{S}}}}={\sum }_{t=0}^{T}{{{{\boldsymbol{S}}}}}_{{{{\boldsymbol{t}}}}}\end{array}\end{array}$$\end{document}X=x1,x2,…,xnG=dPdXSt=∣meanG∣S=∑t=0TSt ``` 地点 ```xml \documentclass[12pt]{minimal} \usepackage{amsmath} \usepackage{wasysym} \usepackage{amsfonts} \usepackage{amssymb} \usepackage{amsbsy} \usepackage{mathrsfs} \usepackage{upgreek} \setlength{\oddsidemargin}{-69pt} \begin{document}$${{{{\boldsymbol{x}}}}}_{{{{\boldsymbol{i}}}}}$$\end{document}xi ``` 表示一个代表单一输入的(Cx T)矩阵,其中C为 EEG 通道数,而T为输入段的时间样本数. ```xml \documentclass[12pt]{minimal} \usepackage{amsmath} \usepackage{wasysym} \usepackage{amsfonts} \usepackage{amssymb} \usepackage{amsbsy} \usepackage{mathrsfs} \usepackage{upgreek} \setlength{\oddsidemargin}{-69pt} \begin{document}$${{{\boldsymbol{X}}}}$$\end{document}X ``` 为(a)1 x N)表示输入批次的矢量,其中N表示批次中的实例数. ```xml \documentclass[12pt]{minimal} \usepackage{amsmath} \usepackage{wasysym} \usepackage{amsfonts} \usepackage{amssymb} \usepackage{amsbsy} \usepackage{mathrsfs} \usepackage{upgreek} \setlength{\oddsidemargin}{-69pt} \begin{document}$${{{\boldsymbol{P}}}}$$\end{document}P ``` 是一个(N x Z)向量,代表Z是类数的预测。 ```xml \documentclass[12pt]{minimal} \usepackage{amsmath} \usepackage{wasysym} \usepackage{amsfonts} \usepackage{amssymb} \usepackage{amsbsy} \usepackage{mathrsfs} \usepackage{upgreek} \setlength{\oddsidemargin}{-69pt} \begin{document}$${{{{\boldsymbol{S}}}}}_{{{{\boldsymbol{t}}}}}$$\end{document}St ``` 以(CxT)为维度的平分图,取: ```xml \documentclass[12pt]{minimal} \usepackage{amsmath} \usepackage{wasysym} \usepackage{amsfonts} \usepackage{amssymb} \usepackage{amsbsy} \usepackage{mathrsfs} \usepackage{upgreek} \setlength{\oddsidemargin}{-69pt} \begin{document}$${{{\boldsymbol{G}}}}$$\end{document}G ``` ,对输入数据进行预测的亮度,跨越批量维度。 绝对值用于表示梯度的大小。 ```xml \documentclass[12pt]{minimal} \usepackage{amsmath} \usepackage{wasysym} \usepackage{amsfonts} \usepackage{amssymb} \usepackage{amsbsy} \usepackage{mathrsfs} \usepackage{upgreek} \setlength{\oddsidemargin}{-69pt} \begin{document}$${{{\boldsymbol{S}}}}$$\end{document}S ``` ,空间亮度图,尺寸为(Cx)1),通过总结获得. ```xml \documentclass[12pt]{minimal} \usepackage{amsmath} \usepackage{wasysym} \usepackage{amsfonts} \usepackage{amssymb} \usepackage{amsbsy} \usepackage{mathrsfs} \usepackage{upgreek} \setlength{\oddsidemargin}{-69pt} \begin{document}$${{{{\boldsymbol{S}}}}}_{{{{\boldsymbol{t}}}}}$$\end{document}St ``` 沿着时间维度。 要显示每个频道在一个组级的相对重要性,在显著地形图中,偏差大于平均值的值大于 2 删除标准偏差。 " 成果 " 一节列出正规地形图的平均数。 ### 离线分析 #### 离线解码 从离线的ME会话和MI会话中收集的数据最初使用两个解码器进行评估:EEGNet-8,2 和带有线性差别分析(LDA)分类器的过滤库共同空间模式(FBCSP)[46] , [50] 模型评估采用五倍交叉验证法。 每个 5- 第二次试验与 1- 第二个滑动窗口和一个步骤大小 125 ms 离线处理程序与在线处理程序一致。 离线结果是衡量课题任务业绩的一个尺度,用来排除表现不佳的参与者。 此外,离线结果有助于选择最能区分的 2- 指头和 3- 设计后续在线会议的指组。 不同的频段被用于波段通道过滤,包括 4–40 Hz, 0.3–40 Hz 三角洲波段(0.5–4 Hz),Theta乐队(英语:4–8 Hz),α波段(8–13 Hz)和β波段(13–30 Hz),调查使用不同频率元件的个人指的可歧视性. EEG电极的不同子集是:用作投入,包括感应-区域信道、非感应-运动信道、反相/斜相手把手、脊椎区域、前部区域以及低密度布局(下取样)64, 32,以及 21),以调查电极布局和皮质贡献的影响. #### 巨噬体生物学分析 在离线和在线会议期间记录的EEG数据都经过处理,用于与事件有关的去同步分析,以发现与手指MI和ME有关的电生理学规律. 使用FieldTrip (20230118) 工具箱 [93] 和定制的MATLAB(R2023a)脚本(美国MA的MathWorks Inc.). 原始的EEG数据被重新参考到共同的平均值,并被取样到 100 Hz,并过滤到 2 财务报告和审定财务报表 30 Hz 进行了独立的组件分析,以清除眼动和肌肉伪迹。 连续的信号被分解成从 2 s 在试验开始到试验结束之前。 标准偏差高于标准的试验 20 µV 不包括在进一步分析之外。 为了计算每个 EEG 通道的ERD,使用了Morlet波来提取α中的平均功率(8–13 Hz)和β类(13–30 Hz(来自 0.5 s 在试验开始后直至试验结束(第6条)3 s 在线会议和 5 s 用于离线会话). 同一频段内的平均功率 1- 以试验开始前的第二期作为基线。 单审ERD通过以Eq计算的α和β波段功率的相对变化量化.(3). ```xml \documentclass[12pt]{minimal} \usepackage{amsmath} \usepackage{wasysym} \usepackage{amsfonts} \usepackage{amssymb} \usepackage{amsbsy} \usepackage{mathrsfs} \usepackage{upgreek} \setlength{\oddsidemargin}{-69pt} \begin{document}$${{{\rm{ER}}}}{{{{\rm{D}}}}}_{{{{\rm{c}}}}}=\frac{({P}_{c}-\overline{{R}_{c}})}{\overline{{R}_{c}}}\times 100\%$$\end{document}ERDc=(Pc−Rc¯)Rc¯×100% ``` 地点 ```xml \documentclass[12pt]{minimal} \usepackage{amsmath} \usepackage{wasysym} \usepackage{amsfonts} \usepackage{amssymb} \usepackage{amsbsy} \usepackage{mathrsfs} \usepackage{upgreek} \setlength{\oddsidemargin}{-69pt} \begin{document}$${P}_{c}$$\end{document}Pc ``` 代表任务期间α和β带的平均功率,以及 ```xml \documentclass[12pt]{minimal} \usepackage{amsmath} \usepackage{wasysym} \usepackage{amsfonts} \usepackage{amssymb} \usepackage{amsbsy} \usepackage{mathrsfs} \usepackage{upgreek} \setlength{\oddsidemargin}{-69pt} \begin{document}$$\overline{{R}_{c}}$$\end{document}Rc¯ ``` 表示每会期内的平均基线功率。 进一步处理了离线期间记录的原始的EEG数据,以可视化低频波段与运动有关的皮层潜力(MRCPs)(0.3–3 Hz) (中文(简体) ). 数据处理和可视化使用 MNE-Python (1.9.0) [94]。 。 。 。 EEG信号被重新参照到共同的平均值,并被取样到 100 Hz,并过滤到 0.3 财务报告和审定财务报表 3 Hz. ICA是为了取出眼动伪迹而执行的. 连续数据被分解到试验中,包括:1 s 在试验开始到每次试验结束之前。 试验开始前的第二个信号用于基线校正。 每根手指都有组平均低频率的 EEG 振幅地貌。 进行了集群层演化测试,以查明在统计学上与基线有重大偏差的渠道和时间间隔。 此外,在选定的频道(C3)为每个手指运动绘制了组平均MRCP。 四个指头之间显示显著振幅差异的时间段是采用单向重复测量法ANOVA确定的。 #### 离线模拟 利用不同的EEGNet模型、一个EEGNet变体(deepEEGNet)和一个FBCSP-LDA分类器对从在线ME和MI课程中收集的数据进行了解码,以评估机器和人类的学习效果。 每个 3- 第二次试验是用 1- 第二个滑动窗口,步骤大小为 125 ms. 离线处理程序与在线会议使用的程序相仿,以确保一致性。 在线会议采用的EEGNet模型被用于对在线感兴趣的EEG信号进行解码,并将多数投票率与在线结果进行比较。 此外,还进行了五倍的交叉验证,以评估FBCSP-LDA分类器对在线会议获得的EEG信号的可歧视性。 ### 统计分析 使用自定义 Python 进行了统计分析(3.10.13)脚本. 对于BCI行为结果,通过比较多数投票预测和每次试验的目标指所计算的敏锐度,在不同的条件下进行了分析和比较. 双向重复测量应用了ANOVA,主要效果为在线ME和MI机器人会话的会话和模型. 使用 Wilcoxon 签名排名测试进行了对等的后临时比较,如果主要效果的p值低于 0.05 除非另有说明,威尔克逊签名排名测试被用于比较性能度量,包括准确性,精度和召回性,以及两个不同条件之间的电生理学量化,并实施了单向ANOVA,在多个条件下测试行为与电生理学度量的差异. Bonferroni校正被用于多种比较. 采用ANOVA双向重复计量法,分析课程、模型和模型互动对在线性能和模拟结果的影响,同时继续进行管理硕士培训。 用线性混合效应模型分析了平滑结果和原始结果的比较。 实验条件(原生与平滑)被建模为固定效应,主体被认为是随机效应. ### 道德操守 每一个涉及人类参与者的实验都是按照卡内基梅隆大学机构审查委员会核准的协议进行的。 每位与会者都表示同意。 ### 报告摘要 关于研究设计的更多信息,见与本条有关的《自然组合报告摘要》。 ## 补充资料 补充资料说明补充文件 补充影片 1 补充电影 2 补充电影 3 补充电影 4 透明同行审议文件 ## 来源数据 来源数据 出版商的《Springer Nature》在公布的地图和机构隶属关系方面的管辖权主张方面保持中立。 ## 补充资料 在线版本载有可在下列网址查阅的补充材料:10.1038/s41467-025-61064-x. ## 鸣谢 这项工作得到国家卫生研究所部分赠款的支持。NS124564(波黑),NS131069(波黑),NS127849(波黑),以及 NS096761(英语). 我们感谢迪伦·福伦佐博士协助在线处理脚本的编写和关于统计分析的讨论,西姆兰·帕蒂班达,豪尔赫·乌里亚斯,和金斯·江协助收集数据,以及埃琳娜·邦迪协助研究设计的讨论. ## 作者贡献 Y.D.和B.H.构思了这个想法并设计了研究. Y.D.和Y.Z.进行了数据收集。 Y.D.进行了数据分析。 Y.D.撰写了原稿. Y.D.和B.H.修改了手稿. Y.D.创建了实时处理脚本. C.U.构建了机器人手相机. B.H.监督该项目。 ## 同行审查 ## 同行审查信息 自然通讯感谢Marc Van Hulle,以及其他匿名的,评论员对这项工作的同级审查的贡献. 有同行评审文件。 ## 数据可用性 本条及其补充档案中载有支持本研究结论的所有数据。 任何其他索取资料的要求,可向相应的作者提出,并由其满足。 本文件提供了资料来源。 本研究采用的所有科目的EEG数据见Figshare:10.1184/R1/29104040. 本文件提供了资料来源。 ## 代码可用性 用于在线EEG处理和解码的自定义 Python 代码以及本研究使用的离线深层学习模型培训,可在GitHub上查阅:https://github.com/bfinl/Finger-BCI-Decoding. 该代码根据麻省理工学院的许可颁发. ## 竞合利益 来文人宣布没有相互竞争的利益。 ## 参考文献（保留原文） - 1. Wolpaw JR Birbaumer N McFarland DJ Pfurtscheller G Vaughan TM Brain-computer interfaces for communication and control Clin. Neurophysiol. 2002 113 767 791 10.1016/S1388-2457(02)00057-3 12048038 Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G. & Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767–791 (2002). 12048038 10.1016/s1388-2457(02)00057-3 - 2. He, B., Yuan, H., Meng, J. & Gao, S. Brain–computer interfaces. In: Neural engineering (ed. He, B.) 131–183 (Springer, Cham, 2020). - 3. Bouton CE Restoring cortical control of functional movement in a human with quadriplegia Nature 2016 533 247 250 10.1038/nature17435 27074513 Bouton, C. E. et al. Restoring cortical control of functional movement in a human with quadriplegia. Nature 533, 247–250 (2016). 27074513 10.1038/nature17435 - 4. Ajiboye AB Restoration of reaching and grasping movements through brain-controlled muscle stimulation in a person with tetraplegia: a proof-of-concept demonstration Lancet 2017 389 1821 1830 10.1016/S0140-6736(17)30601-3 28363483 PMC5516547 Ajiboye, A. B. et al. Restoration of reaching and grasping movements through brain-controlled muscle stimulation in a person with tetraplegia: a proof-of-concept demonstration. Lancet 389, 1821–1830 (2017). 28363483 10.1016/S0140-6736(17)30601-3 PMC5516547 - 5. Ang KK A randomized controlled trial of EEG-based motor imagery brain-computer interface robotic rehabilitation for stroke Clin. EEG Neurosci. 2015 46 310 320 10.1177/1550059414522229 24756025 Ang, K. K. et al. A randomized controlled trial of EEG-based motor imagery brain-computer interface robotic rehabilitation for stroke. Clin. EEG Neurosci. 46, 310–320 (2015). 24756025 10.1177/1550059414522229 - 6. Liu, D. et al. Reclaiming hand functions after complete spinal cord injury with epidural brain-computer interface. Preprint at https://www.medrxiv.org/content/10.1101/2024.09.05.24313041v4 (2024). - 7. Hochberg LR Reach and grasp by people with tetraplegia using a neurally controlled robotic arm Nature 2012 485 372 375 10.1038/nature11076 22596161 PMC3640850 Hochberg, L. R. et al. Reach and grasp by people with tetraplegia using a neurally controlled robotic arm. Nature 485, 372–375 (2012). 22596161 10.1038/nature11076 PMC3640850 - 8. Collinger JL High-performance neuroprosthetic control by an individual with tetraplegia Lancet 2013 381 557 564 10.1016/S0140-6736(12)61816-9 23253623 PMC3641862 Collinger, J. L. et al. High-performance neuroprosthetic control by an individual with tetraplegia. Lancet 381, 557–564 (2013). 23253623 10.1016/S0140-6736(12)61816-9 PMC3641862 - 9. Flesher SN A brain-computer interface that evokes tactile sensations improves robotic arm control Science 2021 372 831 836 10.1126/science.abd0380 34016775 PMC8715714 Flesher, S. N. et al. A brain-computer interface that evokes tactile sensations improves robotic arm control. Science 372, 831–836 (2021). 34016775 10.1126/science.abd0380 PMC8715714 - 10. Edelman BJ Noninvasive neuroimaging enhances continuous neural tracking for robotic device control Sci. Robot. 2019 4 eaaw6844 10.1126/scirobotics.aaw6844 31656937 PMC6814169 Edelman, B. J. et al. Noninvasive neuroimaging enhances continuous neural tracking for robotic device control. Sci. Robot. 4, eaaw6844 (2019). 31656937 10.1126/scirobotics.aaw6844 PMC6814169 - 11. Meng J Noninvasive electroencephalogram based control of a robotic arm for reach and grasp tasks Sci. Rep. 2016 6 38565 10.1038/srep38565 27966546 PMC5155290 Meng, J. et al. Noninvasive electroencephalogram based control of a robotic arm for reach and grasp tasks. Sci. Rep. 6, 38565 (2016). 27966546 10.1038/srep38565 PMC5155290 - 12. Willett FR Avansino DT Hochberg LR Henderson JM Shenoy KV High-performance brain-to-text communication via handwriting Nature 2021 593 249 254 10.1038/s41586-021-03506-2 33981047 PMC8163299 Willett, F. R., Avansino, D. T., Hochberg, L. R., Henderson, J. M. & Shenoy, K. V. High-performance brain-to-text communication via handwriting. Nature 593, 249–254 (2021). 33981047 10.1038/s41586-021-03506-2 PMC8163299 - 13. Metzger SL A high-performance neuroprosthesis for speech decoding and avatar control Nature 2023 620 1037 1046 10.1038/s41586-023-06443-4 37612505 PMC10826467 Metzger, S. L. et al. A high-performance neuroprosthesis for speech decoding and avatar control. Nature 620, 1037–1046 (2023). 37612505 10.1038/s41586-023-06443-4 PMC10826467 - 14. Pei L Ouyang G Online recognition of handwritten characters from scalp-recorded brain activities during handwriting J. Neural Eng. 2021 18 046070 10.1088/1741-2552/ac01a0 34036941 Pei, L. & Ouyang, G. Online recognition of handwritten characters from scalp-recorded brain activities during handwriting. J. Neural Eng. 18, 046070 (2021). 10.1088/1741-2552/ac01a0 34036941 - 15. Kosnoff J Yu K Liu C He B Transcranial focused ultrasound to V5 enhances human visual motion brain-computer interface by modulating feature-based attention Nat. Commun. 2024 15 4382 10.1038/s41467-024-48576-8 38862476 PMC11167030 Kosnoff, J., Yu, K., Liu, C. & He, B. Transcranial focused ultrasound to V5 enhances human visual motion brain-computer interface by modulating feature-based attention. Nat. Commun. 15, 4382 (2024). 38862476 10.1038/s41467-024-48576-8 PMC11167030 - 16. Edelman BJ Non-invasive brain-computer interfaces: state of the art and trends IEEE Rev. Biomed. Eng. 2025 18 26 49 10.1109/RBME.2024.3449790 39186407 PMC11861396 Edelman, B. J. et al. Non-invasive brain-computer interfaces: state of the art and trends. IEEE Rev. Biomed. Eng. 18, 26–49 (2025). 39186407 10.1109/RBME.2024.3449790 PMC11861396 - 17. Levett JJ Invasive brain computer interface for motor restoration in spinal cord injury: a systematic review Neuromodulation 2024 27 597 603 10.1016/j.neurom.2023.10.006 37943244 Levett, J. J. et al. Invasive brain computer interface for motor restoration in spinal cord injury: a systematic review. Neuromodulation 27, 597–603 (2024). 37943244 10.1016/j.neurom.2023.10.006 - 18. LaFleur K Quadcopter control in three-dimensional space using a noninvasive motor imagery-based brain-computer interface J. Neural Eng. 2013 10 046003 10.1088/1741-2560/10/4/046003 23735712 PMC3839680 LaFleur, K. et al. Quadcopter control in three-dimensional space using a noninvasive motor imagery-based brain-computer interface. J. Neural Eng. 10, 046003 (2013). 23735712 10.1088/1741-2560/10/4/046003 PMC3839680 - 19. Wolpaw JR McFarland DJ Control of a two-dimensional movement signal by a noninvasive brain-computer interface in humans Proc. Natl Acad. Sci. USA 2004 101 17849 17854 10.1073/pnas.0403504101 15585584 PMC535103 Wolpaw, J. R. & McFarland, D. J. Control of a two-dimensional movement signal by a noninvasive brain-computer interface in humans. Proc. Natl Acad. Sci. USA 101, 17849–17854 (2004). 15585584 10.1073/pnas.0403504101 PMC535103 - 20. Chen X High-speed spelling with a noninvasive brain-computer interface Proc. Natl Acad. Sci. USA 2015 112 E6058 E6067 10.1073/pnas.1508080112 26483479 PMC4640776 Chen, X. et al. High-speed spelling with a noninvasive brain-computer interface. Proc. Natl Acad. Sci. USA 112, E6058–E6067 (2015). 26483479 10.1073/pnas.1508080112 PMC4640776 - 21. Soekadar SR Hybrid EEG/EOG-based brain/neural hand exoskeleton restores fully independent daily living activities after quadriplegia Sci. Robot. 2016 1 eaag3296 10.1126/scirobotics.aag3296 33157855 Soekadar, S. R. et al. Hybrid EEG/EOG-based brain/neural hand exoskeleton restores fully independent daily living activities after quadriplegia. Sci. Robot. 1, eaag3296 (2016). 33157855 10.1126/scirobotics.aag3296 - 22. Tonin L Learning to control a BMI-driven wheelchair for people with severe tetraplegia iScience 2022 25 105418 10.1016/j.isci.2022.105418 36590466 PMC9801246 Tonin, L. et al. Learning to control a BMI-driven wheelchair for people with severe tetraplegia. iScience 25, 105418 (2022). 36590466 10.1016/j.isci.2022.105418 PMC9801246 - 23. Anderson KD Targeting recovery: priorities of the spinal cord-injured population J. Neurotrauma. 2004 21 1371 1383 10.1089/neu.2004.21.1371 15672628 Anderson, K. D. Targeting recovery: priorities of the spinal cord-injured population. J. Neurotrauma. 21, 1371–1383 (2004). 15672628 10.1089/neu.2004.21.1371 - 24. Kieliba P Clode D Maimon-Mor RO Makin TR Robotic hand augmentation drives changes in neural body representation Sci. Robot. 2021 6 eabd7935 10.1126/scirobotics.abd7935 34043536 PMC7612043 Kieliba, P., Clode, D., Maimon-Mor, R. O. & Makin, T. R. Robotic hand augmentation drives changes in neural body representation. Sci. Robot. 6, eabd7935 (2021). 34043536 10.1126/scirobotics.abd7935 PMC7612043 - 25. Sobinov AR Bensmaia SJ The neural mechanisms of manual dexterity Nat. Rev. Neurosci. 2021 22 741 757 10.1038/s41583-021-00528-7 34711956 PMC9169115 Sobinov, A. R. & Bensmaia, S. J. The neural mechanisms of manual dexterity. Nat. Rev. Neurosci. 22, 741–757 (2021). 34711956 10.1038/s41583-021-00528-7 PMC9169115 - 26. Yan Y Goodman JM Moore DD Solla SA Bensmaia SJ Unexpected complexity of everyday manual behaviors Nat. Commun. 2020 11 3564 10.1038/s41467-020-17404-0 32678102 PMC7367296 Yan, Y., Goodman, J. M., Moore, D. D., Solla, S. A. & Bensmaia, S. J. Unexpected complexity of everyday manual behaviors. Nat. Commun. 11, 3564 (2020). 32678102 10.1038/s41467-020-17404-0 PMC7367296 - 27. Sur M Merzenich MM Kaas JH Magnification, receptive-field area, and “hypercolumn” size in areas 3b and 1 of somatosensory cortex in owl monkeys J. Neurophysiol. 1980 44 295 311 10.1152/jn.1980.44.2.295 7411189 Sur, M., Merzenich, M. M. & Kaas, J. H. Magnification, receptive-field area, and “hypercolumn” size in areas 3b and 1 of somatosensory cortex in owl monkeys. J. Neurophysiol. 44, 295–311 (1980). 7411189 10.1152/jn.1980.44.2.295 - 28. Gündüz, O. H. & Toprak, C. Ş. Hand function in stroke. In: Hand function (ed, Duruöz, M.) 125–135 (Springer, Cham, 2019) - 29. Beisteiner R Finger somatotopy in human motor cortex NeuroImage 2001 13 1016 1026 10.1006/nimg.2000.0737 11352607 Beisteiner, R. et al. Finger somatotopy in human motor cortex. NeuroImage 13, 1016–1026 (2001). 11352607 10.1006/nimg.2000.0737 - 30. Hotson G Individual finger control of a modular prosthetic limb using high-density electrocorticography in a human subject J. Neural Eng. 2016 13 026017 026017 10.1088/1741-2560/13/2/026017 26863276 PMC4875758 Hotson, G. et al. Individual finger control of a modular prosthetic limb using high-density electrocorticography in a human subject. J. Neural Eng. 13, 026017–026017 (2016). 26863276 10.1088/1741-2560/13/2/026017 PMC4875758 - 31. Nason SR Real-time linear prediction of simultaneous and independent movements of two finger groups using an intracortical brain-machine interface Neuron 2021 109 3164 3177 10.1016/j.neuron.2021.08.009 34499856 PMC8549035 Nason, S. R. et al. Real-time linear prediction of simultaneous and independent movements of two finger groups using an intracortical brain-machine interface. Neuron 109, 3164–3177 (2021). 34499856 10.1016/j.neuron.2021.08.009 PMC8549035 - 32. Willsey MS Real-time brain-machine interface in non-human primates achieves high-velocity prosthetic finger movements using a shallow feedforward neural network decoder Nat. Commun. 2022 13 6899 10.1038/s41467-022-34452-w 36371498 PMC9653378 Willsey, M. S. et al. Real-time brain-machine interface in non-human primates achieves high-velocity prosthetic finger movements using a shallow feedforward neural network decoder. Nat. Commun. 13, 6899 (2022). 36371498 10.1038/s41467-022-34452-w PMC9653378 - 33. Guan C Decoding and geometry of ten finger movements in human posterior parietal cortex and motor cortex J. Neural Eng. 2023 20 036020 10.1088/1741-2552/acd3b1 PMC10209510 37160127 Guan, C. et al. Decoding and geometry of ten finger movements in human posterior parietal cortex and motor cortex. J. Neural Eng. 20, 036020 (2023). 10.1088/1741-2552/acd3b1 PMC10209510 37160127 - 34. Willsey MS A high-performance brain–computer interface for finger decoding and quadcopter game control in an individual with paralysis Nat. Med. 2025 31 96 104 10.1038/s41591-024-03341-8 39833405 PMC11750708 Willsey, M. S. et al. A high-performance brain–computer interface for finger decoding and quadcopter game control in an individual with paralysis. Nat. Med. 31, 96–104 (2025). 39833405 10.1038/s41591-024-03341-8 PMC11750708 - 35. Shah, N. P. et al. A flexible intracortical brain-computer interface for typing using finger movements. Preprint at https://www.biorxiv.org/content/10.1101/2024.04.22.590630v1 (2024). - 36. Alazrai R Alwanni H Daoud MI EEG-based BCI system for decoding finger movements within the same hand Neurosci. Lett. 2019 698 113 120 10.1016/j.neulet.2018.12.045 30630057 Alazrai, R., Alwanni, H. & Daoud, M. I. EEG-based BCI system for decoding finger movements within the same hand. Neurosci. Lett. 698, 113–120 (2019). 30630057 10.1016/j.neulet.2018.12.045 - 37. Alazrai R Abuhijleh M Alwanni H Daoud MI A deep learning framework for decoding motor imagery tasks of the same hand using EEG signals IEEE Access 2019 7 109612 109627 10.1109/ACCESS.2019.2934018 Alazrai, R., Abuhijleh, M., Alwanni, H. & Daoud, M. I. A deep learning framework for decoding motor imagery tasks of the same hand using EEG signals. IEEE Access 7, 109612–109627 (2019). - 38. Lee HS Individual finger movement decoding using a novel ultra-high-density electroencephalography-based brain-computer interface system Front. Neurosci. 2022 16 1009878 10.3389/fnins.2022.1009878 36340769 PMC9627315 Lee, H. S. et al. Individual finger movement decoding using a novel ultra-high-density electroencephalography-based brain-computer interface system. Front. Neurosci. 16, 1009878 (2022). 36340769 10.3389/fnins.2022.1009878 PMC9627315 - 39. Sun Q Merino EC Yang L Van Hulle MM Unraveling EEG correlates of unimanual finger movements: insights from non-repetitive flexion and extension tasks J. Neuroeng. Rehabil. 2024 21 228 10.1186/s12984-024-01533-4 39726001 PMC11673893 Sun, Q., Merino, E. C., Yang, L. & Van Hulle, M. M. Unraveling EEG correlates of unimanual finger movements: insights from non-repetitive flexion and extension tasks. J. Neuroeng. Rehabil. 21, 228 (2024). 39726001 10.1186/s12984-024-01533-4 PMC11673893 - 40. Alsuradi H Khattak A Fakhry A Eid M Individual-finger motor imagery classification: a data-driven approach with Shapley-informed augmentation J. Neural Eng. 2024 21 026013 10.1088/1741-2552/ad33b3 38479013 Alsuradi, H., Khattak, A., Fakhry, A. & Eid, M. Individual-finger motor imagery classification: a data-driven approach with Shapley-informed augmentation. J. Neural Eng. 21, 026013 (2024). 10.1088/1741-2552/ad33b3 38479013 - 41. van den Broek SP Reinders F Donderwinkel M Peters MJ Volume conduction effects in EEG and MEG Electroencephalogr. Clin. Neurophysiol. 1998 106 522 534 10.1016/S0013-4694(97)00147-8 9741752 van den Broek, S. P., Reinders, F., Donderwinkel, M. & Peters, M. J. Volume conduction effects in EEG and MEG. Electroencephalogr. Clin. Neurophysiol. 106, 522–534 (1998). 9741752 10.1016/s0013-4694(97)00147-8 - 42. He B Sohrabpour A Brown E Liu Z Electrophysiological source imaging: a noninvasive window to brain dynamics Annu. Rev. Biomed. Eng. 2018 20 171 196 10.1146/annurev-bioeng-062117-120853 29494213 PMC7941524 He, B., Sohrabpour, A., Brown, E. & Liu, Z. Electrophysiological source imaging: a noninvasive window to brain dynamics. Annu. Rev. Biomed. Eng. 20, 171–196 (2018). 29494213 10.1146/annurev-bioeng-062117-120853 PMC7941524 - 43. Schirrmeister RT Deep learning with convolutional neural networks for EEG decoding and visualization Hum. Brain Mapp. 2017 38 5391 5420 10.1002/hbm.23730 28782865 PMC5655781 Schirrmeister, R. T. et al. Deep learning with convolutional neural networks for EEG decoding and visualization. Hum. Brain Mapp. 38, 5391–5420 (2017). 28782865 10.1002/hbm.23730 PMC5655781 - 44. Stieger JR Engel SA Suma D He B Benefits of deep learning classification of continuous noninvasive brain-computer interface control J. Neural Eng. 2021 18 046082 10.1088/1741-2552/ac0584 PMC9305984 34038873 Stieger, J. R., Engel, S. A., Suma, D. & He, B. Benefits of deep learning classification of continuous noninvasive brain-computer interface control. J. Neural Eng. 18, 046082 (2021). 10.1088/1741-2552/ac0584 PMC9305984 34038873 - 45. Khademi Z Ebrahimi F Kordy HM A review of critical challenges in MI-BCI: from conventional to deep learning methods J. Neurosci. Methods 2023 383 109736 10.1016/j.jneumeth.2022.109736 36349568 Khademi, Z., Ebrahimi, F. & Kordy, H. M. A review of critical challenges in MI-BCI: from conventional to deep learning methods. J. Neurosci. Methods 383, 109736 (2023). 36349568 10.1016/j.jneumeth.2022.109736 - 46. Lawhern VJ EEGNet: a compact convolutional neural network for EEG-based brain-computer interfaces J. Neural Eng. 2018 15 056013 10.1088/1741-2552/aace8c 29932424 Lawhern, V. J. et al. EEGNet: a compact convolutional neural network for EEG-based brain-computer interfaces. J. Neural Eng. 15, 056013 (2018). 29932424 10.1088/1741-2552/aace8c - 47. Forenzo D Zhu H Shanahan J Lim J He B Continuous tracking using deep learning-based decoding for noninvasive brain-computer interface PNAS Nexus 2024 3 pgae145 10.1093/pnasnexus/pgae145 38689706 PMC11060102 Forenzo, D., Zhu, H., Shanahan, J., Lim, J. & He, B. Continuous tracking using deep learning-based decoding for noninvasive brain-computer interface. PNAS Nexus 3, pgae145 (2024). 38689706 10.1093/pnasnexus/pgae145 PMC11060102 - 48. Jayaram V Alamgir M Altun Y Scholkopf B Grosse-Wentrup M Transfer learning in brain-computer interfaces IEEE Computational Intell. Mag. 2016 11 20 31 10.1109/MCI.2015.2501545 Jayaram, V., Alamgir, M., Altun, Y., Scholkopf, B. & Grosse-Wentrup, M. Transfer learning in brain-computer interfaces. IEEE Computational Intell. Mag. 11, 20–31 (2016). - 49. Kuncheva, L. I. Combining pattern classifiers: methods and algorithms (John Wiley & Sons, 2014). - 50. Ang KK Chin ZY Wang C Guan C Zhang H Filter bank common spatial pattern algorithm on BCI competition IV datasets 2a and 2b Front. Neurosci. 2012 6 39 10.3389/fnins.2012.00039 22479236 PMC3314883 Ang, K. K., Chin, Z. Y., Wang, C., Guan, C. & Zhang, H. Filter bank common spatial pattern algorithm on BCI competition IV datasets 2a and 2b. Front. Neurosci. 6, 39 (2012). 22479236 10.3389/fnins.2012.00039 PMC3314883 - 51. An S Kim S Chikontwe P Park SH Dual attention relation network with fine-tuning for few-shot EEG motor imagery classification IEEE Trans. Neural Netw. Learn. Syst. 2023 11 15479 15493 10.1109/TNNLS.2023.3287181 37379192 An, S., Kim, S., Chikontwe, P. & Park, S. H. Dual attention relation network with fine-tuning for few-shot EEG motor imagery classification. IEEE Trans. Neural Netw. Learn. Syst. 11, 15479–15493 (2023). 10.1109/TNNLS.2023.3287181 37379192 - 52. Ganin Y Lempitsky V Unsupervised domain adaptation by backpropagation Proc. 32nd Int. Conf. Mach. Learn. 2015 37 1180 1189 Ganin, Y. & Lempitsky, V. Unsupervised domain adaptation by backpropagation. Proc. 32nd Int. Conf. Mach. Learn. 37, 1180–1189 (2015). - 53. Pfurtscheller G Neuper C Brunner C da Silva FL Beta rebound after different types of motor imagery in man Neurosci. Lett. 2005 378 156 159 10.1016/j.neulet.2004.12.034 15781150 Pfurtscheller, G., Neuper, C., Brunner, C. & da Silva, F. L. Beta rebound after different types of motor imagery in man. Neurosci. Lett. 378, 156–159 (2005). 15781150 10.1016/j.neulet.2004.12.034 - 54. Lotze M Halsband U Motor imagery J. Physiol. 2006 99 386 395 10.1016/j.jphysparis.2006.03.012 16716573 Lotze, M. & Halsband, U. Motor imagery. J. Physiol. 99, 386–395 (2006). 10.1016/j.jphysparis.2006.03.012 16716573 - 55. Stieger JR Mindfulness improves brain-computer interface performance by increasing control over neural activity in the alpha band Cereb. Cortex 2021 31 426 438 10.1093/cercor/bhaa234 32965471 PMC7727383 Stieger, J. R. et al. Mindfulness improves brain-computer interface performance by increasing control over neural activity in the alpha band. Cereb. Cortex 31, 426–438 (2021). 32965471 10.1093/cercor/bhaa234 PMC7727383 - 56. Turi F Clerc M Papadopoulo T Long multi-stage training for a motor-impaired user in a BCI competition Front. Hum. Neurosci. 2021 15 647908 10.3389/fnhum.2021.647908 33841120 PMC8027084 Turi, F., Clerc, M. & Papadopoulo, T. Long multi-stage training for a motor-impaired user in a BCI competition. Front. Hum. Neurosci. 15, 647908 (2021). 33841120 10.3389/fnhum.2021.647908 PMC8027084 - 57. Ball T Kern M Mutschler I Aertsen A Schulze-Bonhage A Signal quality of simultaneously recorded invasive and non-invasive EEG NeuroImage 2009 46 708 716 10.1016/j.neuroimage.2009.02.028 19264143 Ball, T., Kern, M., Mutschler, I., Aertsen, A. & Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. NeuroImage 46, 708–716 (2009). 19264143 10.1016/j.neuroimage.2009.02.028 - 58. Pfurtscheller G Lopes da Silva FH Event-related EEG/MEG synchronization and desynchronization: basic principles Clin. Neurophysiol. 1999 110 1842 1857 10.1016/S1388-2457(99)00141-8 10576479 Pfurtscheller, G. & Lopes da Silva, F. H. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842–1857 (1999). 10576479 10.1016/s1388-2457(99)00141-8 - 59. Yuan H Negative covariation between task-related responses in alpha/beta-band activity and BOLD in human sensorimotor cortex: an EEG and fMRI study of motor imagery and movements NeuroImage 2010 49 2596 2606 10.1016/j.neuroimage.2009.10.028 19850134 PMC2818527 Yuan, H. et al. Negative covariation between task-related responses in alpha/beta-band activity and BOLD in human sensorimotor cortex: an EEG and fMRI study of motor imagery and movements. NeuroImage 49, 2596–2606 (2010). 19850134 10.1016/j.neuroimage.2009.10.028 PMC2818527 - 60. Pfurtscheller G Neuper C Flotzinger D Pregenzer M EEG-based discrimination between imagination of right and left hand movement Electroencephalogr. Clin. Neurophysiol. 1997 103 642 651 10.1016/S0013-4694(97)00080-1 9546492 Pfurtscheller, G., Neuper, C., Flotzinger, D. & Pregenzer, M. EEG-based discrimination between imagination of right and left hand movement. Electroencephalogr. Clin. Neurophysiol. 103, 642–651 (1997). 9546492 10.1016/s0013-4694(97)00080-1 - 61. Lotze M Activation of cortical and cerebellar motor areas during executed and imagined hand movements: an fMRI study J. Cogn. Neurosci. 1999 11 491 501 10.1162/089892999563553 10511638 Lotze, M. et al. Activation of cortical and cerebellar motor areas during executed and imagined hand movements: an fMRI study. J. Cogn. Neurosci. 11, 491–501 (1999). 10511638 10.1162/089892999563553 - 62. Miller KJ Cortical activity during motor execution, motor imagery, and imagery-based online feedback Proc. Natl Acad. Sci. USA 2010 107 4430 4435 10.1073/pnas.0913697107 20160084 PMC2840149 Miller, K. J. et al. Cortical activity during motor execution, motor imagery, and imagery-based online feedback. Proc. Natl Acad. Sci. USA 107, 4430–4435 (2010). 20160084 10.1073/pnas.0913697107 PMC2840149 - 63. Formaggio E Modulation of event-related desynchronization in robot-assisted hand performance: brain oscillatory changes in active, passive and imagined movements J. Neuroeng. Rehabilit. 2013 10 24 10.1186/1743-0003-10-24 PMC3598512 23442349 Formaggio, E. et al. Modulation of event-related desynchronization in robot-assisted hand performance: brain oscillatory changes in active, passive and imagined movements. J. Neuroeng. Rehabilit. 10, 24 (2013). 10.1186/1743-0003-10-24 PMC3598512 23442349 - 64. Ofner P Attempted arm and hand movements can be decoded from low-frequency EEG from persons with spinal cord injury Sci. Rep. 2019 9 7134 10.1038/s41598-019-43594-9 31073142 PMC6509331 Ofner, P. et al. Attempted arm and hand movements can be decoded from low-frequency EEG from persons with spinal cord injury. Sci. Rep. 9, 7134 (2019). 31073142 10.1038/s41598-019-43594-9 PMC6509331 - 65. Ofner P Schwarz A Pereira J Müller-Putz GR Upper limb movements can be decoded from the time-domain of low-frequency EEG PloS One 2017 12 e0182578 10.1371/journal.pone.0182578 28797109 PMC5552335 Ofner, P., Schwarz, A., Pereira, J. & Müller-Putz, G. R. Upper limb movements can be decoded from the time-domain of low-frequency EEG. PloS One 12, e0182578 (2017). 28797109 10.1371/journal.pone.0182578 PMC5552335 - 66. Edelman BJ Baxter B He B EEG source imaging enhances the decoding of complex right-hand motor imagery tasks IEEE Trans. bio-Med. Eng. 2016 63 4 14 10.1109/TBME.2015.2467312 PMC4716869 26276986 Edelman, B. J., Baxter, B. & He, B. EEG source imaging enhances the decoding of complex right-hand motor imagery tasks. IEEE Trans. bio-Med. Eng. 63, 4–14 (2016). 10.1109/TBME.2015.2467312 PMC4716869 26276986 - 67. Cho JH Jeong JH Lee SW NeuroGrasp: real-time EEG classification of high-level motor imagery tasks using a dual-stage deep learning framework IEEE Trans. Cybern. 2022 52 13279 13292 10.1109/TCYB.2021.3122969 34748509 Cho, J. H., Jeong, J. H. & Lee, S. W. NeuroGrasp: real-time EEG classification of high-level motor imagery tasks using a dual-stage deep learning framework. IEEE Trans. Cybern. 52, 13279–13292 (2022). 34748509 10.1109/TCYB.2021.3122969 - 68. Iturrate I Human EEG reveals distinct neural correlates of power and precision grasping types NeuroImage 2018 181 635 644 10.1016/j.neuroimage.2018.07.055 30056196 Iturrate, I. et al. Human EEG reveals distinct neural correlates of power and precision grasping types. NeuroImage 181, 635–644 (2018). 30056196 10.1016/j.neuroimage.2018.07.055 - 69. Chen O Paas F Sweller J A cognitive load theory approach to defining and measuring task complexity through element interactivity Educ. Psychol. Rev. 2023 35 63 10.1007/s10648-023-09782-w Chen, O., Paas, F. & Sweller, J. A cognitive load theory approach to defining and measuring task complexity through element interactivity. Educ. Psychol. Rev. 35, 63 (2023). - 70. Sweller J Van Merrienboer JJ Paas FG Cognitive architecture and instructional design Educ. Psychol. Rev. 1998 10 251 296 10.1023/A:1022193728205 Sweller, J., Van Merrienboer, J. J. & Paas, F. G. Cognitive architecture and instructional design. Educ. Psychol. Rev. 10, 251–296 (1998). - 71. Kanwisher N Wojciulik E Visual attention: insights from brain imaging Nat. Rev. Neurosci. 2000 1 91 100 10.1038/35039043 11252779 Kanwisher, N. & Wojciulik, E. Visual attention: insights from brain imaging. Nat. Rev. Neurosci. 1, 91–100 (2000). 11252779 10.1038/35039043 - 72. Meng J Streitz T Gulachek N Suma D He B Three-dimensional brain-computer interface control through simultaneous overt spatial attentional and motor imagery tasks IEEE Trans. Bio Med. Eng. 2018 65 2417 2427 10.1109/TBME.2018.2872855 PMC6219871 30281428 Meng, J., Streitz, T., Gulachek, N., Suma, D. & He, B. Three-dimensional brain-computer interface control through simultaneous overt spatial attentional and motor imagery tasks. IEEE Trans. Bio Med. Eng. 65, 2417–2427 (2018). 10.1109/TBME.2018.2872855 PMC6219871 30281428 - 73. Forenzo D Integrating simultaneous motor imagery and spatial attention for EEG-BCI control IEEE Trans. Bio Med. Eng. 2024 71 282 294 10.1109/TBME.2023.3298957 PMC10803074 37494151 Forenzo, D. et al. Integrating simultaneous motor imagery and spatial attention for EEG-BCI control. IEEE Trans. Bio Med. Eng. 71, 282–294 (2024). 10.1109/TBME.2023.3298957 PMC10803074 37494151 - 74. Pulferer HS Ásgeirsdóttir B Mondini V Sburlea AI Müller-Putz GR Continuous 2D trajectory decoding from attempted movement: across-session performance in able-bodied and feasibility in a spinal cord injured participant J. Neural Eng. 2022 19 036005 10.1088/1741-2552/ac689f 35443233 Pulferer, H. S., Ásgeirsdóttir, B., Mondini, V., Sburlea, A. I. & Müller-Putz, G. R. Continuous 2D trajectory decoding from attempted movement: across-session performance in able-bodied and feasibility in a spinal cord injured participant. J. Neural Eng. 19, 036005 (2022). 10.1088/1741-2552/ac689f 35443233 - 75. Wang, Y., Gao, X., Hong, B. & Gao, S. Practical designs of brain–computer interfaces based on the modulation of EEG rhythms. In Brain-computer interfaces. The frontiers collection (eds, Graimann, B., Pfurtscheller, G., Allison, B.) 137–154 (Springer, Berlin, Heidelberg, 2010). - 76. Hestness, J. et al. Deep learning scaling is predictable, empirically. Preprint at https://arxiv.org/abs/1712.00409 (2017). - 77. Jeannerod M Mental imagery in the motor context Neuropsychologia 1995 33 1419 1432 10.1016/0028-3932(95)00073-C 8584178 Jeannerod, M. Mental imagery in the motor context. Neuropsychologia 33, 1419–1432 (1995). 8584178 10.1016/0028-3932(95)00073-c - 78. Gerardin E Partially overlapping neural networks for real and imagined hand movements Cereb. Cortex 2000 10 1093 1104 10.1093/cercor/10.11.1093 11053230 Gerardin, E. et al. Partially overlapping neural networks for real and imagined hand movements. Cereb. Cortex 10, 1093–1104 (2000). 11053230 10.1093/cercor/10.11.1093 - 79. Yerkes RM Dodson JD The relation of strength of stimulus to rapidity of habit formation J. Comp. Neurol. Psychol. 1908 18 459 482 10.1002/cne.920180503 Yerkes, R. M. & Dodson, J. D. The relation of strength of stimulus to rapidity of habit formation. J. Comp. Neurol. Psychol. 18, 459–482 (1908). - 80. Faller J Cummings J Saproo S Sajda P Regulation of arousal via online neurofeedback improves human performance in a demanding sensory-motor task Proc. Natl Acad. Sci. USA 2019 116 6482 6490 10.1073/pnas.1817207116 30862731 PMC6442591 Faller, J., Cummings, J., Saproo, S. & Sajda, P. Regulation of arousal via online neurofeedback improves human performance in a demanding sensory-motor task. Proc. Natl Acad. Sci. USA 116, 6482–6490 (2019). 30862731 10.1073/pnas.1817207116 PMC6442591 - 81. Hwang HJ Kwon K Im CH Neurofeedback-based motor imagery training for brain-computer interface (BCI) J. Neurosci. methods 2009 179 150 156 10.1016/j.jneumeth.2009.01.015 19428521 Hwang, H. J., Kwon, K. & Im, C. H. Neurofeedback-based motor imagery training for brain-computer interface (BCI). J. Neurosci. methods 179, 150–156 (2009). 19428521 10.1016/j.jneumeth.2009.01.015 - 82. Dechent P Frahm J Functional somatotopy of finger representations in human primary motor cortex Hum. Brain Mapp. 2003 18 272 283 10.1002/hbm.10084 12632465 PMC6872002 Dechent, P. & Frahm, J. Functional somatotopy of finger representations in human primary motor cortex. Hum. Brain Mapp. 18, 272–283 (2003). 12632465 10.1002/hbm.10084 PMC6872002 - 83. Khan H Khan MA Tariq U Al-Nashash H Mirtaheri P Unraveling the motor cortex for individual finger tapping movements: an fNIRS study IEEE Sens. J. 2024 21 34724 34732 10.1109/JSEN.2024.3404030 Khan, H., Khan, M. A., Tariq, U., Al-Nashash, H. & Mirtaheri, P. Unraveling the motor cortex for individual finger tapping movements: an fNIRS study. IEEE Sens. J. 21, 34724–34732 (2024). - 84. Shibasaki H Hallett M What is the bereitschaftspotential? Clin. Neurophysiol. 2006 117 2341 2356 10.1016/j.clinph.2006.04.025 16876476 Shibasaki, H. & Hallett, M. What is the bereitschaftspotential?. Clin. Neurophysiol. 117, 2341–2356 (2006). 16876476 10.1016/j.clinph.2006.04.025 - 85. Tortora S Ghidoni S Chisari C Micera S Artoni F Deep learning-based BCI for gait decoding from EEG with LSTM recurrent neural network J. Neural Eng. 2020 17 046011 10.1088/1741-2552/ab9842 32480381 Tortora, S., Ghidoni, S., Chisari, C., Micera, S. & Artoni, F. Deep learning-based BCI for gait decoding from EEG with LSTM recurrent neural network. J. Neural Eng. 17, 046011 (2020). 32480381 10.1088/1741-2552/ab9842 - 86. Lan Z Yan C Li Z Tang D Xiang X MACRO: multi-attention convolutional recurrent model for subject-independent ERP detection IEEE Signal Process. Lett. 2021 28 1505 1509 10.1109/LSP.2021.3095761 Lan, Z., Yan, C., Li, Z., Tang, D. & Xiang, X. MACRO: multi-attention convolutional recurrent model for subject-independent ERP detection. IEEE Signal Process. Lett. 28, 1505–1509 (2021). - 87. Qin L Ding L He B Motor imagery classification by means of source analysis for brain-computer interface applications J. Neural Eng. 2004 1 135 141 10.1088/1741-2560/1/3/002 15876632 PMC1945182 Qin, L., Ding, L. & He, B. Motor imagery classification by means of source analysis for brain-computer interface applications. J. Neural Eng. 1, 135–141 (2004). 15876632 10.1088/1741-2560/1/3/002 PMC1945182 - 88. Pereira J Kobler R Ofner P Schwarz A Müller-Putz GR Online detection of movement during natural and self-initiated reach-and-grasp actions from EEG signals J. Neural Eng. 2021 18 046095 10.1088/1741-2552/ac0b52 34130267 Pereira, J., Kobler, R., Ofner, P., Schwarz, A. & Müller-Putz, G. R. Online detection of movement during natural and self-initiated reach-and-grasp actions from EEG signals. J. Neural Eng. 18, 046095 (2021). 10.1088/1741-2552/ac0b52 34130267 - 89. Shen G Decoding the individual finger movements from single-trial functional magnetic resonance imaging recordings of human brain activity Eur. J. Neurosci. 2014 39 2071 2082 10.1111/ejn.12547 24661456 Shen, G. et al. Decoding the individual finger movements from single-trial functional magnetic resonance imaging recordings of human brain activity. Eur. J. Neurosci. 39, 2071–2082 (2014). 24661456 10.1111/ejn.12547 - 90. Blankertz B Neurophysiological predictor of SMR-based BCI performance NeuroImage 2010 51 1303 1309 10.1016/j.neuroimage.2010.03.022 20303409 Blankertz, B. et al. Neurophysiological predictor of SMR-based BCI performance. NeuroImage 51, 1303–1309 (2010). 20303409 10.1016/j.neuroimage.2010.03.022 - 91. Choi JW Huh S Jo S Improving performance in motor imagery BCI-based control applications via virtually embodied feedback Comput. Biol. Med. 2020 127 104079 10.1016/j.compbiomed.2020.104079 33126130 Choi, J. W., Huh, S. & Jo, S. Improving performance in motor imagery BCI-based control applications via virtually embodied feedback. Comput. Biol. Med. 127, 104079 (2020). 33126130 10.1016/j.compbiomed.2020.104079 - 92. Schalk G McFarland DJ Hinterberger T Birbaumer N Wolpaw JR BCI2000: a general-purpose brain-computer interface (BCI) system IEEE Trans. Bio Med. Eng. 2004 51 1034 1043 10.1109/TBME.2004.827072 15188875 Schalk, G., McFarland, D. J., Hinterberger, T., Birbaumer, N. & Wolpaw, J. R. BCI2000: a general-purpose brain-computer interface (BCI) system. IEEE Trans. Bio Med. Eng. 51, 1034–1043 (2004). 10.1109/TBME.2004.827072 15188875 - 93. Oostenveld R Fries P Maris E Schoffelen JM FieldTrip: Open source software for advanced analysis of MEG, EEG, and invasive electrophysiological data Computational Intell. Neurosci. 2011 2011 156869 10.1155/2011/156869 PMC3021840 21253357 Oostenveld, R., Fries, P., Maris, E. & Schoffelen, J. M. FieldTrip: Open source software for advanced analysis of MEG, EEG, and invasive electrophysiological data. Computational Intell. Neurosci. 2011, 156869 (2011). 10.1155/2011/156869 PMC3021840 21253357 - 94. Gramfort A MEG and EEG data analysis with MNE-Python Front. Neurosci. 2013 7 267 10.3389/fnins.2013.00267 24431986 PMC3872725 Gramfort, A. et al. MEG and EEG data analysis with MNE-Python. Front. Neurosci. 7, 267 (2013). 24431986 10.3389/fnins.2013.00267 PMC3872725 ## 原文 DOI 与数字核对索引 下列不变量从原始载荷自动提取，仅用于核对译文完整性，不构成额外证据摘要。 - `10.1002/cne.920180503` - `10.1002/hbm.10084` - `10.1002/hbm.23730` - `10.1006/nimg.2000.0737` - `10.1007/s10648-023-09782-w` - `10.1016/0028-3932(95)00073-C` - `10.1016/0028-3932(95)00073-c` - `10.1016/S0013-4694(97)00080-1` - `10.1016/S0013-4694(97)00147-8` - `10.1016/S0140-6736(12)61816-9` - `10.1016/S0140-6736(17)30601-3` - `10.1016/S1388-2457(02)00057-3` - `10.1016/S1388-2457(99)00141-8` - `10.1016/j.clinph.2006.04.025` - `10.1016/j.compbiomed.2020.104079` - `10.1016/j.isci.2022.105418` - `10.1016/j.jneumeth.2009.01.015` - `10.1016/j.jneumeth.2022.109736` - `10.1016/j.jphysparis.2006.03.012` - `10.1016/j.neulet.2004.12.034` - `10.1016/j.neulet.2018.12.045` - `10.1016/j.neuroimage.2009.02.028` - `10.1016/j.neuroimage.2009.10.028` - `10.1016/j.neuroimage.2010.03.022` - `10.1016/j.neuroimage.2018.07.055` - `10.1016/j.neurom.2023.10.006` - `10.1016/j.neuron.2021.08.009` - `10.1016/s0013-4694(97)00080-1` - `10.1016/s0013-4694(97)00147-8` - `10.1016/s1388-2457(02)00057-3` - `10.1016/s1388-2457(99)00141-8` - `10.1023/A:1022193728205` - `10.1038` - `10.1038/35039043` - `10.1038/nature11076` - `10.1038/nature17435` - `10.1038/s41467-020-17404-0` - `10.1038/s41467-022-34452-w` - `10.1038/s41467-024-48576-8` - `10.1038/s41467-025-61064-x` - `10.1038/s41583-021-00528-7` - `10.1038/s41586-021-03506-2` - `10.1038/s41586-023-06443-4` - `10.1038/s41591-024-03341-8` - `10.1038/s41598-019-43594-9` - `10.1038/srep38565` - `10.1073/pnas.0403504101` - `10.1073/pnas.0913697107` - `10.1073/pnas.1508080112` - `10.1073/pnas.1817207116` - `10.1088/1741-2552/aace8c` - `10.1088/1741-2552/ab9842` - `10.1088/1741-2552/ac01a0` - `10.1088/1741-2552/ac0584` - `10.1088/1741-2552/ac0b52` - `10.1088/1741-2552/ac689f` - `10.1088/1741-2552/acd3b1` - `10.1088/1741-2552/ad33b3` - `10.1088/1741-2560/1/3/002` - `10.1088/1741-2560/10/4/046003` - `10.1088/1741-2560/13/2/026017` - `10.1089/neu.2004.21.1371` - `10.1093/cercor/10.11.1093` - `10.1093/cercor/bhaa234` - `10.1093/pnasnexus/pgae145` - `10.11.1093` - `10.1101` - `10.1101/2024.04.22.590630v1` - `10.1101/2024.09.05.24313041v4` - `10.1109/ACCESS.2019.2934018` - `10.1109/JSEN.2024.3404030` - `10.1109/LSP.2021.3095761` - `10.1109/MCI.2015.2501545` - `10.1109/RBME.2024.3449790` - `10.1109/TBME.2004.827072` - `10.1109/TBME.2015.2467312` - `10.1109/TBME.2018.2872855` - `10.1109/TBME.2023.3298957` - `10.1109/TCYB.2021.3122969` - `10.1109/TNNLS.2023.3287181` - `10.1111/ejn.12547` - `10.1126/science.abd0380` - `10.1126/scirobotics.aag3296` - `10.1126/scirobotics.aaw6844` - `10.1126/scirobotics.abd7935` - `10.1146/annurev-bioeng-062117-120853` - `10.1152/jn.1980.44.2.295` - `10.1155/2011/156869` - `10.1162/089892999563553` - `10.1177/1550059414522229` - `10.1184` - `10.1184/R1/29104040` - `10.1186/1743-0003-10-24` - `10.1186/s12984-024-01533-4` - `10.13039` - `10.13039/100000065` - `10.1371/journal.pone.0182578` - `10.3389/fnhum.2021.647908` - `10.3389/fnins.2012.00039` - `10.3389/fnins.2013.00267` - `10.3389/fnins.2022.1009878` - `0` - `0.0001` - `0.0002` - `0.0003` - `0.0005` - `0.0006` - `0.0007` - `0.0009` - `0.001` - `0.0011` - `0.0012` - `0.0018` - `0.0020` - `0.0023` - `0.0024` - `0.0026` - `0.004` - `0.0054` - `0.0055` - `0.007` - `0.0074` - `0.0075` - `0.009` - `0.01` - `0.0103` - `0.0114` - `0.0122` - `0.0132` - `0.0181` - `0.019` - `0.0197` - `0.0254` - `0.0260` - `0.0271` - `0.0308` - `0.0310` - `0.0329` - `0.0395` - `0.0412` - `0.044` - `0.0449` - `0.05` - `0.052` - `0.095` - `0.1` - `0.140` - `0.164` - `0.222` - `0.253` - `0.284` - `0.286` - `0.3` - `0.311` - `0.432` - `0.5` - `0.502` - `0.776` - `0.784` - `0.887` - `000` - `0000` - `00000548` - `0001` - `0003` - `00057` - `00073` - `00080` - `0009` - `00141` - `00147` - `002` - `0028` - `00528` - `00998` - `01` - `013` - `01533` - `017` - `01817` - `0182578` - `019` - `02` - `020` - `0209510` - `021` - `021840` - `022` - `023` - `024` - `025` - `026013` - `026017` - `027084` - `03341` - `0344` - `03506` - `036005` - `036020` - `0403504101` - `046003` - `046011` - `046070` - `046082` - `046095` - `056013` - `058` - `06` - `0604756` - `062117` - `06443` - `0648` - `067` - `07` - `0803074` - `0826467` - `089892999563553` - `09` - `0913697107` - `09782` - `1` - `1.0` - `1.14e-05` - `1.14e−05` - `1.19e−05` - `1.21%` - `1.375` - `1.4` - `1.5` - `1.52%` - `1.53e−05` - `1.558` - `1.686` - `1.79e−05` - `1.9.0` - `10` - `100` - `100000065` - `1005` - `10084` - `1009878` - `101` - `1016` - `102` - `1022193728205` - `1024` - `1026` - `103` - `1034` - `1037` - `104` - `104079` - `1043` - `1046` - `105418` - `106` - `1060` - `1060102` - `107` - `1076` - `10797` - `10842573` - `109` - `1093` - `109612` - `109627` - `109736` - `11` - `110` - `1104` - `111` - `112` - `113` - `115` - `116` - `1167030` - `117` - `1180` - `1189` - `12` - `12.914` - `120` - `120853` - `120928` - `121` - `12209421` - `1235` - `124836` - `125` - `12547` - `125569` - `127` - `128` - `129` - `13` - `1303` - `1309` - `131` - `13279` - `13292` - `133` - `1331` - `135` - `137` - `1371` - `138` - `1383` - `14` - `14.406` - `14.455` - `140` - `141` - `1419` - `1432` - `144597` - `145391` - `146420` - `1467` - `147` - `147455.6` - `15` - `15.028` - `150` - `1505` - `1508080112` - `1509` - `152` - `153` - `154` - `15479` - `15493` - `1550059414522229` - `155290` - `156` - `156869` - `1583` - `1586` - `159` - `1591` - `1598` - `16` - `163299` - `165` - `167` - `1673893` - `169` - `169115` - `17` - `171` - `1712.00409` - `1723` - `1729` - `17404` - `1741` - `1743` - `1750708` - `17849` - `17854` - `179` - `17900` - `17e7` - `18` - `181` - `1817207116` - `182` - `1821` - `182578` - `183` - `1830` - `184` - `1842` - `1857` - `1861396` - `188` - `19` - `1908` - `1914` - `192` - `193177` - `196` - `1978` - `1980` - `1980.44.2.295` - `198582` - `198721` - `1995` - `1997` - `1998` - `1999` - `2` - `2.16e−28` - `2.67e-05` - `2.6e−05` - `2.78e−10` - `2.992` - `20` - `2000` - `2000.0737` - `2001` - `2002` - `2003` - `2004` - `2004.12.034` - `2004.21.1371` - `2004.827072` - `2005` - `2006` - `2006.03.012` - `2006.04.025` - `2009` - `2009.01.015` - `2009.02.028` - `2009.10.028` - `201` - `2010` - `2010.03.022` - `2011` - `2012` - `2012.00039` - `2013` - `2013.00267` - `2014` - `2015` - `2015.2467312` - `2015.2501545` - `2016` - `2017` - `2018` - `2018.07.055` - `2018.12.045` - `2018.2872855` - `2019` - `2019.2934018` - `2020` - `2020.104079` - `2021` - `2021.08.009` - `2021.1.0` - `2021.3095761` - `2021.3122969` - `2021.647908` - `2022` - `2022.1009878` - `2022.105418` - `2022.109736` - `2023` - `2023.10.006` - `2023.3287181` - `2023.3298957` - `20230118` - `2024` - `2024.04.22.59063` - `2024.09.05.2431304` - `2024.3404030` - `2024.3449790` - `20241031` - `2025` - `2048` - `2053` - `2071` - `2082` - `2097` - `209751` - `20975172` - `21` - `213947` - `2196` - `219871` - `22` - `22.443` - `2209421` - `2209421.1` - `2220` - `223` - `224860` - `228` - `23` - `23.56` - `233` - `2341` - `2356` - `23730` - `2385280` - `24` - `24.23` - `24.590` - `2414` - `2417` - `2427` - `24564` - `2457` - `247` - `249` - `25` - `25%` - `250` - `251` - `254` - `2552` - `2560` - `2596` - `26` - `260` - `2606` - `267` - `27` - `272` - `273776` - `27698` - `278` - `27849` - `28` - `282` - `283` - `28855781` - `29` - `29104040` - `294` - `2944` - `295` - `296` - `2984` - `3` - `3.0` - `3.065` - `3.10.13` - `3.17e−06` - `3.22` - `3.35e−05` - `3.43e−12` - `3.49e−33` - `3.62e−05` - `3.72` - `3.8.4` - `3.81e-06` - `3.81e−06` - `30` - `30%` - `300` - `305984` - `30601` - `307730052` - `31` - `31.380` - `310` - `31069` - `311` - `314665` - `314883` - `3164` - `31666` - `3177` - `32` - `320` - `3224716` - `33` - `3369` - `34` - `34452` - `34724` - `34732` - `35` - `35.034` - `35.606` - `35.869` - `35039043` - `35103` - `3512031232` - `3564` - `36` - `3606336` - `36367177` - `367296` - `3698` - `37` - `372` - `375` - `377219` - `378` - `38` - `380` - `381` - `383` - `38565` - `386` - `388` - `389` - `39` - `39.138` - `3932` - `395` - `39762300` - `3e1052` - `3e1239` - `3e1424` - `3e1560` - `3e1992` - `3e1998` - `3e2103` - `3e2108` - `3e2118` - `3e2123` - `3e2128` - `3e2133` - `3e2143` - `3e2148` - `3e2160` - `3e2165` - `3e2170` - `3e2175` - `3e2250` - `3e2256` - `3e2349` - `3e2354` - `3e2377` - `3e2382` - `3e2393` - `3e2398` - `3e2413` - `3e2418` - `3e2435` - `3e2440` - `3e2445` - `3e2450` - `3e2458` - `3e2463` - `3e2497` - `3e2503` - `3e2550` - `3e2555` - `3e2563` - `3e2568` - `3e540` - `3e736` - `3e83` - `3e885` - `4` - `4.0` - `4.251` - `4.45e−05` - `4.62e−08` - `4.76e−05` - `40` - `40.550` - `40507999` - `41` - `412` - `41467` - `418` - `42` - `42.17%` - `42.262` - `424` - `426` - `4273` - `427316585` - `43` - `43.61%` - `43594` - `438` - `4382` - `44` - `442591` - `4430` - `4435` - `45` - `45.58%` - `459` - `46` - `46.22%` - `46.316` - `4694` - `47` - `48` - `481` - `4816590` - `482` - `485` - `48576` - `489` - `49` - `491` - `4950` - `4987` - `4e8` - `5` - `5.72e−06` - `50` - `5007` - `501` - `5013655` - `50664` - `5068` - `50778` - `509331` - `51` - `5152` - `516547` - `52` - `522` - `53` - `533` - `534` - `5391` - `54` - `5401` - `5420` - `549035` - `55` - `5511` - `552335` - `557` - `56` - `563368` - `56336861709` - `564` - `56e5` - `57` - `576` - `58` - `584` - `59` - `5925` - `593` - `597` - `598512` - `5e593` - `6` - `60` - `60.11%` - `60.61%` - `603` - `61` - `61064` - `612043` - `61816` - `62` - `620` - `627315` - `63` - `63.1%` - `6335` - `635` - `64` - `640776` - `640850` - `641862` - `642` - `644` - `647908` - `6482` - `649` - `6490` - `65` - `651` - `653378` - `655781` - `66` - `667` - `669928644912` - `67` - `6736` - `6779` - `68` - `682` - `684` - `6899` - `69` - `698` - `7` - `7.127` - `7.55e−05` - `7.66e−13` - `7.97e−06` - `70` - `70%` - `708` - `71` - `7134` - `715714` - `716` - `716869` - `719` - `72` - `727383` - `73` - `7355` - `7397511` - `74` - `740` - `741` - `7435` - `75` - `75.65%` - `757` - `76` - `765` - `767` - `7684` - `77` - `77.58%` - `771` - `7755` - `78` - `785` - `786` - `79` - `791` - `8` - `8,2` - `8.2` - `8.74e−05` - `8.826` - `80` - `80.56%` - `800` - `801246` - `803` - `81` - `81.10%` - `814169` - `8178645797` - `8184` - `818527` - `82` - `8221` - `825` - `83` - `831` - `836` - `839680` - `84` - `840149` - `842` - `844` - `85` - `856` - `8565` - `86` - `8601` - `8602` - `87` - `872002` - `872725` - `875758` - `878` - `88` - `89` - `8e509` - `8e50921` - `8e65` - `8e91` - `9` - `9.04e−07` - `9.53e−06` - `9.77e−16` - `9.96` - `90` - `9033126` - `907127` - `90e6` - `91` - `92` - `920180503` - `9242` - `93` - `935` - `9363` - `94` - `941524` - `945182` - `95` - `95%` - `9516` - `954` - `96` - `966` - `96761` - `968387` - `969` - `97` - `97123` - `99` - `>0` - `>0000` - `>1` - `>10` - `>10.1002` - `>10.1006` - `>10.1007` - `>10.1016` - `>10.1023` - `>10.1038` - `>10.1073` - `>10.1088` - `>10.1089` - `>10.1093` - `>10.1109` - `>10.1111` - `>10.1126` - `>10.1146` - `>10.1152` - `>10.1155` - `>10.1162` - `>10.1177` - `>10.1186` - `>10.1371` - `>10.3389` - `>10511638` - `>10576479` - `>11` - `>11053230` - `>11252779` - `>11352607` - `>12` - `>12048038` - `>12209421` - `>12632465` - `>15` - `>15188875` - `>15585584` - `>15672628` - `>15781150` - `>15876632` - `>16` - `>16716573` - `>16876476` - `>17` - `>18` - `>19264143` - `>19428521` - `>19850134` - `>2` - `>20160084` - `>20303409` - `>2041` - `>21253357` - `>22` - `>22479236` - `>22596161` - `>23` - `>23253623` - `>23442349` - `>23735712` - `>24` - `>24431986` - `>24661456` - `>24756025` - `>25` - `>26` - `>26276986` - `>26483479` - `>26863276` - `>27` - `>27074513` - `>27966546` - `>28` - `>28363483` - `>2873` - `>28782865` - `>28797109` - `>29` - `>29494213` - `>29932424` - `>3` - `>30` - `>30056196` - `>30281428` - `>30630057` - `>30862731` - `>31` - `>31073142` - `>31656937` - `>32` - `>32480381` - `>32678102` - `>32965471` - `>33` - `>33126130` - `>33157855` - `>33841120` - `>33981047` - `>34` - `>34016775` - `>34036941` - `>34038873` - `>34043536` - `>34130267` - `>34499856` - `>34711956` - `>34748509` - `>35` - `>35443233` - `>36` - `>36340769` - `>36349568` - `>36371498` - `>36590466` - `>37` - `>37160127` - `>37379192` - `>37494151` - `>37612505` - `>37943244` - `>38` - `>38479013` - `>38689706` - `>38862476` - `>39` - `>39186407` - `>39726001` - `>39833405` - `>4` - `>40` - `>40588517` - `>41` - `>42` - `>43` - `>44` - `>45` - `>46` - `>47` - `>478256` - `>48` - `>49` - `>5` - `>50` - `>51` - `>52` - `>53` - `>54` - `>55` - `>56` - `>57` - `>58` - `>59` - `>6` - `>60` - `>61` - `>61064` - `>62` - `>63` - `>64` - `>65` - `>66` - `>67` - `>68` - `>69` - `>7` - `>70` - `>71` - `>72` - `>74` - `>7411189` - `>75` - `>76` - `>77` - `>78` - `>79` - `>80` - `>81` - `>82` - `>83` - `>84` - `>85` - `>8584178` - `>86` - `>87` - `>88` - `>89` - `>9` - `>90` - `>91` - `>92` - `>93` - `>94` - `>9546492` - `>9741752` - `~1.17` - `~90`