CNN+LSTM--一种运动想象分类新模型
说到运动想象(motor imagenation, MI), 我们都很熟悉,它是指个体在心理上模拟给定动作时的动态状态。如何通过运动想象的脑电信号来分类个体的心理意图,一直是研究人员关注的重点,MI信号可以用于控制外部设备,如大脑控制的机器人、大脑控制的外骨骼、自动驾驶汽车等, 因此提高MI信号的分类准确性是极其有意义的。
脑电图(EEG)的信噪比较低,因此如何从脑电图信号中提取特征并正确分类是BCI技术最重要的部分。传统上,通用空间模式(CSP)和支持向量机(SVM)用于对脑电图信号进行分类,并实现良好的分类结果。随着深度学习的发展,卷积神经网络(CNN)备受关注。到目前为止,已经为BCI 范式提出了各种具有不同架构的神经网络。
【资料图】
本文通过将CNN和LSTM组合在一起,提出了一个新的功能融合深度学习框架。其次,该算法同时提取脑电图信号的时间和空间特征,提高了精度, 第三,该网络提取了中间层特征,以防止特征丢失。
数据集
本文的数据来自BCI Competition IV,“BCI 竞赛IV”的目标是验证脑机接口 (BCI) 的信号处理和分类方法。与过去的 BCI 竞赛相比,解决了与实际 BCI 系统高度相关的新的挑战性问题,例如(数据集链接已附上):
•无试验结构的连续脑电图分类(数据集 1)。
•受眼球运动伪影影响的 EEG 信号分类(数据集 2)。
•MEG 手腕运动方向的分类(数据集 3)。
•ECoG 中需要细粒度空间分辨率的歧视(数据集 4)。
简要介绍一下这四个数据集:
数据集 1: ‹motor imagery, uncued classifier application›
由 柏林 BCI 组提供:Technische Universität Berlin(机器学习实验室)和 Fraunhofer FIRST(智能数据分析组)( Klaus-Robert Müller、 Benjamin Blankertz、Carmen Vidaurre , Guido Nolte ), and Campus Benjamin Franklin of the Charité - University Medicine Berlin, Department of the Charité, University Medicine Berlin, Department of the Neurology, Neurophysics Group (Gabriel Curio)EEG, motor imagery (2 classes of left hand, right hand, foot);评估数据是连续的脑电图,其中还包含空闲状态的时间段[64个EEG通道(0.05-200Hz),1000Hz采样率,2个类别(+空闲状态),7个科目]
数据集 2a: ‹4 级运动图像› 由 格拉茨科技大学知识发现研究所 (脑机接口实验室 ,(Clemens Brunner、Robert Leeb、Gernot Müller-Putz、 Alois Schlögl、 Gert Pfurtscheller ) 脑电图,提示运动意象(左手、右手、脚、舌头) [22 个脑电图通道(0.5-100Hz;陷波滤波器),3 个EOG 通道,250Hz 采样率,4 个类别,9 个科目]
数据集 2b: ‹motor imagery›由 格拉茨科技大学知识发现研究所 (脑机接口实验室 ,(Robert Leeb、Clemens Brunner、Gernot -Müller-Putz、 Alois Schlögl、 Gert Pfurtscheller ) 脑电图,提示运动意象(左手,右手) [3 个双极脑电图通道(0.5-100Hz;陷波滤波),3 个EOG 通道,250Hz 采样率,2 类,9 名受试者]
数据集 3:
数据集 4: 《ECoG 中的手指运动》由 西雅图华盛顿大学物理和医学系( Kai J. Miller ) 和 纽约州卫生部沃兹沃斯中心 ( Gerwin Schalk ) 提供 个人屈曲期间的 ECoG 数据五个手指;使用数据手套获取的运动。 [48 - 64 ECoG 通道(0.15-200Hz),1000Hz 采样率,5 个类别,3 个科目]
融合模型
卷积神经网络CNN已成为最受欢迎的基于深度学习的网络作品,用于在几个不同任务中学习功能。与传统的机器学习算法不同,CNN不需要手动设计功能,它从原始数据中自动学习抽象特征进行分类,从而避免丢失有用信息。与通常有两个独立步骤(包括特征学习和分类)的经典框架相比,CNN可以学习特征,并同时由多层神经网络进行分类。
LSTM通常用于处理时间序列的非线性特征。LSTM的主要特点是存在三个门:忘记门、存储单元和输出门,这极大地提高了LSTM处理时间信息的能力。
(ps: Conv1D 不代表卷积核只有一维,也不代表被卷积的特征只有一维,而是指卷积的方向是一维的;flatten可以理解为把数据扯成一条)
由上述的描述我们可知,CNN网络和LSTM网络可以分别提取空间和时间特征。因此,本文提出了一种同时提取时空特征的特征融合网络方法。有两种网络结构:并行结构和串行结构。与串行结构相比,并行结构同时处理原始数据,这可以有效地从原始数据中提取更多的形成,并提高MI脑电图信号的分类精度。本文采取了并行结构,基于脑电图的时空特征,构建了一个CNN-LSTM并行结构模型,如上图所示, CNN由一个输入层、一个一维卷积层、一个可分离的卷积层和2个扁平层组成。LSTM由输入层、LSTM层和扁平层组成。最后,这两个部分被归类为完全连接的层。除此之外,这个混合模型使用直系线性单元(ReLU)激活和批量归一化(BN)来规范CNN中的激活函数。激活函数tanh用于LSTM。为了帮助规范模型,我们在每层中使用drop out(随机丢掉一些神经元),并将drop out设置为0.5,以帮助防止在小样本量训练时过度拟合。
将实验结果与其他论文进行比较,包括EEGNet算法[1]、Schirrmeister等人提出的ConvNet算法[2]、滤波器库时空卷积网络(FBSF-TSCNN)[3]、SRLDA算法[4]、CSP-LCD算法[5]、FBCSP-CNN-LSTM算法[6],获得如上结果。可以看出,本文的算法取得了最佳效果。此外,FFCL在所有九个受试者中的准确性一直优于EEGNet。
结论
本文提出了一种基于CNN和LSTM网络融合多级空间-时间特征的脑电图分类算法。提取和融合了空间特征、时间特征和中间层特征。它克服了传统机器学习算法的缺点,即无法人工调参。结果表明,与单个特征相比,融合特征具有更强的分离性和更高的分类精度。此外,即使在嘈杂的数据集上,融合特征的准确性也高于其他算法,这表明使用融合特征的算法可以提取更多信息进行分类,并且对不同主体具有很强的适应性。总之,本研究中提出的算法可以从脑电图信号中提取具有更强分离性的时空信息,并通过集成中层特征来提高MI脑电图信号的交流,这为脑电图信号分类研究提供了新的想法。
参考文献
[1] V.J. Lawhern, A.J. Solon, N.R. Waytowich, et al., EEGNet: A Compact Convolutional Network for EEG-based Brain-Computer Interfaces, J. Neural Eng. 15 (5) (2016), 056013.1-056013.17.
[2] R.T. Schirrmeister, L. Gemein, K. Eggensperger, et al., Deep learning with convolutional neural networks for decoding and visualization of EEG pathology, Hum. Brain Mapp. 38 (11) (2017) 5391–5420. [3] Chen J, Yu Z L, Gu Z, et al. Deep Temporal-Spatial Feature Learning for Motor Imagery-Based Brain–Computer Interfaces. in: IEEE transactions on neural systems and rehabilitation engineering: a publication of the IEEE Engineering in Medicine and Biology Society, 2020, PP(11). [4] Luis F. Nicolas-Alonso, Rebeca Corralejo, Javier Gomez-Pilar, Daniel Alvarez, Roberto Hornero, Adaptive stacked generalization for multiclass motor imagery- based brain computer interfaces, IEEE Trans. Neural Syst. Rehab. Eng. A Publication IEEE Eng. Med. Biol. Society 23 (4) (2015) 702–712. [5] Qingsong Ai, Anqi Chen, Kun Chen, Quan Liu, Tichao Zhou, Sijin Xin, Ze Ji, Feature extraction of four-class motor imagery EEG signals based on functional brain network, J. Neural Eng. 16 (2) (2019), 026032.1-026032.14. [6] Ruilong Zhang, Qun Zong, Liqian Dou, Xinyi Zhao, A novel hybrid deep learning scheme for four-class motor imagery classification, J. Neural Eng. 16 (6) (2019), 066004.1-066004.11.
仅用于学术分享,若侵权请留言,即时删侵!
相关阅读
-
千元机首选!Redmi Note 11T Pro低至1519元
Redmi红米Note11TPro5G智能手机6GB+128GB当前活动价1549元,满800元减30元满减活动,到手价1519元,售价...
2023-02-20 -
焦点热门:华控清交赋能“可控可计量与流通交易”技术,促数字经济发展
2023年2月18日,由清华大学金融科技研究院主办,人民日报出版社提供出版支持,华控清交信息科技(北京)有限...
2023-02-20 -
环球热点!1999元!小米新款智能除湿机50L今天开售:一天吸满100瓶水
小米新款智能除湿机50L今日正式开售,首发价为1999元。据官方介绍,该款除湿机每天可以吸收50升的水,相...
2023-02-20 -
当前播报:天正电气拟2680万元出售资产,公司曾预计上年净利最高降近六成
2月19日,天正电气公告称,公司以协议转让方式将公司位于乐清市柳市镇后街工业区的土地使用权及厂房(含...
2023-02-20 -
摔角动态布雷特·哈特 XFL选手的待遇会比摔角手好上百倍
北京时间2018年7月12日,传奇人物布雷特·哈特(BretHart)接受了CBS的专访,谈及到了未来XFL选手待遇问题...
2023-02-20 -
当前速讯:公安机关重拳打击为境外色情网站拍摄淫秽视频团伙 查获相关淫秽视频500余部
坚持深挖彻查,对相关违法犯罪实行全环节、全链条打击。聚焦网络社交平台、论坛社区、搜索引擎、弹窗广...
2023-02-20 -
天天简讯:塔图姆55分打破全明星赛单场得分纪录毫无悬念当选AMVP
午时已到,利拉德戴上手表,3分线外,一击入魂。184-175,今年全明星赛落下帷幕。字母哥队终结詹姆斯队...
2023-02-20 -
环球快资讯:售价历史新低!AMD锐龙R5-5600G商用主机跌破2000元
IPASON攀升商睿2代商用电脑主机(R5-5600G、16GB、512GB)当前秒杀价1999元,售价历史新低,综合性价比...
2023-02-20 -
【环球聚看点】极致轻薄,创维VR一体机亮相2023元宇宙产品展览会
2月15日-19日,由昆山市人民政府主办的2023宇宙产品展览会在昆山国际会展中心举办,本次展会以“元宇宙-...
2023-02-20 -
【独家焦点】科特布斯大学(世界音乐学院排名:库恩物流大学)
科特布斯大学(世界音乐学院排名)原创ZU16622021-02-1813:24:29德国最大的大学评估门户网站——StudyCh...
2023-02-20 -
【天天播资讯】罗马轮换高达六人,穆里尼奥宁为玉碎不为瓦全,拿下维罗纳进前四
两天前的欧联杯首回合淘汰赛,0比1输给了小红牛,回到意甲赛场,罗马人困马乏,白头发老头果断做出大面...
2023-02-20 -
焦点信息:环球信息新闻:机关食堂185元天价肉引发整改 食堂采购管理制度公布
近日机关食堂185元天价肉引发整改登录上了百度热搜,受到广大网友们的关注,那么关于目前的机关食堂185...
2023-02-20
精彩推荐
阅读排行
相关词
- 沃尔沃XC90
- 最新资讯:陶瓷拍摄(如何拍好精美的瓷器)器材及附件选择
- 沈阳5个孩子下河玩耍3人溺亡 小孩玩水注意什么
- 焦点要闻:东山再起指的是谁(东山再起是哪座山)
- 【天天播资讯】有9种疫苗处于三期临床试验阶段 相关内容科普
- 跨界正夯Skoda 追加 Fabia Scout 车型
- 天天观热点:狼的感人故事 感兴趣的来看看吧
- 梁朝伟的老婆(梁朝伟生命中的两个女人!相关资料介绍)
- 黄龙溪美食(黄龙溪古镇特色美食:网红一根面)
- 当前速看:学生迟到被剃光头(学生剃光头怎么处理)
- 【全球热闻】赵本山封山之作(赵本山小品合集)你有看过他的小品吗
- 当前热议!鹿鼎记演员表(张卫健版鹿鼎记演员表)你有看过吗?
- 当前热文:预言之书(世界十大预言书)
- 全球头条:铁通网络加速器(什么是游戏加速器?)
- 党的基本知识问答(这些问题你都回答的上来吗?)
- 环球快播:教大家2020最火的微信号设计 2020有趣的微信昵称分享
- 【全球报资讯】dnf国庆套多少钱(单套金秋礼包多少钱)
- 三个苹果改变了世界!是哪三个苹果?
- 世界头条:梁洛施和李泽楷为什么分手 看完文章你就明白了
- 全球快消息!最佳搭档打一成语(淋清搭档)
- 当前热文:无锡交通事故45人被问责 具体情况如何
- 全球快资讯丨剑网情丝(剑网尘丝小说全文阅读)书荒的别错过
- 每日看点!犯罪心理学故事(犯罪心理学故事三则)感兴趣的别错过了
- 摔角动态前女郎冠军正式回归
- 全球速看:成都14岁女生坠亡案嫌疑人被批捕 事件经过了解
- 世界快资讯丨名贵中草药种植(中国名贵药材有哪些?)
- 世界快讯:中国人只用13年(中国人为什么喜欢13)
- 世界资讯:巴不得爸爸第二部 你看了吗?
- 世界球精选!女子与儿女合谋将丈夫杀害抛尸 案件详细过程梳理
- 【全球播资讯】乔布斯什么病(乔布斯怎么走的) 乔布斯逝世十周年忌日
- 世界观焦点:ipv6电视直播(北邮ipv6电视直播403)什么是IPv4地址?
- 【全球独家】国际服装品牌排行榜前十名(国际十大服装品牌:361°)
- 全球微速讯:大连理工大学研究生上吊遗书 具体怎么一回事
- cma和cnas哪个厉害(CMA和CNAS简介)
- 每日速读!柳公权是什么朝代的(柳公权练字的秘诀)
- 肖菝葜作用与图片(肖菝葜)
- 白玉兰石材产地(白玉兰概述)
- 人民日报:珍视“丁真们”的纯真 相关信息分享
- 天天信息:中国最具幸福感城市排名2021(中国幸福感城市排名2021最新排名)
- 环球观热点:67岁大爷一口气救4个年轻人 (落水了该怎么办)
- 当前头条:ustc生活好多乐(ustc毕业好多乐)
- 吴镇宇经典电影(盘点吴镇宇六大电影:《古惑仔》)
- 世界通讯!财鑫闻丨国内首家芳纶纸制造商烟台民士达过会,关联交易占比较高引北交所关注
- 当前关注:如意芳霏电视剧剧情介绍 一共多少集?
- 清朝被推翻之后,那些大臣都是什么样的结局?
- 巴西亚马逊外星人事件是怎么回事?相关资料分析
- 当前焦点!手机qq2008通用版(java软件开发)相关内容介绍
- 天天即时:詹姆斯队对阵字母哥队有很多超级巨星无缘本届全明星
- 环球热议:TVB万千星辉颁奖礼获奖名单(历年获奖名单盘点)
- wow筋斗云详细攻略(wow筋斗云坐骑攻略)
- 全球讯息:长江黄河最终流入什么海(长江有没有改过道?)
- 【焦点热闻】云南腾冲北海湿地的颜值担当紫水鸡
- 【天天速看料】全明星队长现场选人字母哥队终于赢了一次
- 微速讯:廖昌永简介(廖昌永妻子王嘉个人简历)
- 蓝色狂想曲听后感(蓝色狂想曲表达的情感)
- 平板电视什么屏幕好?(电视屏幕哪家强)
- 二野十大虎将排名 相关内容分享
- 成绵乐高铁速度(成绵乐高铁)
- 唐突是什么(唐突是什么意思)形容什么的?
- 天天观天下!呼应缤纷春色三星BESPOKE缤色铂格吸尘器让家中明媚清新
- 世界讯息:三星持续发力高端市场 线下门店将进入新增长期
- 贵州万亩樱桃花开如云似雪
- 怎么判断北回归线和南回归线(南北回归线和南北极圈指的是什么?)
- 观点:小学教具制作模型(小学自制教具)
- 为何全球仅有5座环球影城? 一起来看看吧
- 天天通讯!益虫和益鸟有哪一些(益虫益鸟有哪些)
- 环球观点:dnf窗口和全屏哪个流畅(准备工作有哪些)
- 每日热门:泰坦之旅职业搭配图(装备情况如下)
- 每日消息!怎么介绍南岳衡山(南岳是什么山)文章为你详细讲解
- 世界十大最先进的战斗机排名(全球最强战略轰炸机分享)
- 世界热门:锐龙9 7950X3D跑分曝光:专为游戏
- 当前快讯:陈式太极拳实用拳法第81式的第4个动作——加大抱缠兼膝打法
- 无惧黑客!三星Galaxy S23系列推出“零点击攻击”防护服务
- 天天动态:河北省秦皇岛市海港区长城保护员张鹤珊—— 一砖一瓦 一生守护
- 全球视讯!脾胃虚弱 为什么用这6个方法帮你调理?
- 开足马力!北斗进入规模化应用、产业化发展快车道
- “这一趟普陀山,来值了!”
- 赛事分析:玫瑰德比来袭,红魔能否笑到最后?乌迪内斯VS萨索洛
- 焦点讯息:吸烟者,4个时间段少吸一点,出现5个异常,及时戒烟,别再拖
- 詹姆斯与乔丹谁是历史第一人?122万球迷参与投票,结果一目了然
- 当前热门:藏粮于技备春耕 各地保丰收出“新招”
- 世界今亮点!400万登陆美职联!逆天改命的希腊神锋,在28岁告别欧洲
- 利拉德直言波特兰之外更爱凯尔特人,双探花联手利拉德不可想象
- 今日精选:各地重大项目工程加紧建设 为经济发展提供新动能
- 北京证券交易所正式启动股票做市交易业务 首批13家券商参与
- 每日观察!转需!内地驾照在澳门能用了
- 环球速读:昨天中超球队广州富力在大学城基地完成集队
- 环球视点!摔角动态2018《极限规则》赔率曝光 大狗罗曼赢定了?
- 全球观天下!隆阳区文化馆金鸡乡分馆开展非物质文化遗产传承人培训
- 全球热头条丨字母哥队184比175结束詹姆斯队的5连胜
- 世界讯息:塔图姆拿到55分荣获全明星赛MVP
- 如此全面的表现也令他荣膺全明星MVP
- 国乒主力遭遇冷门,2天内7人输球2人出局,樊振东成男队唯一
- 环球最资讯丨【地评线】东湖评论:以“工匠精神”筑时代之梦
- 全球速读:周一精彩赛事:沃特福德vs西布罗姆+阿贾克斯青年VS马斯特里
- 陈梦逆转取胜,孙颖莎轻松晋级,陈幸同头名出线!选拔赛形势明朗
- 这5种食物虽然难吃,但营养很高,香菜上榜,网友:第一实至名归
- 詹姆斯手指受伤退出全明星!Skip:讨厌这个消息,希望他拿到MVP
- 当前信息:【楚天评】东湖评论:信义润乡土,缔造好生活
- 当前简讯:上海申花后卫王毅将加盟武汉三镇目前已经跟队训练
- 环球今日讯!爱读书的朋友快来!就在隆阳城区涵书楼
- 全球消息!女足锦标赛展开第3轮角逐广州城安华以0比8大败江苏无锡女足
- 全球简讯:“声”力军+“飞毛腿”!我州应急广播为民服务“展身手"
- 税前300万欧元的年薪根本无法留住知名大牌球星
- 摔角动态鲍比·莱斯利直言 大狗将成为我通往挑战大布的垫脚石
- U20女足喜迎三连胜的同时高居小组榜首
- 要闻速递:2023成都市高二调研考试划线详情(附分段表)
- 世界快播:宫颈是“哑巴器官”?这3种“小病”请尽早治疗,切莫拖成癌变
- 3月14日起,吉星闪耀,贵人登门,事业登峰造极,万事如意
- 休斯顿大学大四老将持续稳定输出,他有机会成为一名次轮秀?
- 当前看点!中国斯诺克好消息!做到1点保底4强,丁俊晖登场,周跃龙PK克星!
- 又一新三板企业冲刺北交所!华路时代北交所IPO已辅导备案
- 2T 固态硬盘这价格绝了, SSD 到手仅 575 元
- 世界速看:东湖评论:广纳贤才,更要留住人才
- 【地评线】东湖评论:在自己的赛道上奔跑闻见花香
- 天天热讯:泰山队中锋补强锁定瑞典国脚!单赛季曾独造18球,未来可成新佩莱
- 天天热消息:上港新帅莱科近日在接受克罗地亚早报采访时谈到了与上港的合作
- 要闻:旋折荷花剥莲子中的悬用的极妙请你作答(旋折荷花剥莲子)
- 全球报道:我是一棵树450字(我是一棵树)
- 环球快消息!难题作文700字记叙文(难题作文)
- 摔角动态前巨星阿尔伯托加冕TNA新冠军
- 环球速看:细胞科普:如何理解干细胞的归巢性
- 环球微头条丨90后小伙以为健康体检一身老年病,读懂体检时6种常见异常
- 爱奇艺妥协了 老用户恢复高清投屏
- 没有周末!中国女排加强防守拦网训练!引入黑科技辅助队员动作!
- 全球快消息!史诗级功能!最新的Win 11 build版中有隐藏的图库功能和实验性文件浏览器
- 滚动:人力资源软件公司北森控股再次递表港交所
- 嘀嗒出行递交招股书,重启赴港IPO
- 【热闻】《阿凡达2》成全球票房第三:23亿美元 超越《泰坦尼克号》
- 新纪录|夜幕下的奔跑
- 环球观察:三星Galaxy S23 Ultra的1TB存储空间不够用:相机图像大小超过120MB!
- 每日消息!小米开启以旧换新活动 最高补贴600元
- 上海乐高乐园:目标2024年内开门迎客!这个“全球旗舰”充满中国元素
- 天天最资讯丨绝了,巴黎7人内讧终结!姆巴佩赛后发文,短短8字,令内马尔感动
- 世界速读:以“网”为媒,凝聚奋进新征程磅礴力量
- 亮相赴任,总局官宣新职务,刘国梁尝试新挑战,回应和蔡振华不和
- 强信心·开新局|安徽:重点工程建设开启“加速度”
- 当前观察:东湖评论:社会需要向阳生长的“现象级博主”
- 世界观察:【榜样】“麦田守望者”的初心和梦想 ——记凤阳县农业技术推广中心主任徐德明
- 【聚看点】摔角动态罗曼曾患白血病 为何只字不提?这下真相了
- 摔角动态再度迎来转会期 如今两位明星已正式实现转会
- 环球热点!公路工程技术交底会议纪要(公路工程技术交底)
- 看点:植物传播种子的资料
- 世界速读:开学后,如何预防诺如病毒?
- 当前热门:寄小读者读后感(寄小读者)
- 快看点丨内地与澳门驾驶证互认换领
- 三环闭合工程东三段A段计划二季度开工
- 世界快看:河北:明确垃圾发电厂2022年统计电量和2023年预计电量相关问题
- 天天快看:会有惊喜吗?小米宣布参展MWC 2023大会 两款机器人将海外亮相
- 即时焦点:“金阳蜜珠”:比西瓜甜的樱桃番茄
- 越来越年轻的非遗——首届中国非遗保护年会观察