1.本发明涉及脑波信号加密技术领域，尤其涉及一种基于情感语音的脑波加解密方法和系统。
背景技术：2.近年来，以生物特征为基础的相关身份验证方案日益增加，早期多以外部生物特征为方案基础，但其被仿冒的风险较内部生物特征高，因此大多数的方案方向已从外部生物特征转向内部生物特征。脑波作为内部生物特征的一种，具有不易取得性与独特性，能有效避免仿冒问题，且其具有的连续性，可进行使用者的连续验证。特别地，不同人在朗读的时候，所呈现出的脑波也是不同的，当前并未有采用基于情感语音的脑波进行加密的方案。
3.现有专利有提出一种“基于脑机交换技术的密码锁及其加密解密方法”，专利申请号为“201410101482.x”。其主要的思路是利用脑波来解密出脑波中的密码，从而进行加解密。其最终的加解密判断的还是密码，不同的人只要知道密码也可以进行解密。这样脑波进行是获取密码的介质，不同人的脑波并没有起到区分作用，无法实现不同人的生物学特征区分。现有技术具有如下缺点：无法实现不同人的区分，只要知道密码就可以解密。
技术实现要素：4.为此，需要提供基于情感语音的脑波加解密方法和系统，解决现有技术无法实现不同人的区分、只要知道密码就可以解密的问题。
5.为实现上述目的，本发明提供了基于情感语音的脑波加解密方法，用于脑波加解密系统，脑波加解密系统包括依次连接的脑波传感器、中央处理器、显示界面以及与中央处理器连接的麦克风，本方法包括如下步骤：将脑波传感器与用户大脑连接，中央处理器在显示界面上显示一段内容；用户朗读该内容，中央处理器从脑波传感器上采集用户的脑波输入；中央处理器通过麦克风进行用户朗读的声音语音识别后，识别后的文字为显示的内容，从而确认用户在阅读该内容，而后进行脑波处理操作，否则不进行脑波处理操作；脑波处理操作包括针对阶段连续的脑波数据做采取，采取依据为各断词的出现时间区段，找出显示一段内容中符合出现频率前十名且字数两个以上的所有断词，纪录各断词导读的时间区段，并找出同时间区段里记录到的脑波数据，存储该脑波数据作为验证数据源，同时进行加密锁定操作，加密锁定操作与该验证数据源关联；进行解密时，进入身份验证阶段；中央处理器在显示界面显示另一段内容，中央处理器从脑波传感器上采集用户的脑波输入；中央处理器通过麦克风采集用户朗读的声音并进行语音识别，并对识别后的文字与显示另一段内容进行验证，当验证相符时，而后进行脑波解密处理操作，否则不进行脑波解密处理操作；脑波解密处理操作包括找出显示另一段内容中符合出现频率前十名且字数两个以上的所有断词，纪录另一段内容中各断词导读的时间区段并找出同时间区段里记录到的脑波数据；将脑波数据输入到分类验证模型中，与验证数据源进行比对，输出比对结果；如果比对结果为同一用户，则解密成功，否则解密失败，保持解密锁定状态。
6.进一步地，所述分类验证模型的构建包括如下方法：进行特征值萃取阶段步骤，特征值萃取阶段用于对数据进行处理，将采集到的脑波数据进行3-gram法以及正负三标准偏差外的离异值去除处理后，分别产出预设重复次数的交叉验证所需要的训练及测试数据；分类器建构阶段步骤，根据所述训练及测试数据，使用整体学习法bagging产生多个训练子集，使用oc-svm将各个训练子集独立训练出各自的训练模型，使用同样的各断词测试数据作测试后，将分类结果使用合并法则的多数决法，得到最终的分类验证模型结果。
7.进一步地，所述特征值萃取阶段包括如下步骤：对指定的中文文章做断词分析，再利用事先设定好的可用断词筛选条件，选出该篇文章的可用断词，将其作中文解码并储存起来；采集用户阅读所述中文文章的脑波数据，通过声音识别后与中文文章中的断词进行匹配，获取各断词对应的起始与结束时间；根据各断词对应的起始与结束时间获取对应时间的时间区段的脑波资料；进行预设重复次数的脑波资料获取过程，得到训练及测试数据。
8.进一步地，脑波传感器与中央处理器通过蓝牙连接，则所述根据各断词对应的起始与结束时间获取对应时间的时间区段的脑波资料包括步骤：根据各断词对应的起始与结束时间加上一个延迟时间后获取对应时间的时间区段的脑波资料。
9.进一步地，所述预设重复次数为5次。
10.进一步地，所述脑波数据的特征值包括专注力、放松度、压力和疲劳度。
11.同时，本发明提供一种基于情感语音的脑波加解密系统，包括存储器、处理器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例任意一项所述方法的步骤。
12.实施本发明技术方案，区别于现有技术，上述技术方案通过用户的阅读时发出情感语音的脑波信号的不同来区分不同的用户，实现基于不同用户的不同生物学特征来区分不同用户，实现用户身份验证。
附图说明
13.图1为具体实施方式所述的系统结构图；
14.图2为具体实施方式所述分类验证模型产生过程方法流程图；
15.图3为具体实施方式所述的实验文章的断词分析图；
16.图4为具体实施方式所述的导读数据处理程序流程图；
17.图5为具体实施方式所述的脑波数据处理程序流程图；
18.图6为具体实施方式所述的各断词的脑波数据处理示意图；
19.图7为具体实施方式所述的进行分类算法的脑波数据图；
20.图8为具体实施方式所述的合法验证的五倍交叉验证图；
21.图9为具体实施方式所述的非法验证的五倍交叉验证图；
22.图10为具体实施方式所述的分类器建构阶段流程图。
具体实施方式
23.为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
24.请参阅图1到图10，本实施例提供一种基于情感语音的脑波加解密方法和系统。首
先要先进行用户的预输入：系统的脑波传感器先与用户大脑连接，即用户头部带上脑波采集仪，而后系统现在显示界面上显示一段内容(唐诗、五言绝句、七言绝句和佛经等)，用户读出该内容，系统从脑波传感器上采集用户的输入。通过麦克风进行语音识别后可以确认用户的确在阅读该内容。系统在处理脑波数据时，有针对连续的脑波数据做采取，采取依据为各断词(或者分词)的出现时间区段，目的是为了更加精确的选择所要分析的脑波区段，有别于过去研究是使用全部的脑波数据。找出显示一段内容中符合出现频率前十名且字数两个以上的所有断词，纪录各断词导读的时间区段，并找出同时间区段里记录到的脑波数据。该脑波数据作为验证数据源，同时进行加密操作。
25.身份验证时，同样显示一段内容，系统从脑波传感器上采集用户的输入。找出显示一段内容中符合出现频率前十名且字数两个以上的所有断词，纪录各断词导读的时间区段，并找出同时间区段里记录到的脑波数据。输入到分类验证模型中，与验证数据源进行比对，输出比对结果。比对为同一用户，则解密成功，否则解密失败。
26.分类验证模型产生过程，如图2所示，为分类验证模型产生过程方法流程图。主要分为两阶段，分别为特征值萃取阶段以及分类器建构阶段，在特征值萃取阶段主要是做数据处理的部分，先将采集到的脑波数据进行3-gram法以及正负三标准偏差外的离异值去除处理后，分别产出五倍交叉验证所需要的训练及测试数据。在分类器建构阶段会使用整体学习法bagging，其基底分类器为oc-svm，再利用合并法则中的多数决法，得到最终的分类结果，此两阶段的详细内容会在下面介绍。
27.在特征值萃取阶段，首先要进行数据处理，如图3所示，第一步骤需先针对指定的中文文章做断词分析，再利用事先设定好的可用断词筛选条件，选出该篇文章的可用断词，将其作中文解码并储存在系统内。断词可以人工标注而后存储或者调用现有的分词接口(如百度分词api)进行分词。由于本发明并无考虑通过导读行为产生的脑波与断词间的关系，而从机器学习的角度来看，出现频率越高的断词，其可用的数据也越多，因此断词分析的条件，设为断词于文章中出现的次数，即本发明重点在于利用断词部分作为判断依据，而不是整个句子。
28.表1为分析后的前十名断词，之后根据可用断词的条件：字数要大于等于2且出现频率前十名，筛选后得到六个可用断词，分别为何处、不知、笑容、万里、千里以及今日。此六个断词会进行中文译码，并存成对应的unicode码组合，如表2所示，其中包含各个断词出现在实验文章中的次数。
29.表1、《全唐诗》最高频率二字字符串的频率统计
30.字符串频率字符串频率字符串频率字符串频率字符串频率何处166无人881青山662流水550落日498不知146风吹834少年634回首544不如497万里145惆怅780相逢629可怜539归去496千里130故人778平生597如此526日暮496今日116秋风749年年593白发520不能481不见115悠悠740寂寞592主人517别离481不可114相思733黄金589今朝516何时478春风112长安722天子588月明515此时477
白云110白日697人不587从此509洛阳476不得947如何687天地586日月508天下472明月896十年678何事579行人507芳草472人间890何人663江上553将军499归来471
31.表2、可用断词的unicode码组合
[0032][0033][0034]
当受测者执行「导读指定文章」的任务时，进入第二步骤，如图4所示，同时搜集受测者每轮的导读与脑波数据，利用第一步骤储存的可用断词的unicode码组合，比对导读数据中相对应的unicode码组合，并找出各断词对应的起始与结束时间，以便后续与脑波数据间的对比与特征数据获取，即显示导读的文章材料，获取用户阅读的语音信息与对应时间，根据语音信息转换为文字的unicode码，则获取unicode码的对应时间，从而获取到对应时间段的脑波数据。
[0035]
当受测者导读可用断词时，本发明会记录导读时的时间及unicode码，表3为受测者导读「何处」时的导读数据格式，其unicode码组合为{(4f55,8655}，与第一步骤储存的「何处」unicode码组合{4f55,8655}比对后，发现在时间16:27:4:609至16:27:5:308间，受测者导读了「何处」断词。之后记录其对应的导读起始时间(16:27:4)与结束时间(16:27:5)，由于脑波数据每笔的最小单位为秒，因此记录导读时间区段的最小单位也为秒。
[0036]
表3、导读数据格式，以「何处」为例
[0037]
时间unicode码16:27:4:604f16:27:4:725516:27:5:108616:27:5:3055
[0038]
第三步骤如图5所示，利用第二步骤纪录的各断词起始与结束时间来比对脑波数据，以取得所需的脑波资料区段，而这些脑波数据报含了8个特征值，除了有delta、theta、low alpha、high alpha、low beta、high beta、low gamma以及highgamma，还包含了benegear公司自行研发的eeg202脑波侦测仪，有专注力(attention)、放松度(meditation)、压力(pressure)以及疲劳度(fatigue)，共十二个特征值。其中，eeg202脑波侦测仪是使用单电极采集到的脑电讯号传送至eeg202芯片，该芯片会进行降噪处理，再通过自行开法算法得到eeg202，将人的当前精神状况进行数字化的度量。
[0039]
具体实施过程中，脑波仪是透过蓝牙联机与计算机软件沟通，这之间存在着延迟时间，因此本发明将纪录的结束时间点往后多取3秒的脑波数据，如图6所示「何处」纪录的时间点为16:27:4至16:27:5，其所要采取的脑波时间区段即为16:27:4至16:27:8，以确保有采取到相对应的脑波区段。
[0040]
往后取3秒目的是为了确实获取到相对应的脑波区段，但由于实验仪器的限制，无法确定主要的脑波数据时间，因此使用分类算法，将可能的脑波数据加在一起，若该笔数据有涵盖到主要的脑波数据时间，如图7所示，将可提高验证的准确度。而特征值的部分，也因为经过了分类算法，所以在进入分类器建构阶段时，脑波数据内共有36个特征值。
[0041]
在分类器建构阶段，每位受测者都会重复进行五次实验，每次实验都会经过特征值萃取阶段的数据处理步骤，各断词会分别产生编号a至e的脑波数据，依据编号能产生所需要的训练数据以及测试数据。由于验证方式采用五倍交叉验证法，如图8所示，训练数据与测试数据需针对五倍交叉验证的需求来产生，以1号受测者为例，若将其中一次数据作为测试数据，则其余四次数据则会合并为训练数据，此种情况为合法使用者身份验证。
[0042]
在非法使用者的异常身份验证时，如图9所示，会将1号受测者以外的所有受测者各自产生的a至e脑波数据，依据相同编号作资料合并，接着再根据1号受测者同编号的测试数据笔数，从合并的资料中随机取等笔数的资料作为1号受测者的非法验证测试数据。
[0043]
产生好所需的训练数据与测试数据后，开始进行整体学习法，如图10所示，首先将各断词的训练数据使用bagging产生多个训练子集，并使用oc-svm将各个训练子集独立训练出各自的训练模型，之后使用同样的各断词测试数据作测试后，将分类结果使用合并法则的多数决法，得最终的分类验证模型结果。
[0044]
实验情境与有无使用断词的比较之外，现有多种合并法则，主要分为三种多数决法、简单平均法以及加权平均法，本发明所采用的是最简单的多数决法，根据分类验证模型的输出值决定是否合法，相关标准在上述分类器建构阶段时已有详细解释。此处加入另外两种合并法则是为了比较何种合并法则效果较好，简单平均法，其最终平均值若≥50％，代表分类正确，若该值《50％，代表分类错误。
[0045]
若使用加权平均法，有提到通常权重的设定是以各分类验证模型中的正例比率为基准，但本方法在所使用的分类验证模型是单一类别，无法根据一般的设定方法决定权重，因此本发明考虑到各断词的出现次数，其数量可能会对分类结果有不同程度的影响，可当作权重值的设定依据。所以将各断词出现次数占总次数出现的比率作为各断词的权重值，可以实现更好的效果。
[0046]
本发明还提供一种基于情感语音的脑波加解密系统，包括存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。本实施例的存储介质可以是设置在电子设备中的存储介质，电子设备可以读取存储介质的内容并实现本发明的效果。存储介质还可以是单独的存储介质，将该存储介质与电子设备连接，电子设备就可以读取存储介质里的内容并实现本发明的方法步骤。
[0047]
需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。
技术特征：1.一种基于情感语音的脑波加解密方法，其特征在于，用于脑波加解密系统，脑波加解密系统包括依次连接的脑波传感器、中央处理器、显示界面以及与中央处理器连接的麦克风，本方法包括如下步骤：将脑波传感器与用户大脑连接，中央处理器在显示界面上显示一段内容；用户朗读该内容，中央处理器从脑波传感器上采集用户的脑波输入；中央处理器通过麦克风进行用户朗读的声音语音识别后，识别后的文字为显示的内容，从而确认用户在阅读该内容，而后进行脑波处理操作，否则不进行脑波处理操作；脑波处理操作包括针对阶段连续的脑波数据做采取，采取依据为各断词的出现时间区段，找出显示一段内容中符合出现频率前十名且字数两个以上的所有断词，纪录各断词导读的时间区段，并找出同时间区段里记录到的脑波数据，存储该脑波数据作为验证数据源，同时进行加密锁定操作，加密锁定操作与该验证数据源关联；进行解密时，进入身份验证阶段；中央处理器在显示界面显示另一段内容，中央处理器从脑波传感器上采集用户的脑波输入；中央处理器通过麦克风采集用户朗读的声音并进行语音识别，并对识别后的文字与显示另一段内容进行验证，当验证相符时，而后进行脑波解密处理操作，否则不进行脑波解密处理操作；脑波解密处理操作包括找出显示另一段内容中符合出现频率前十名且字数两个以上的所有断词，纪录另一段内容中各断词导读的时间区段并找出同时间区段里记录到的脑波数据；将脑波数据输入到分类验证模型中，与验证数据源进行比对，输出比对结果；如果比对结果为同一用户，则解密成功，否则解密失败，保持解密锁定状态。2.根据权利要求1所述的基于情感语音的脑波加解密方法，其特征在于：所述分类验证模型的构建包括如下方法：进行特征值萃取阶段步骤，特征值萃取阶段用于对数据进行处理，将采集到的脑波数据进行3-gram法以及正负三标准偏差外的离异值去除处理后，分别产出预设重复次数的交叉验证所需要的训练及测试数据；分类器建构阶段步骤，根据所述训练及测试数据，使用整体学习法bagging产生多个训练子集，使用oc-svm将各个训练子集独立训练出各自的训练模型，使用同样的各断词测试数据作测试后，将分类结果使用合并法则的多数决法，得到最终的分类验证模型结果。3.根据权利要求1所述的基于情感语音的脑波加解密方法，其特征在于：所述特征值萃取阶段包括如下步骤：对指定的中文文章做断词分析，再利用事先设定好的可用断词筛选条件，选出该篇文章的可用断词，将其作中文解码并储存起来；采集用户阅读所述中文文章的脑波数据，通过声音识别后与中文文章中的断词进行匹配，获取各断词对应的起始与结束时间；根据各断词对应的起始与结束时间获取对应时间的时间区段的脑波资料；进行预设重复次数的脑波资料获取过程，得到训练及测试数据。4.根据权利要求3所述的基于情感语音的脑波加解密方法，其特征在于：脑波传感器与中央处理器通过蓝牙连接，则所述根据各断词对应的起始与结束时间获取对应时间的时间区段的脑波资料包括步骤：根据各断词对应的起始与结束时间加上一个延迟时间后获取对应时间的时间区段的
脑波资料。5.根据权利要求3所述的基于情感语音的脑波加解密方法，其特征在于：所述预设重复次数为5次。6.根据权利要求1所述的基于情感语音的脑波加解密方法，其特征在于：所述脑波数据的特征值包括专注力、放松度、压力和疲劳度。7.一种基于情感语音的脑波加解密系统，其特征在于：包括存储器、处理器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1到6任意一项所述方法的步骤。
技术总结本发明公开一种基于情感语音的脑波加解密方法，包括如下步骤：将脑波传感器与用户大脑连接，中央处理器在显示界面上显示一段内容；用户朗读该内容，中央处理器从脑波传感器上采集用户的脑波输入；中央处理器通过麦克风进行用户朗读的声音语音识别后，识别后的文字为显示的内容，从而确认用户在阅读该内容，而后进行脑波处理操作，否则不进行脑波处理操作；本发明通过用户的阅读时发出情感语音的脑波信号的不同来区分不同的用户，实现基于不同用户的不同生物学特征来区分不同用户，实现用户身份验证。户身份验证。户身份验证。
技术研发人员：吴敏豪 张廷政
受保护的技术使用者：广州番禺职业技术学院
技术研发日：2022.05.09
技术公布日：2022/7/5
