1.本发明涉及一种基于网页命令行与子图快速匹配的远程桌面操作方法，属于计算机技术领域。
背景技术：2.目前，最接近的现有技术：
3.远程桌面连接软件在远程办公中发挥着重要的作用，能够方便用户操作异地计算机操作系统进行远程办公等操作。常见的远程桌面连接软件，如teamviewer和向日葵等软件，包含主动控制端和被控制的两台电脑均需要安装控制软件，通过网络建立连接后，被控制端的电脑操作系统屏幕图像压缩后发到中转服务器，然后发给对应的控制端电脑客户端软件，则控制端可以看到远程电脑操作系统界面。控制端电脑将键盘鼠标等操作动作封装成数据包发送给远端被控制端电脑，通过解码后还原成动作进行远程的模拟操作。
4.远程桌面连接软件方便了人们日常的远程办公，然而基于远程命令解析与被控制端操作相结合的软件及应用并不多见。
5.综上所述，现有技术存在的问题如下：
6.1)现有的远程桌面连接软件连接不在同一局域网内的两台计算机时，需要搭建专用的中转服务器。
7.2)现有的远程桌面连接软件需要同时安装部署在主动控制端和被控制的两台电脑端，在一定程度上增加了用户的操作复杂度。
8.3)现有软件一般进行图形化界面操作，没有提供较为多样的命令行操作方法。
9.解决上述算法问题的难度：
10.本发明需要提供远程命令发布和远程端电脑获取命令行的方法。
11.远程客户端需要提供解析命令行中的关键字方法。
12.远程客户端软件需要执行相应的命令和对应的界面操作。
13.解决上述算法问题的意义：
14.远程命令发布与控制远程端电脑在远程办公应用中有重要意义。通过网页发布远程命令行在一定程度上免去了一般用户搭建或租用专用服务器的负担；通过解析网页发布的命令行关键字，能够提供在远程端电脑进行多样化的操作；通过截取被控制端电脑操作系统界面，利用变长式点面法定位操作区域子图和深度学习模型匹配指定操作子图，能够提高操作的准确度，避免误操作。
技术实现要素：15.本发明目的是提供了一种基于网页命令发布及系统操作控制的方法，该方法使用可编辑网页来发布远程命令行，可以减少用户搭建中转服务器的工作负担；通过在远程端部署实时检测客户端软件来获取网页中发布的命令行，对远程端电脑进行相应的操作；通过远程客户端截取操作系统界面，匹配操作区域的颜色特征，执行对应的操作。
16.本发明为实现上述目的，通过以下技术方案实现：
17.一种基于网页命令行与子图快速匹配的远程桌面操作方法，包含如下步骤:
18.步骤一：远程命令行的发布与解析；在一个可重复编辑网页中发布包含命令行关键字的文本内容；远程客户端实时读取并能够定位包含在网页内容中的命令行语句，解析命令行语句的关键字，并根据命令关键字执行相应的操作；
19.步骤二：基于变长式点面法的桌面子图快速定位；
20.2.1)选取界内点和子图，实时检测操作系统界面，截取操作系统桌面屏幕图像；
21.2.1.1)选取待操作的软件命令按钮及操作窗口中指定区域的首个界内点颜色特征和坐标信息，设定如下几何特征关系：
22.r1:d(p1,p2)＝d(p3,p4)
23.r2:d(p1,p3)＝d(p2,p4)
24.其中，r1和r2表示两个约束关系，d表示坐标中两点之间的距离，p1，p2，p3和p4表示四个界内点坐标点信息；
25.2.1.2)根据上述约束关系依次选取其他三个界内点颜色和坐标信息，保存子图用于训练深度学习模型；
26.2.2)查找子图首个界内点，使用如下公式计算水平方向和垂直方向遍历步长改变量：
[0027][0028][0029]
其中，h
dt
表示遍历屏幕图像的横坐标改变量(步长)，v
dt
表示纵坐标遍历屏幕图像的纵坐标改变量，c
screenx
和c
screeny
表示当前屏幕的分辨率水平和垂直像素点数量，o
screenx
和o
screeny
表示提取子图的屏幕分辨率水平和垂直像素点数量；
[0030]
2.3)定位首个界内点后，向左侧和上侧分别遍历至子图左上方边界内侧，以扩大子图的候选区域；同时遍历其余三个界内点，按照如下关系进行定位纵坐标和横坐标并匹配颜色特征：
[0031]
x
p2
＝x
p1
+d(p1,p2),y
p2
＝y
p1
[0032]
x
p3
＝x
p1
,y
p3
＝y
p1
+d(p1,p3)
[0033]
x
p4
＝x
p1
+d(p1,p2),y
p4
＝y
p1
+d(p1,p3)
[0034]
式中：x
p2
为点p2的横坐标，x
p1
为点p1的横坐标，x
p3
为点p3的横坐标，x
p4
为点p4的横坐标，y
p2
为点p2的纵坐标，y
p1
为点p1的纵坐标，y
p3
为点p3的纵坐标，y
p4
为点p4的纵坐标，若几何关系和颜色特征匹配成功，则完成了变长式由点到面的候选子图区域定位过程；否则，继续遍历屏幕余下的区域；
[0035]
2.4)对定位后的候选子图采用基于样本及中心点最值化约束的全连接深度学习模型进行匹配，若匹配成功，则在被控制端桌面执行相应操作；若当前候选子图匹配失败，则更新当前屏幕截图；
[0036]
步骤三：子图或日期匹配成功则执行预定的操作和转义操作；通过检测指定的操作界面进行转义操作，安装在控制端电脑与被控制端电脑中的聊天互动软件进行交互时，
利用指定的操作界面执行其他操作动作。
[0037]
优选的，所述步骤一中所要发布的命令行语句中包含方便解析的关键字，在命令行的头部和尾部均添加命令行开始或结束的标志性字符子串。
[0038]
优选的，所述步骤一利用网页浏览器控件和多线程技术获取发布在指定网页中的命令行，包含具体的时间点，精确到分钟；
[0039]
l
date
＝len(year+month+day)
[0040]
l
time
＝len(hour+minute)
[0041]
其中，l表示时间的长度，year表示年，month表示月，day表示日，hour表示小时和minute表示分钟，在解析到命令行时客户端会根据上述时间长度计算公式来获取时刻点，并按照设定的时间来判断并执行对应的操作。
[0042]
优选的所述基于样本及中心点最值化约束的全连接深度学习的子图匹配模型具体如下：该模型包括5层全连接神经网络，每个全连接层后带修正线性单元函数，每一层的输入输出特征向量表示如下：
[0043][0044]
其中，表示当前层的输出特征，表示前一层的输出特征作为当前层的输入特征，wn表示当前层的权重，bn表示当前层的偏置，δ
relu
表示每一层后带的修正线性单元函数；同时采用如下损失函数：
[0045][0046]
其中，s表示构建损失函数的数量，ed()表示两个特征向量之间的欧氏距离，fea()表示经过深度学习提取的特征向量，i表示输入的保存区域的子图,子图中标号a和b表示不同情况下相同操作的子图区域，标号c和d标注的子图为同类子图但与a不同类型，m表示一个较小的常数；m
ab
和m
cd
表示同类样本之间的中心点。
[0047]
本发明的优点在于：本发明解决了不需要搭建专门的中转服务器的情况下发布远程命令行并实现远程控制操作系统的问题，该技术使用可编辑网页发布可远程控制的命令行，在被控制端电脑实时获取网页发布的命令行并能够执行相应的操作。
附图说明
[0048]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
[0049]
图1为本发明实施例提供的基于远程命令与子图快速匹配的远程桌面操作方法与系统流程图。
[0050]
图2为本发明实施例提供的基于样本及中心点最值化约束的全连接深度学习模型。
[0051]
图3为本发明实施例提供的被控制端聊天软件语音和视频通话请求时执行转义控制。
[0052]
图4是本发明实施例提供的被控制端接受远程控制连接状态下的远程桌面。
具体实施方式
[0053]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0054]
针对远程命令控制操作系统的问题，本发明提供了一种基于远程命令与子图快速匹配的远程桌面操作的方法，下面结合附图对本发明做详细的描述。
[0055]
图1为本发明所实施的基于远程命令与子图快速匹配的远程桌面操作方法与系统流程图。结合图1以一实施例详细说明本发明基于远程命令与子图快速匹配的远程桌面操作的方法包括：
[0056]
步骤一：远程命令行的发布与解析；
[0057]
首先在一个可重复编辑网页中发布包含命令行关键字的文本内容，后续可以选择编辑功能修改网页中的命令行文本；远程客户端能够实时读取并能够定位包含在网页内容中的命令行语句，解析命令行语句的关键字，并能够根据命令关键字执行相应的操作；
[0058]
所要发布的命令行语句中包含方便解析的关键字，在命令行的头部和尾部均添加命令行开始或结束的标志性字符子串，方便快速准确地定位到命令行。在网页中发布包含命令行关键字的文本内容，如“happynewyear2019+202202182331[end]-dnplayer+happy2021”，其中该命令行文本中的关键字“happynewyear2019”为命令行开始的标志，关键字“happy2021”为命令行结束标志，为客户端检测的方便开始标志和结束标志的书写格式一般不变；两个“+”中间的为命令行，利用网页浏览器控件和多线程技术获取发布在指定网页中的命令行，包含具体的时间点，精确到分钟；
[0059]
l
date
＝len("2022"+"02"+"18")
[0060]
l
time
＝len("23"+"31")
[0061]
其中，l
date
表示日期的长度，l
time
表示时刻点的长度，在“+”和“[”之间便可以解析出时间，在解析到命令行时客户端会根据上述时间长度计算公式来获取时刻点，并按照设定的时间来判断并执行对应的操作。
[0062]
符号“[”和“]”之间的关键字为命令关键字，如“end”表示结束指定软件，第二个
“‑”
后的字段表示指定的软件名“dnplayer”，后续可以选择编辑功能修改网页中的命令行文本；
[0063]
步骤二：基于变长式点面法的桌面子图快速定位。
[0064]
步骤2.1：选取界内点和子图的具体步骤：
[0065]
1)实时检测操作系统界面，截取操作系统桌面屏幕图像，首先人工选取待操作的软件命令按钮及操作窗口中指定区域的首个界内点颜色特征和坐标信息，按照如下几何特征关系选取坐标点：
[0066]
r1:d(p1,p2)＝d(p3,p4)
[0067]
r2:d(p1,p3)＝d(p2,p4)
[0068]
按照这个约束依次选取其他三个界内点颜色和坐标信息，保存子图用于训练深度学习模型。
[0069]
步骤2.2：基于变长式点面法的桌面子图快速定位，
[0070]
1)查找子图首个界内点，使用如下水平方向和垂直方向遍历步长改变量来查找首个界内点：
[0071][0072][0073]
其中，h
dt
表示遍历屏幕图像的横坐标改变量(步长)，v
dt
表示纵坐标遍历屏幕图像的纵坐标改变量，c
screenx
和c
screeny
表示当前屏幕的分辨率水平和垂直像素点数量，o
screenx
和o
screeny
表示提取子图的屏幕分辨率水平和垂直像素点数量，该转换公式适应不同分辨率，同时能够根据子图尺寸自适应改变步长以快速查找首个界内点，即子图的尺寸不同则遍历屏幕图像时的步长也不相同。
[0074]
2)定位首个界内点后，向左侧和上侧分别遍历至子图(左上方)边界内侧，以扩大子图的候选区域；同时遍历其余三个界内点，按照如下关系进行定位纵坐标和横坐标并匹配颜色特征：
[0075]
x
p2
＝x
p1
+d(p1,p2),y
p2
＝y
p1
[0076]
x
p3
＝x
p1
,y
p3
＝y
p1
+d(p1,p3)
[0077]
x
p4
＝x
p1
+d(p1,p2),y
p4
＝y
p1
+d(p1,p3)
[0078]
若几何关系和颜色特征匹配成功，则至此完成了变长式由点到面的子图区域定位过程。
[0079]
3)利用步骤三对候选子图进行匹配。
[0080]
基于样本及中心点最值化约束的全连接深度学习模型。
[0081]
针对子图尺寸较小的特点，该深度学习模型包括5层全连接神经网络，具体设置方式，第1层神经元个数为600，第2层神经元个数为400，第3层神经元个数为200，第4层神经元个数为100，最后一层为类别输出层，设定操作类别个数为30，采用softmax进行分类；每个全连接层后带修正线性单元函数，每一层的输入输出特征向量表示如下：
[0082][0083]
其中，表示当前层的输出特征，表示前一层的输出特征作为当前层的输入特征，wn表示当前层的权重，bn表示当前层的偏置，δ
relu
表示每一层后带的修正线性单元函数。
[0084]
同时采用如下损失函数，定义为：
[0085][0086]
其中，s表示构建损失函数的数量，ed()表示两个特征向量之间的欧氏距离，fea()表示经过深度学习提取的特征向量，i表示输入的保存区域的子图,子图中标号a和b表示不同情况下相同操作的子图区域，标号c和d标注的子图为同类子图但与a不同类型，m表示一个较小的常数，取值范围0.01到1之间，本实施例优选为0.1；m
ab
和m
cd
表示同类样本之间的中心点，通过计算同类样本的均值得到。
[0087]
步骤三：通过检测指定的操作界面进行转义操作。
[0088]
安装在控制端电脑与被控制端电脑中的聊天互动软件进行交互时，可以利用指定的操作界面执行其他操作动作，如控制端发起对被控制端的语音通话请求时，利用深度学习模型对子图匹配成功后，可以执行其他操作，如重启指定软件或者激活指定软件等动作。
[0089]
实施例：
[0090]
为了验证本发明方法的有效性，以具备远程连接桌面控制的聊天或办公软件(如qq和钉钉等)为例进行远程桌面请求的自动接受实验，结果如图4所示。首先，在本地聊天或办公软件发出远程控制请求，被控制端软件收到远程桌面请求后弹出远程请求对话框窗口；然后，被控制端实时检测客户端截取屏幕图像，并按照图4左侧子图所示坐标点颜色和几何位置关系：
[0091]
r1:d(p1,p2)＝d(p3,p4)
[0092]
r2:d(p1,p3)＝d(p2,p4)
[0093]
匹配远程控制请求窗口，匹配成功后，移动被控制端光标至“接受”按钮处，并执行光标点击事件，建立远程桌面连接；最后，在控制端可以观察到被控制端远程桌面连接状态下的桌面情况。
[0094]
通过以上实验结果可以得到如下结论：本发明基于网页远程命令发布及客户端控制的方法，适用于远程请求互动操作，表明了本发明方法在匹配指定操作界面操作时的有效性。
[0095]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
技术特征：1.一种基于网页命令行与子图快速匹配的远程桌面操作方法，其特征在于，包含如下步骤:步骤一：远程命令行的发布与解析；在一个可重复编辑网页中发布包含命令行关键字的文本内容；远程客户端实时读取并能够定位包含在网页内容中的命令行语句，解析命令行语句的关键字，并根据命令关键字执行相应的操作；步骤二：基于变长式点面法的桌面子图快速定位；2.1)选取界内点和子图，实时检测操作系统界面，截取操作系统桌面屏幕图像；2.1.1)选取待操作的软件命令按钮及操作窗口中指定区域的首个界内点颜色特征和坐标信息，设定如下几何特征关系：r1:d(p1,p2)＝d(p3,p4)r2:d(p1,p3)＝d(p2,p4)其中，r1和r2表示两个约束关系，d表示坐标中两点之间的距离，p1，p2，p3和p4表示四个界内点坐标点信息；2.1.2)根据上述约束关系依次选取其他三个界内点颜色和坐标信息，保存子图用于训练深度学习模型；2.2)查找子图首个界内点，使用如下公式计算水平方向和垂直方向遍历步长改变量：2.2)查找子图首个界内点，使用如下公式计算水平方向和垂直方向遍历步长改变量：其中，h
dt
表示遍历屏幕图像的横坐标改变量(步长)，v
dt
表示纵坐标遍历屏幕图像的纵坐标改变量，c
screenx
和c
screeny
表示当前屏幕的分辨率水平和垂直像素点数量，o
screenx
和o
screeny
表示提取子图的屏幕分辨率水平和垂直像素点数量；2.3)定位首个界内点后，向左侧和上侧分别遍历至子图左上方边界内侧，以扩大子图的候选区域；同时遍历其余三个界内点，按照如下关系进行定位纵坐标和横坐标并匹配颜色特征：x
p2
＝x
p1
+d(p1,p2),y
p2
＝y
p1
x
p3
＝x
p1
,y
p3
＝y
p1
+d(p1,p3)x
p4
＝x
p1
+d(p1,p2),y
p4
＝y
p1
+d(p1,p3)式中：x
p2
为点p2的横坐标，x
p1
为点p1的横坐标，x
p3
为点p3的横坐标，x
p4
为点p4的横坐标，y
p2
为点p2的纵坐标，y
p1
为点p1的纵坐标，y
p3
为点p3的纵坐标，y
p4
为点p4的纵坐标，若几何关系和颜色特征匹配成功，则完成了变长式由点到面的候选子图区域定位过程；否则，继续遍历屏幕余下的区域；2.4)对定位后的候选子图采用基于样本及中心点最值化约束的全连接深度学习模型进行匹配，若匹配成功在被控制端桌面执行相应操作；若匹配失败，则更新当前屏幕截图；步骤三：子图或日期匹配成功则执行预定的操作和转义操作；通过检测指定的操作界面进行转义操作，安装在控制端电脑与被控制端电脑中的聊天互动软件进行交互时，利用指定的操作界面执行其他操作动作。
2.根据权利要求1基于网页命令行与子图快速匹配的远程桌面操作方法，其特征在于，所述步骤一中所要发布的命令行语句中包含方便解析的关键字，在命令行的头部和尾部均添加命令行开始或结束的标志性字符子串。3.根据权利要求1基于网页命令行与子图快速匹配的远程桌面操作方法，其特征在于，所述步骤一利用网页浏览器控件和多线程技术获取发布在指定网页中的命令行，包含具体的时间点，精确到分钟；l
date
＝len(year+month+day)l
time
＝len(hour+minute)其中，l表示时间的长度，year表示年，month表示月，day表示日，hour表示小时和minute表示分钟，在解析到命令行时客户端会根据上述时间长度计算公式来获取时刻点，并按照设定的时间来判断并执行对应的操作。4.根据权利要求1基于网页命令行与子图快速匹配的远程桌面操作方法，其特征在于，所述基于样本及中心点最值化约束的全连接深度学习的子图匹配模型具体如下：该模型包括5层全连接神经网络，每个全连接层后带修正线性单元函数，每一层的输入输出特征向量表示如下：其中，表示当前层的输出特征，表示前一层的输出特征作为当前层的输入特征，w
n
表示当前层的权重，b
n
表示当前层的偏置，δ
relu
表示每一层后带的修正线性单元函数；同时采用如下损失函数：其中，s表示构建损失函数的数量，ed()表示两个特征向量之间的欧氏距离，fea()表示经过深度学习提取的特征向量，i表示输入的保存区域的子图,子图中标号a和b表示不同情况下相同操作的子图区域，标号c和d标注的子图为同类子图但与a不同类型，m表示一个较小的常数；m
ab
和m
cd
表示同类样本之间的中心点。
技术总结本发明属于计算机技术领域，公开了一种基于网页命令行与子图快速匹配的远程桌面操作方法。首先在网页内容中发布包含命令行关键字的语句，然后客户端读取可编辑网页内容，并解析命令行关键字，根据命令语句来执行对应的结束程序和点击鼠标操作；在远程操作系统端利用交互软件发起控制请求，提出了变长式点面法快速定位子图坐标点；提出了基于样本及中心点最值化约束的全连接深度学习的子图匹配模型；根据训练后的深度学习模型来匹配该子图归属哪一个操作类别，匹配成功则执行对应的操作或预定指令执行转义操作。本发明的优点在于提出了变长式点面法快速定位子图坐标以及基于样本及中心点最值化约束的全连接深度学习的子图匹配模型。匹配模型。匹配模型。
技术研发人员：马飞 程荣花 孟静 王升波 赵景秀 张元科 李颖 张雪婷
受保护的技术使用者：曲阜师范大学
技术研发日：2022.03.25
技术公布日：2022/7/5
