本发明属于软件开发，具体涉及一种基于对业务流程理解的元素自动提取方法。
背景技术：
1、由于需求的增长，人力成本持续上升，企业越来越需要利用自动化技术，将工人从繁琐、重复和生产率较低的任务中解放出来，去从事具有决策性的工作，譬如抽象思维、建立联系，应对歧义、创新等等。业务流程自动化，可以推动业务价值增长和提高的员工敬业度。
2、新兴的劳动力，正在接受越来越先进的技术技能和自动化培训。这些人进入工作岗位后，对工作影响、满意度和效率有更高的期望值，并将软件应用视为实现期望值的驱动力。
3、而在企业内部，对自动化流程的实施过程中面临的一个最大的问题源于对元素的精确选取，由于元素的动态可变性，以及网页版本迭代后元素的各种相对位置的偏移导致自动化流程失败，我们不得不重新将元素选取分析这一复杂的过程重新进行一遍，极大的消耗了人力物力财力，所以网页元素自动提取器应运而生，帮助我们解决这一问题。
4、因此，目前急需基于chrome浏览器在web端自动化过程中的辅助工具，通过录选的方式自动将目标元素的xpath以及fullxpath提取出来并存放在工具列表中，可供后续自动化，该path路径唯一指向目标元素。
技术实现思路
1、为了克服现有技术上的问题，本发明提供一种基于对业务流程理解的元素自动提取方法，实现元素深度提取。
2、本发明提供以下技术方案：
3、一种基于对业务流程理解的元素自动提取方法，其特征在于，包括以下步骤：1)业务人员登录录制器c端程序，创建新的录制任务，录制器c端程序的服务端与位于chrome浏览器的录制器插件之间创建通信；
4、2)录制器插件实时捕获用户的所有操作互动，并记录事件的具体属性，从捕获的元素生成xpath和iframe层级信息的数据包，封装成数据包传输至录制器c端程序的服务端；
5、3)录制器c端程序的客户端根据服务队指令进行元素提取解析，将iframe路径与基本xpath动态合成为一个完整的、可直接访问的xpath，并将提取结果反馈给服务端；
6、4)进行元素验证与反馈。
7、进一步的，在步骤1)中，录制器c端程序发送websocket升级请求至录制器插件，录制器插件响应握手，确认websocket连接，并建立tcp连接双向传输，使用tls加密传输。
8、进一步的，在步骤2)中，录制器插件通过dom事件监听器实时捕获用户的操作互动事件，所述操作包括但不限于：点击、输入、滚动、拖拽、悬停、选取、右键操作；记录事件的具体属性包括时间戳、目标元素的css选择器、输入值或操作类型，捕获的事件及事件属性被封装成json格式，并附加当前页面的url和时间戳。
9、进一步的，在步骤2)中的生成数据包的步骤中，录制器插件使用dom解析技术，执行以下子步骤：
10、a)元素定位与数据捕获：录制器插件实时监视用户的交互行为，并捕获与操作相关的dom元素，插件读取这些元素的所有可用属性，包括id、类、样式以及其在dom树中的嵌套结构；
11、b)xpath与fullxpath生成：对于每个操作的目标元素，插件使用dom解析技术自动生成两种类型的xpath，简单xpath提供了从最近的具有唯一标识的父元素到目标元素的直接路径；fullxpath则提供从根元素开始的完整路径，确保无论页面上的其他内容如何变化，路径都能准确指向目标元素；
12、c)位置计算：插件计算元素在dom树中的绝对位置和相对位置；
13、d)数据封装与存储：生成的xpath及位置信息被封装成json格式的数据包，附加必要的元信息，元信息包括时间戳和页面url。
14、进一步的，在步骤2)中，还包括iframe检测步骤，具体判断和处理流程如下：
15、a)目标元素检测：当用户互动产生数据时，系统首先检查目标元素是否属于某个iframe，若目标元素不在任何iframe中，则直接按照常规流程处理；
16、b)确定iframe嵌套关系：若目标元素位于一个或多个iframe中，则进行递归分析，将从目标元素所在的iframe开始，向上追溯至顶级文档，逐层识别每个iframe；
17、c)路径解析与拼接：基础路径识别：为每个发现的iframe元素生成基础xpath；完整路径构建：将目标元素的xpath与每个上层iframe的xpath进行动态拼接；
18、d)判断及反馈：数据包封装：构建完整的iframe层级路径后，将信息封装成数据包，其中包括完整的层级xpath和相关元数据；发送到服务端：数据包发送至录制器c端程序的服务端，由服务端进行进一步的分析和存储处理；
19、e)异常处理：如果在任何步骤中遇到元素无法访问或路径错误，系统将记录错误信息，并可能提示用户重新进行操作或自动尝试修复问题。
20、进一步的，在步骤3)中，执行路径解析算法，具体处理流程如下：
21、a)路径归一化：将接收到的所有xpath进行归一化处理，确保路径的格式统一，便于后续处理；
22、b)iframe路径融合：将基础xpath与对应的iframe层级路径进行融合，若元素直接位于顶级文档内，则最终xpath即为基础xpath；若元素位于一个或多个iframe内，则从最内层iframe开始，逐层向外融合每个iframe的路径与其内部元素的基础xpath。
23、c)路径优化：利用dom结构的稳定性分析，去除过于复杂或冗余的部分，简化路径表达式；
24、d)结果输出：生成的最终xpath作为元素的唯一标识提供给服务端。
25、进一步的，在步骤3)合成为一个完整的、可直接访问的xpath后，还包括高亮二次验真的步骤，其特征在于,
26、a)若录制器c端程序的客户端检测到最终xpath有效且定位到单一目标元素，则将自动在用户界面上将该元素进行视觉高亮显示；
27、b)若高亮后的元素与用户预期一致，则用户可确认操作，系统将记录该次验证为成功，并将数据存储或传递给下一工作流程；
28、c)若高亮后的元素与用户预期不一致或定位多个元素，则提供用户界面上的反馈选项，允许用户拒绝确认，并要求重新录制或修改路径；
29、d)若验证通过，客户端将记录元素的验证状态和时间戳，作为后续流程的依据；若验证失败，客户端将记录用户的反馈和问题描述。
30、进一步的，在所述步骤4)引入深度学习驱动的智能元素，步骤如下：
31、a)训练数据准备与预处理：若需要进行智能元素识别，则在步骤1)之前，录制器c端程序的客户端收集标注的网页元素数据，网页元素数据将作为训练集；系统对这些数据进行预处理，包括规范化、去噪和特征提取；
32、b)模型训练：使用深度学习框架来构建和训练模型，该模型能够学习和识别不同类型的网页元素及其属性，若模型训练完成，则系统进行验证测试，确定模型的最优参数和结构；
33、c)集成与实施：若训练后的模型验证结果满意，则将模型集成到元素自动提取方法中，模型将实时接收来自用户界面的输入数据，包括dom元素的截图、html代码；模型将预测每个元素的类别和属性，并生成对应的xpath或标识符；
34、d)智能元素识别：若用户在浏览器中与元素交互，则系统使用已经训练好的深度学习模型实时分析元素，识别出关键属性和路径，并自动填充或建议正确的xpath；录制器c端程序的客户端将提供反馈机制；
35、e)持续学习与优化：若录制器c端程序的客户端发现新的元素类型或遇到预测错误，则自动收集这些情况的数据，并用于模型的再训练，实现模型的持续更新和优化。
36、采用上述技术方案，本发明具有如下有益效果：
37、1、本发明的元素自动提取方法操作简单，无需关注底层原理，业务人员可用。
38、2、本发明元素深度提取，可自动挖掘iframe层级，并实现动态拼接。
39、3、本发明可实现对提取的元素进行高亮标记，二次验真。
1.一种基于对业务流程理解的元素自动提取方法，其特征在于，包括以下步骤：1)业务人员登录录制器c端程序，创建新的录制任务，录制器c端程序的服务端与位于chrome浏览器的录制器插件之间创建通信；
2.根据权利要求1所述的元素自动提取方法，其特征在于，在步骤1)中，录制器c端程序发送websocket升级请求至录制器插件，录制器插件响应握手，确认websocket连接，并建立tcp连接双向传输，使用tls加密传输。
3.根据权利要求1所述的元素自动提取方法，其特征在于，在步骤2)中，录制器插件通过dom事件监听器实时捕获用户的操作互动事件，所述操作包括但不限于：点击、输入、滚动、拖拽、悬停、选取、右键操作；记录事件的具体属性包括时间戳、目标元素的css选择器、输入值或操作类型，捕获的事件及事件属性被封装成json格式，并附加当前页面的url和时间戳。
4.根据权利要求1所述的元素自动提取方法，其特征在于，在步骤2)中的生成数据包的步骤中，录制器插件使用dom解析技术，执行以下子步骤：
5.根据权利要求1所述的元素自动提取方法，其特征在于，在步骤2)中，还包括iframe检测步骤，具体判断和处理流程如下：
6.根据权利要求1所述的元素自动提取方法，其特征在于，在步骤3)中，执行路径解析算法，具体处理流程如下：
7.根据权利要求1所述的元素自动提取方法，在步骤3)合成为一个完整的、可直接访问的xpath后，还包括高亮二次验真的步骤，其特征在于,
8.根据权利要求1所述的元素自动提取方法，其特征在于，在步骤4)引入深度学习驱动的智能元素，步骤如下：
