一种基于大语言模型的智能SQL查询生成方法及系统与流程

allin2025-07-01  24


本发明属于人工智能,具体涉及一种基于大语言模型的智能sql查询生成方法及系统。


背景技术:

1、随着信息技术的飞速发展,数据库技术的广泛应用对数据检索和分析提出了更为苛刻的要求。传统的sql查询方法依赖于用户具备一定的数据库查询语言知识,这不仅限制了数据库技术的普及和应用范围,也增加了非专业用户的使用难度。为了提升数据库的可访问性和易用性,研究者们一直在探索如何将自然语言文本自动转换为结构化的sql查询,这一过程被称为text-to-sql任务。通过这种方式,用户可以像与人类对话一样与数据库进行交互,极大地降低了技术门槛。

2、近年来,深度学习技术的兴起为自然语言处理(nlp)领域带来了革命性的进步。大型语言模型(llms)通过在海量数据集上的预训练,学习到了丰富的语言表示和潜在的语义信息,使得机器能够更深入地理解自然语言并执行复杂的语言任务。然而,现有的基于llm的text-to-sql方法在面对大规模数据库和需要多步推理的复杂用户问题时,常常表现出性能的显著下降。此外,大多数现有方法未能充分利用llms与其他工具和模型的协作潜力,限制了其应用效果。


技术实现思路

1、本发明针对现有技术下的问题,本发明涉及一种基于大语言模型的智能sql查询生成方法及系统,旨在提供一种能够通过多智能体协作和指令调优来提升sql查询生成性能的解决方案,提高数据库查询的自动化和精确度。该技术特别适用于处理大规模数据库和需要多步推理的复杂用户问题,能够显著提升在这些场景下的性能表现。

2、为了达到上述目的,本技术采用的技术方案为:一种基于大语言模型的智能sql查询生成方法,包括:通过训练器智能体收集text-to-sql相关数据,依托llama-factory框架与qlora微调技术对大语言模型进行微调,利用微调后的大语言模型将text-to-sql相关数据转换为sql语句;

3、通过任务规划器智能体将sql语句的复杂的文本问题逐步分解为更简单的子问题,并利用链式推理生成sql查询;

4、通过sql执行器智能体识别和去除sql查询中与问题无关的数据库模式,利用外部工具执行sql查询并获取反馈,根据反馈修正错误的sql查询,并将修正后的sql查询所获得的结果传输给用户。

5、进一步的,训练器智能体构建包括:训练器智能体包括数据收集与预处理模块和模型微调模块;

6、数据收集与预处理模块搜集数据库查询日志与用户交互数据,涵盖自然语言查询、sql语句及查询结果,并通过预处理技术转化为模型训练所需格式,同时从github获取大量sql语句以丰富领域知识;

7、模型微调模块选用qwen2-14b预训练模型为基石,依托llama-factory框架与qlora微调技术,对大语言模型进行有监督训练,还利用peft库对大语言模型实施非监督微调。

8、进一步的,任务规划器智能体包括:

9、需求分析与任务定义模块,利用react方法分析应用场景,捕捉用户意图,结合大语言模型与sql表结构解析,定义任务;

10、任务分解与调度模块,采用少样本思维链结合react,将复杂查询拆解为有序子任务并智能调度;

11、知识图谱构建模块,构建领域知识图谱,集成数据库信息与查询模式;

12、推理与决策优化模块,融合贝叶斯网络与强化学习,优化任务执行策略,确保高效输出精准sql语句。

13、进一步的,sql执行器智能体包括查询优化模块、sql执行及结果整合模块与反馈模块;查询优化模块通过索引优选与查询重组提升效率;sql执行模块利用连接池技术无缝对接数据库,确保执行流畅;结果整合与反馈模块汇总整理数据,预处理格式化,处理空值、聚合与表连接,并生成详尽日志与可视化报告。

14、进一步的,所述贝叶斯网络的构建遵循以下步骤:

15、确定网络中的变量集合和变量集合之间的依赖关系;

16、定义条件概率分布,即每个节点给定其父节点时的条件概率;

17、利用贝叶斯定理更新变量的后验概率,以反映新证据对决策的影响;

18、公式表示为:

19、其中,p(x|e)是给定证据e下变量x的后验概率,p(e|x)是给定x时 e 的似然度,p(x)是x的先验概率,是迭代变量,代表第个数据样本。

20、进一步的,强化学习包括:

21、定义状态空间、动作空间和奖励函数,智能体在每个状态下选择动作以获得奖励;

22、使用q-learning或sarsa算法来更新智能体的策略;q-learning更新公式为:

23、其中,q(s,a)是状态-动作对的值函数,α是学习率,r是执行动作 a后获得的即时奖励,γ是折现因子,s′是新的状态,a′是新状态下的动作。

24、进一步的,sql语句的生成遵循以下步骤:

25、确定查询目标和需要的数据字段;

26、根据任务分解和决策结果,构造where子句来筛选数据;

27、使用join、group by、order by子句来组织数据,以满足查询需求;

28、优化sql语句,使用索引提高查询效率。

29、第二方面,本发明提供了一种基于大语言模型的智能sql查询生成系统,包括:

30、训练器智能体,被配置为:收集text-to-sql相关数据,依托llama-factory框架与qlora微调技术对大语言模型进行微调,利用微调后的大语言模型将text-to-sql相关数据转换为sql语句;

31、任务规划器智能体,被配置为:将sql语句的复杂的文本问题逐步分解为更简单的子问题,并利用链式推理生成sql查询;

32、sql执行器智能体,被配置为:识别和去除sql查询中与问题无关的数据库模式,利用外部工具执行sql查询并获取反馈,根据反馈修正错误的sql查询,并将修正后的sql查询所获得的结果传输给用户。

33、第三方面,本发明提供了一种计算机可读存储介质,计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行第一方面所述的一种基于大语言模型的智能sql查询生成方法。

34、第四方面,本发明提供了一种电子设备,包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被处理器执行时,触发电子设备执行第一方面的一种基于大语言模型的智能sql查询生成方法。

35、与现有技术相比,本发明的优点和积极效果在于:

36、本发明的智能sql查询生成方法与系统通过多智能体协作,能够有效处理复杂的数据库查询任务;其次,利用链式推理和指令微调技术,提升了模型的生成准确性;最后,该方法无需依赖大量人工标注数据,降低了数据收集和维护的成本;本发明适用于需要自动化sql查询生成的多种应用场景,包括但不限于数据库管理和数据分析领域,具有广阔的市场应用前景;通过本发明能够进一步推动数据库技术的普及和应用,为用户提供更加便捷和智能的数据处理体验,同时为数据库管理和数据分析领域带来革命性的变革。


技术特征:

1.一种基于大语言模型的智能sql查询生成方法,其特征在于,包括:通过训练器智能体收集text-to-sql相关数据,依托llama-factory框架与qlora微调技术对大语言模型进行微调,利用微调后的大语言模型将text-to-sql相关数据转换为sql语句;

2.根据权利要求1所述的一种基于大语言模型的智能sql查询生成方法,其特征在于,所述训练器智能体构建包括:训练器智能体包括数据收集与预处理模块和模型微调模块;

3.根据权利要求1所述的一种基于大语言模型的智能sql查询生成方法,其特征在于,所述任务规划器智能体包括:

4.根据权利要求1所述的一种基于大语言模型的智能sql查询生成方法,其特征在于,所述sql执行器智能体包括查询优化模块、sql执行及结果整合模块与反馈模块;查询优化模块通过索引优选与查询重组提升效率;sql执行模块利用连接池技术无缝对接数据库,确保执行流畅;结果整合与反馈模块汇总整理数据,预处理格式化,处理空值、聚合与表连接,并生成详尽日志与可视化报告。

5.根据权利要求3所述的一种基于大语言模型的智能sql查询生成方法,其特征在于,所述贝叶斯网络的构建遵循以下步骤:

6.根据权利要求3所述的一种基于大语言模型的智能sql查询生成方法,其特征在于,所述强化学习包括:

7.根据权利要求3所述的一种基于大语言模型的智能sql查询生成方法,其特征在于,所述sql语句的生成遵循以下步骤:

8.一种基于大语言模型的智能sql查询生成系统,其特征在于,包括:

9.一种计算机可读存储介质,其特征在于,计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行权利要求1-7中任意一项所述的一种基于大语言模型的智能sql查询生成方法。

10.一种电子设备,其特征在于,包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被处理器执行时,触发电子设备执行权利要求1-7中任意一项所述的一种基于大语言模型的智能sql查询生成方法。


技术总结
本发明提出一种基于大语言模型的智能SQL查询生成方法及系统,属于人工智能技术领域,包括:通过训练器智能体收集Text‑to‑SQL相关数据,依托LLAMA‑Factory框架与Qlora微调技术对大语言模型进行微调,利用微调后的大语言模型将Text‑to‑SQL相关数据转换为SQL语句;通过任务规划器智能体将SQL语句的复杂的文本问题逐步分解为更简单的子问题,并利用链式推理生成SQL查询;通过SQL执行器根据反馈修正错误的SQL查询,并将修正后的SQL查询所获得的结果传输给用户;适用于需要自动化SQL查询生成的多种应用场景。

技术研发人员:黄登蓉,岳爱珍,张其来,张思嘉,张吉成,段强,姜凯
受保护的技术使用者:山东浪潮科学研究院有限公司
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-22667.html

最新回复(0)