本发明属于信息，具体涉及一种基于大语言模型与检索增强的学科试题生成方法和装置。
背景技术：
1、智能命题是自然语言处理与智能教育领域的一项重要任务，旨在利用人工智能技术，基于给定的样例试题、教材内容和知识点，自动生成考试题目。利用这一技术编制大量高质量试题是人工智能在现代教育领域的重要应用之一，这些试题可以用于在线课堂测试和自适应评估等多种教学场景。因此，采用人工智能技术进行大规模自动命题具有广阔的应用潜力。
2、其中，学科试题的编制作为一个典型应用场景，是教育评估中的关键环节，学科试题旨在评价学生对知识点的掌握程度。目前，教育类问题生成的研究主要集中于语言学习和文本理解的场景。例如，lelkes等人[1]专注于根据新闻材料生成小测试题(quiz)，xu等人[2]发布的fairytaleqa数据集着眼于儿童读物的描述性文本理解，而ushio等人[3]的qg-bench则关注多语言和多领域的段落文本理解。这些研究的目标主要是生成事实型问题，常见的方法包括使用一系列模型或对大型模型使用提示法(prompt)，以逐步确定问题的类型(如疑问词)、生成答案和问题，并对答案进行打分验证。这类方法由于过度侧重于文本内容理解，可能不完全适合学科教育类试题的生成任务。与上述工作不同，本发明采用基于大型语言模型的端到端问题生成策略，针对试题命制特性和检索增强需求，设计有效的提示(prompt)策略。
3、自gpt-4发布以来，大语言模型赋能教育教学这一话题引起了广泛的探讨。在利用大模型命制学科试题方面，long等人[4]使用gpt-3和chatgpt，基于零监督的提示法(zero-shot prompt)生成指定难度的中小学数学题。wang[5]等人利用精细设计的提示法和chatgpt生成选择题以检查英语词汇水平。elkins[6]等人使用简单的指令结合少监督prompt生成指定难度和考察认知层次的问题。与上述工作不同，本发明针对学科试题着重考察知识掌握情况的特点，基于样卷以知识点为单位展开命题。此外，针对试题命制任务，本方案精细设计了结合少样本语境学习与检索增强技术的提问方式，更有效地挖掘了大模型在试题生成方面的潜力，以满足任务需求。
4、[1]lelkes a d,tran v q,yu c.quiz-style question generation for newsstories[c]//proceedings of the web conference 2021.2021:2501-2511.
5、[2]xu y,wang d,yu m,et al.fantastic questions and where to find them:fairytaleqa–an authentic dataset for narrative comprehension[c]//proceedingsof the 60th annual meeting of the association for computational linguistics(volume 1:long papers).2022:447-460.
6、[3]ushio a,alva-manchego f,camacho-collados j.generative languagemodels for paragraph-level question generation[c]//proceedings of the2022conference on empirical methods in natural language processing.2022:670-688.
7、[4]van long p p,vu d a,hoang n m,et al.chatgpt as a math questioner？evaluating chatgpt on generating pre-university math questions[j].arxivpreprint arxiv:2312.01661,2023.
8、[5]wang q,rose r,orita n,et al.automated generation of multiple-choice cloze questions for assessing english vocabulary using gpt-turbo 3.5[c]//proceedings of the joint 3rd international conference on naturallanguage processing for digital humanities and 8th international workshop oncomputational linguistics for uralic languages.2023:52-61.
9、[6]elkins s,kochmar e,serban i,et al.how useful are educationalquestions generated by large language models？[c]//international conference onartificial intelligence in education.cham:springer nature switzerland,2023:536-542.
10、综上所述，当前针对教育领域的问题生成方案主要集中在语言学习和文本理解的场景，生成的问题通常是测试从文本中提取事实知识的能力，如针对儿童读物内容的理解或多领域描述性文本的理解。然而，这类方法往往过分聚焦于材料文本的细节理解，而忽略了对知识点本身的考察，导致不适合学科试题编制场景。
11、以现有的基于精调t5的lmqg模型生成的问题为例，如表1所示。对于同一段教材文本示例，lmqg模型过于关注教材文本中“循环变量”的概念，并错误理解了其与“可迭代对象”的关系(下划线部分)，从而生成不合理的问题。相比之下，本发明生成的问题更专注于检验特定知识点“for-else”结构的理解(加粗部分)，生成的题目更合理。
12、表1传统问题生成方法与本发明方法的结果对比
13、
14、
技术实现思路
1、针对上述不足，为改善学科试题编制过程中对知识点评估的有效性，提高学科试题生成的可用率，本发明提出了一种基于大语言模型与检索增强的学科试题生成方法和装置，借助大语言模型在预训练和指令微调阶段融入的知识，从而达到精确理解命题要求和学科知识的目的。
2、本发明采用的技术方案如下：
3、一种基于大语言模型与检索增强的学科试题生成方法，包括以下步骤：
4、从样卷中选取试题，通过基于大语言模型的格式解析器将其转换成json格式的试题，再通过规则扁平化为文本形式的试题；
5、利用扁平化后的试题检索教材中的相关文本；
6、将扁平化后的试题与题型、知识点以及检索得到的相关文本输入到基于大语言模型的问题生成器中并生成试题。
7、进一步地，将所述问题生成器生成的试题再通过所述格式解析器转化成json格式的试题；将在转化过程中出错的试题退回并让所述问题生成器重新命制试题；将转化成功的试题存入构建的试题库。
8、进一步地，所述格式解析器采用的提示语包括：样例输入exin、样例输出exout、输入的待处理文本qin以及一次处理的问题数n；对所述格式解析器的输出，使用json解析器进行处理，并检查键是否齐全、选项数量是否符合要求、答案格式是否正确；如果检查中出现问题，则使用对应的提示语并连带对话历史，要求大语言模型修正输出结果。
9、进一步地，通过所述格式解析器对问题生成结果作格式检查，如果同一个问题连续多次仍无法得到合格的解析结果，则反馈给问题生成器要求重新命题，从而实现大模型的自我反省。
10、进一步地，所述利用扁平化后的试题检索教材中的相关文本，包括：
11、进行教材文本清洗与内容分块，包括将教材中的图片及其注释去除，并去掉前言、参考文献、附录以及习题，之后按照“章-节-小节”的三级标题分割教材，再对较长的小节以段落为单位按长度分块；
12、在进行教材文本清洗与内容分块之后，进行段落嵌入与检索查询步骤。
13、进一步地，所述对较长的小节以段落为单位按长度分块，其中每块长度不超过600字符，且块与块之间重叠不超过180字符。
14、进一步地，所述问题生成器采用基于少样本学习的问题生成提问方式，或者基于少样本学习与检索增强的问题生成提问方式；所述基于少样本学习的问题生成提问方式采用的提示语包括：每个知识点的样例问题数n1，每个知识点的命制试题数n2，题型qtype，输入的样例问题qin，以及知识点keywords；所述基于少样本学习与检索增强的问题生成提问方式采用的提示语包括：每个知识点的样例问题数n1，每个知识点的命制试题数n2，题型qtype，输入的样例问题qin，知识点keywords，以及以样例问题为查询，利用教材检索的方法检索得到教材中与之相关的文本片段bookinfo；如果问题生成格式不正确，则使用对应的提示语帮助大模型反省以重新生成试题。
15、一种基于大语言模型与检索增强的学科试题生成装置，其包括：
16、基于大语言模型的格式解析器，用于将从样卷中选取的试题转换成json格式的试题，再通过规则扁平化为文本形式的试题；
17、检索模块，用于利用扁平化后的试题检索教材中的相关文本；
18、基于大语言模型的问题生成器，用于输入扁平化后的试题与题型、知识点以及检索得到的相关文本并生成试题。
19、本发明的有益效果如下：
20、本发明提出了一种基于大语言模型的学科试题生成方法，借助大语言模型在预训练和指令微调阶段融入的知识，更精确地理解命题要求和学科知识。另外，本发明采用少样本语境学习和检索增强技术设计指令提示语，从而有效挖掘大语言模型在问题生成方面的能力。基于少样本语境学习的指令提问策略通过在指令中融合命题要求和同知识点的样例试题，使大模型生成的学科试题在风格和难度等方面符合实际需求，提高生成试题的可用率；基于检索增强的学科试题编制方法在生成试题时补充相关教材内容，可以提升试题多样性，减少偏离教学大纲的题目，从而提高试题的实用性。
1.一种基于大语言模型与检索增强的学科试题生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，将所述问题生成器生成的试题再通过所述格式解析器转化成json格式的试题；将在转化过程中出错的试题退回并让所述问题生成器重新命制试题；将转化成功的试题存入构建的试题库。
3.根据权利要求1所述的方法，其特征在于，所述格式解析器采用的提示语包括：样例输入exin、样例输出exout、输入的待处理文本qin以及一次处理的问题数n；对所述格式解析器的输出，使用json解析器进行处理，并检查键是否齐全、选项数量是否符合要求、答案格式是否正确；如果检查中出现问题，则使用对应的提示语并连带对话历史，要求大语言模型修正输出结果。
4.根据权利要求3所述的方法，其特征在于，通过所述格式解析器对问题生成结果作格式检查，如果同一个问题连续多次仍无法得到合格的解析结果，则反馈给问题生成器要求重新命题，从而实现大模型的自我反省。
5.根据权利要求1所述的方法，其特征在于，所述利用扁平化后的试题检索教材中的相关文本，包括：
6.根据权利要求5所述的方法，其特征在于，所述对较长的小节以段落为单位按长度分块，其中每块长度不超过600字符，且块与块之间重叠不超过180字符。
7.根据权利要求1所述的方法，其特征在于，所述问题生成器采用基于少样本学习的问题生成提问方式，或者基于少样本学习与检索增强的问题生成提问方式；所述基于少样本学习的问题生成提问方式采用的提示语包括：每个知识点的样例问题数n1，每个知识点的命制试题数n2，题型qtype，输入的样例问题qin，以及知识点keywords；所述基于少样本学习与检索增强的问题生成提问方式采用的提示语包括：每个知识点的样例问题数n1，每个知识点的命制试题数n2，题型qtype，输入的样例问题qin，知识点keywords，以及以样例问题为查询，利用教材检索的方法检索得到教材中与之相关的文本片段bookinfo；如果问题生成格式不正确，则使用对应的提示语帮助大模型反省以重新生成试题。
8.一种基于大语言模型与检索增强的学科试题生成装置，其特征在于，包括：
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～7中任一项所述方法的指令。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1～7中任一项所述的方法。
