本公开涉及计算机技术领域，具体而言，涉及一种作业数据处理方法、装置、计算机设备和存储介质。
背景技术：
随着在线教育的不断发展，线上批阅学生提交内容的需求不断涌现，比如线上批改作业和试卷等等，但是，由于学生误操作导致提交内容不合格的现象时有发生，因此，老师在批阅学生提交内容时，需要先查验提交内容是否合格，在确定合格后才会批阅。但是，利用上述人工审核的方式将浪费大量的人力，同时人工审核速度较慢，降低线上批阅的效率。
技术实现要素：
本公开实施例至少提供一种作业数据处理方法、装置、计算机设备和存储介质。
第一方面，本公开实施例提供了一种作业数据处理方法，包括：
响应针对作业数据的审批请求，提取所述作业数据的目标属性信息；所述目标属性信息包括所述作业数据在多种目标属性类型下的属性信息；所述多种目标属性类型为基于被驳回的作业样本数据进行聚类得到的；
将提取的目标属性信息和所述作业数据输入第一数据验证模型，并获取所述第一数据验证模型对所述作业数据进行处理后输出的第一驳回概率；
根据所述第一驳回概率，从多种处理方式中选择目标处理方式对所述作业数据进行处理，其中，所述多种处理方式包括：将所述作业数据提交至教师端进行审批、对所述作业数据进行进一步验证处理、驳回所述作业数据的审批请求。
一种可选的实施方式中，所述将提取的目标属性信息和所述作业数据输入第一数据验证模型，并获取所述第一数据验证模型对所述作业数据进行处理后输出的第一驳回概率，包括：
将所述目标属性信息和所述作业数据输入所述第一数据验证模型的特征提取层，通过所述特征提取层提取所述目标属性信息的第一特征向量以及所述作业数据的第二特征向量，并将所述第一特征向量与所述第二特征向量进行特征融合，得到融合特征向量；
将所述融合特征向量输入所述第一数据验证模型的预测层，得到所述预测层输出的所述第一驳回概率。
一种可选的实施方式中，所述第一数据验证模型的训练样本中第一样本的数量小于第二样本的数量；其中，第一样本为标注信息为验证通过的样本，第二样本为标注信息为被驳回的样本。
一种可选的实施方式中，所述根据所述第一驳回概率，从多种处理方式中选择目标处理方式对所述作业数据进行处理，包括：
将所述作业数据输入第二数据验证模型，并获取所述第二数据验证模型对所述作业数据进行处理后输出的第二驳回概率；所述第二数据验证模型的训练样本中所述第一样本的数量大于所述第二样本的数量；
根据所述第一驳回概率和所述第二驳回概率，确定目标驳回概率；
根据所述目标驳回概率，从多种处理方式中选择目标处理方式对所述作业数据进行处理。
一种可选的实施方式中，所述根据所述第一驳回概率和所述第二驳回概率，确定目标驳回概率，包括：
获取所述第一驳回概率对应的第一权重，以及所述第二驳回概率对应的第二权重；
根据所述第一驳回概率、所述第一权重、所述第二驳回概率和所述第二权重，确定所述目标驳回概率。
一种可选的实施方式中，所述根据所述第一驳回概率，从多种处理方式中选择目标处理方式对所述作业数据进行处理，包括：
在所述第一驳回概率小于或等于第一预设阈值的情况下，确定所述作业数据验证通过，并将验证通过的所述作业数据提交至教师端进行审批；
在所述第一驳回概率大于所述第一预设阈值，且小于第二预设阈值的情况下，对所述作业数据进行进一步验证；
在所述第一驳回概率大于或等于所述第二预设阈值的情况下，确定所述作业数据被驳回，并将验证驳回的所述作业数据提交至目标用户。
一种可选的实施方式中，所述将验证通过的所述作业数据提交至教师端进行审批，包括：
对所述作业数据增加验证标记，并将携带有验证标记的所述作业数据提交至所述教师端进行审批。
一种可选的实施方式中，在将验证通过的所述作业数据提交至教师端进行审批之后，所述方法还包括：
接收所述教师端发送的审批结果，并将所述审批结果发送至目标用户。
所述审批结果包括文字、图片、音频、视频、预设标签中的至少一种。
一种可选的实施方式中，所述接收所述教师端发送的审批结果，并将所述审批结果发送至目标用户，包括：
对所述审批结果进行校验，在确认校验通过的情况下，将所述审批结果发送至目标用户。
一种可选的实施方式中，对所述作业数据进行进一步验证，包括：
将所述作业数据提交至人工审核端；
获取所述人工审核端反馈的目标验证结果，根据所述目标验证结果的指示，将所述作业数据提交至教师端进行审批，或者驳回所述作业数据的审批请求。
一种可选的实施方式中，将所述作业数据提交至人工审核端，包括：
对所述作业数据增加审核标记，并将携带有审核标记的所述作业数据提交至人工审核端。
一种可选的实施方式中，所述方法还包括：
在获取到所述人工审核端反馈的所述作业数据的目标验证结果之后，以所述目标验证结果为标注信息，重新训练所述第一数据验证模型。
一种可选的实施方式中，在将验证驳回的所述作业数据提交至目标用户之后，所述方法还包括：
向所述目标用户反馈所述作业数据被驳回的原因信息。
一种可选的实施方式中，在将验证驳回的所述作业数据提交至目标用户之后，所述方法还包括：
向所述目标用户发送重新提交新的作业数据的提示信息。
所述提示信息的发送方式包括定时发送、周期发送、多渠道发送中的至少一种。
一种可选的实施方式中，所述作业数据包括以下至少一项：用户提交的文字数据、用户提交的语音数据、用户提交的视频数据、用户提交的图片和重新验证的数据。
第二方面，本公开实施例还提供一种作业数据处理装置，包括：
属性提取模块，用于响应针对作业数据的审批请求，提取所述作业数据的目标属性信息；所述目标属性信息包括所述作业数据在多种目标属性类型下的属性信息；所述多种目标属性类型为基于被驳回的作业样本数据进行聚类得到的；
概率获取模块，用于将提取的目标属性信息和所述作业数据输入第一数据验证模型，并获取所述第一数据验证模型对所述作业数据进行处理后输出的第一驳回概率；
数据处理模块，用于根据所述第一驳回概率，从多种处理方式中选择目标处理方式对所述作业数据进行处理，其中，所述多种处理方式包括：将所述作业数据提交至教师端进行审批、对所述作业数据进行进一步验证处理、驳回所述作业数据的审批请求。
一种可选的实施方式中，所述概率获取模块，用于将所述目标属性信息和所述作业数据输入所述第一数据验证模型的特征提取层，通过所述特征提取层提取所述目标属性信息的第一特征向量以及所述作业数据的第二特征向量，并将所述第一特征向量与所述第二特征向量进行特征融合，得到融合特征向量；将所述融合特征向量输入所述第一数据验证模型的预测层，得到所述预测层输出的所述第一驳回概率。
一种可选的实施方式中，所述第一数据验证模型的训练样本中第一样本的数量小于第二样本的数量；其中，第一样本为标注信息为验证通过的样本，第二样本为标注信息为被驳回的样本。
一种可选的实施方式中，所述数据处理模块，用于将所述作业数据输入第二数据验证模型，并获取所述第二数据验证模型对所述作业数据进行处理后输出的第二驳回概率；所述第二数据验证模型的训练样本中所述第一样本的数量大于所述第二样本的数量；并根据所述第一驳回概率和所述第二驳回概率，确定目标驳回概率；以及根据所述目标驳回概率，从多种处理方式中选择目标处理方式对所述作业数据进行处理。
一种可选的实施方式中，所述数据处理模块，用于获取所述第一驳回概率对应的第一权重，以及所述第二驳回概率对应的第二权重；根据所述第一驳回概率、所述第一权重、所述第二驳回概率和所述第二权重，确定所述目标驳回概率。
一种可选的实施方式中，所述数据处理模块，用于在所述第一驳回概率小于或等于第一预设阈值的情况下，确定所述作业数据验证通过，并将验证通过的所述作业数据提交至教师端进行审批；在所述第一驳回概率大于所述第一预设阈值，且小于第二预设阈值的情况下，对所述作业数据进行进一步验证；在所述第一驳回概率大于或等于所述第二预设阈值的情况下，确定所述作业数据被驳回，并将验证驳回的所述作业数据提交至目标用户。
一种可选的实施方式中，所述数据处理模块，用于对所述作业数据增加验证标记，并将携带有验证标记的所述作业数据提交至所述教师端进行审批。
一种可选的实施方式中，所述装置还包括第一结果反馈模块，用于在将验证通过的所述作业数据提交至教师端进行审批之后，接收所述教师端发送的审批结果，并将所述审批结果发送至目标用户。
一种可选的实施方式中，所述第一结果反馈模块，用于对所述审批结果进行校验，在确认校验通过的情况下，将所述审批结果发送至目标用户。
一种可选的实施方式中，所述数据处理模块，用于将所述作业数据提交至人工审核端；获取所述人工审核端反馈的目标验证结果，根据所述目标验证结果的指示，将所述作业数据提交至教师端进行审批，或者驳回所述作业数据的审批请求。
一种可选的实施方式中，所述数据处理模块，用于对所述作业数据增加审核标记，并将携带有审核标记的所述作业数据提交至人工审核端。
一种可选的实施方式中，所述装置还包括数据训练模块，用于在获取到所述人工审核端反馈的所述作业数据的目标验证结果之后，以所述目标验证结果为标注信息，重新训练所述第一数据验证模型。
一种可选的实施方式中，所述装置还包括第二结果反馈模块，用于在将验证驳回的所述作业数据提交至目标用户之后，向所述目标用户反馈所述作业数据被驳回的原因信息。
一种可选的实施方式中，所述第二结果反馈模块，还用于在将验证驳回的所述作业数据提交至目标用户之后，向所述目标用户发送重新提交新的作业数据的提示信息。
一种可选的实施方式中，所述作业数据包括以下至少一项：用户提交的文字数据、用户提交的语音数据、用户提交的视频数据、用户提交的图片和重新验证的数据。
第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
关于上述作业数据处理装置、计算机设备和存储介质的效果描述参见上述作业数据处理方法的说明，这里不再赘述。
本公开实施例提供的作业数据处理方法、装置、计算机设备和存储介质，通过响应针对作业数据的审批请求，提取作业数据的目标属性信息；目标属性信息包括作业数据在多种目标属性类型下的属性信息；多种目标属性类型为基于被驳回的作业样本数据进行聚类得到的；将提取的目标属性信息和作业数据输入第一数据验证模型，并获取第一数据验证模型对作业数据进行处理后输出的第一驳回概率；根据第一驳回概率，从多种处理方式中选择目标处理方式对作业数据进行处理。本公开实施例中，可以预先对在历史中确定被驳回的作业样本进行聚类，这样可以得到各个聚类样本集合符合的驳回原因类别，进而确定这些驳回原因类别所匹配的目标属性类型，将作业数据在这些目标属性类型下的属性信息与作业数据一起作为模型输入数据，来预测驳回概率。这种方式下，相当于加大了历史经验中的驳回原因类别所匹配的相关特征的重要度，提升了驳回经验指导的作用，从而可以对提交至教师处的作业数据进行更严格筛选和过滤，提高提交至教师处审核的作业数据的质量。本公开实施例能够输出较为精准的作业数据的第一驳回概率，实现了作业数据自动化验证；同时，利用第一驳回概率来确定作业数据的目标处理方式，针对作业数据不需要进行进一步验证处理的情况，能够节省该类作业数据的验证时间，提高对作业数据处理的效率；针对需要进行进一步验证处理的情况，重新验证作业数据，能够进一步提高验证的准确性。
进一步，本公开实施例提供的作业数据处理方法、装置、计算机设备和存储介质，还可以在获取到人工审核端反馈的作业数据的目标验证结果之后，以目标验证结果为标注信息，重新训练第一数据验证模型。其利用人工审核端反馈的作业数据的目标验证结果对第一数据验证模型进行训练，能够不断减少需要进行进一步验证处理的作业数据的数量，逐步提升第一数据验证模型的验证精度，直到不再出现需要进行进一步验证处理的作业数据，进一步提高了对作业数据处理的效率。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种作业数据处理方法的流程图；
图2示出了本公开实施例所提供的另一种作业数据处理方法的流程图；
图3示出了本公开实施例所提供的作业数据处理的应用示意图；
图4示出了本公开实施例所提供的一种作业数据处理装置的示意图；
图5示出了本公开实施例所提供的一种计算机设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
另外，本公开实施例中的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。
在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
经研究发现，随着在线教育的不断发展，线上批阅学生提交内容的需求不断涌现，比如线上批改作业和试卷等等，但是，由于学生误操作导致提交内容不合格的现象时有发生，因此，老师在批阅学生提交内容时，需要先查验提交内容是否合格，在确定合格后才会批阅。但是，利用上述人工审核的方式将浪费大量的人力，同时人工审核速度较慢，降低线上批阅合格内容的效率。
基于上述研究，本公开提供了一种作业数据处理方法、装置、计算机设备和存储介质，其可以预先对在历史中确定被驳回的作业样本进行聚类，这样可以得到各个聚类样本集合符合的驳回原因类别，进而确定这些驳回原因类别所匹配的目标属性类型，将作业数据在这些目标属性类型下的属性信息与作业数据一起作为模型输入数据，来预测驳回概率。这种方式下，相当于加大了历史经验中的驳回原因类别所匹配的相关特征的重要度，提升了驳回经验指导的作用，从而可以对提交至教师处的作业数据进行更严格筛选和过滤，提高提交至教师处审核的作业数据的质量。另外，本公开实施例能够输出较为精准的作业数据的第一驳回概率，实现了作业数据自动化验证；同时，利用第一驳回概率来确定作业数据的目标处理方式，针对作业数据不需要进行进一步验证处理的情况，能够节省该类作业数据的验证时间，提高对作业数据处理的效率；针对需要进行进一步验证处理的情况，重新验证作业数据，能够进一步提高验证的准确性。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种作业数据处理方法进行详细介绍，本公开实施例所提供的作业数据处理方法的执行主体一般为具有一定计算能力的计算机设备。在一些可能的实现方式中，该作业数据处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面以执行主体为计算机设备为例对本公开实施例提供的作业数据处理方法加以说明。
本公开实施例提供的作业数据处理方法适用的场景可以为，在线教育系统中处理学生提交的作业和/或试卷的场景，例如教师端利用第一数据验证模型输出作业的第一驳回概率来验证该作业是否合格，在合格的情况下，可以直接将该作业提交到教师端进行审批，如果不合格，则可以将该作业驳回给提交该作业的同学，并提示该同学重新上传作业。在一些场景中，还可以自动批改一些客观题或者参考答案比较具体的主观题，例如选择题、填空题等，只将需要教师通过广泛思维才能批改的主观题提交到教师端，以减轻教师端的批改任务量。上述过程能够实现自动化作业数据的验证，避免了教师端审批作业时出现不合格的作业而影响审批效率的情况。
参见图1所示，为本公开实施例提供的一种作业数据处理方法的流程图，所述方法包括步骤s101~s103，其中：
s101：响应针对作业数据的审批请求，提取作业数据的目标属性信息。
本步骤中，作业数据可以为客户端提交到服务器准备进行审批的数据。由于作业数据可能会出现不合格的情况，因此需要对其做初步的验证处理，以确定最终的目标处理方式。
这里，作业数据可以包括以下至少一项：用户提交的文字数据、用户提交的语音数据、用户提交的视频数据、用户提交的图片和重新验证的数据。其中，客户端可以为学生所在客户端。
示例性的，针对在线教育系统中处理学生提交的作业和/或试卷的应用场景，作业数据可以是学生提交的作业或者试卷等，这里，作业或者试卷可以包括以下任意一种形式：文字、语音、图片、视频等。
本步骤中，作业数据的目标属性信息可以包括作业数据在多种目标属性类型下的属性信息，其中，多种目标属性类型可以为基于被驳回的作业样本数据进行聚类得到的。
在具体实施方式中，可以预先对在历史中确定被驳回的作业样本进行聚类，得到各个聚类样本集合，以及每个聚类样本集合符合的驳回原因类别；进而确定这些驳回原因类别所匹配的目标属性类型，比如，驳回原因类别为清晰度低，则目标属性类型中包括清晰度这种属性类型，再比如，驳回原因类别为作业格式不规范，则目标属性类型中包括作业格式规范性这种属性类型。之后，将作业数据在这些目标属性类型下的属性信息与作业数据一起作为模型输入数据，来预测驳回概率。这种方式下，会加大历史经验中的各个驳回原因所匹配的相关属性特征在模型预测中的重要度，提升了驳回经验指导的作用，从而可以对提交至教师处的作业数据进行更严格筛选和过滤，提高提交至教师处审核的作业数据的质量。
示例性的，多种目标属性类型可以包括以下至少一项：文字的清晰度，图片的清晰度，语音的清晰度，视频的清晰度，答案与题目是否匹配，文字错误率、作业格式规范性、作业完成度、学生信息完整度、学生信息清晰度等。
示例性的，被驳回的作业样本数据可以包括文字模糊的作业样本数据，图片模糊的作业样本数据，语音嘈杂的作业样本数据，视频模糊的作业样本数据，答案与题目不相匹配的作业样本数据，作业完成度不足阈值的作业样本数据，以及作业格式不规范等。
这里，提取作业数据的目标属性信息，能够预先筛选出作业数据中满足驳回条件的特征，利用该特征能够加强作业数据中驳回特征的权重值，进而提高后续第一数据验证模型输出的第一驳回概率的准确率。
s102：将提取的目标属性信息和作业数据输入第一数据验证模型，并获取第一数据验证模型对作业数据进行处理后输出的第一驳回概率。
其中，第一驳回概率用于表征作业数据被驳回的概率。
本步骤中，第一数据验证模型可以为神经网络模型，比如，二分类神经网络模型等。这里，二分类神经网络模型可以输出两种概率，其中一种为驳回概率，另一种为通过概率；驳回概率为作业数据被驳回的概率，通过概率为作业数据验证通过的概率。其中，驳回概率 通过概率=1。为了提升精确度，在本申请中，还可以根据通过概率直接通过处理，而对驳回概率对应的作业数据进行再次处理，例如直接驳回和再次验证等，对此不做赘述。
具体实施时，将提取的目标属性信息和作业数据输入第一数据验证模型的特征提取层，通过特征提取层提取目标属性信息的第一特征向量以及作业数据的第二特征向量，并将第一特征向量与第二特征向量进行特征融合，得到融合特征向量；将融合特征向量输入第一数据验证模型的预测层，得到预测层输出的第一驳回概率。
示例性的，第一特征向量用于表征作业数据中满足驳回条件的特征向量，这里，驳回条件包括上述实施例中被驳回的作业样本数据所满足的条件。第二特征向量用于表征作业数据中满足预先设置的特征提取条件的特征向量。其中，特征提取条件可以为提取作业数据中的全部特征。之后，将第一特征向量和第二特征向量融合得到融合特征向量，这里，融合特征向量表征了作业数据的综合评估特征，利用融合特征向量输出的第一驳回概率弥补了基于单一特征向量，即第一特征向量或第二特征向量，输出的第一驳回概率的误差，提高了第一数据验证模型基于该融合特征向量输出的第一驳回概率的准确性。同时，由于融合了目标属性信息对应的第一特征向量，加强了作业数据中驳回特征的权重值，因此，还能够较为准确的判断出作业数据的目标处理方式，比如，将所述作业数据提交至教师端进行审批，或驳回所述作业数据的审批请求。
由于针对在线教育系统中处理学生提交的作业和/或试卷的场景，主要目的是寻找被驳回的作业数据，避免影响后续教师端审批的效率。因此，针对第一数据验证模型的训练过程，所采用的样本数据多为被驳回的作业样本。
在一些实施方式中，第一数据验证模型的训练样本中第一样本的数量小于第二样本的数量；其中，第一样本为标注信息为验证通过的样本，第二样本为标注信息为被驳回的样本。
也就是说，为了提升第一数据验证模型的准确性，将应该被驳回的作业数据正常驳回，第二样本的数量可尽量多，多于第一样本的数量，具体第一样本和第二样本的数量可不进行限定。
s103：根据第一驳回概率，从多种处理方式中选择目标处理方式对作业数据进行处理。
其中，多种处理方式包括：将作业数据提交至教师端进行审批、对作业数据进行进一步验证处理、驳回作业数据的审批请求。
具体实施时，在第一驳回概率小于或等于第一预设阈值的情况下，确定作业数据验证通过，并将验证通过的作业数据提交至教师端进行审批；在第一驳回概率大于所述第一预设阈值，且小于第二预设阈值的情况下，对作业数据进行进一步验证；在第一驳回概率大于或等于第二预设阈值的情况下，确定作业数据被驳回，并将验证驳回的作业数据提交至目标用户。
这里，目标用户可以为提交作业数据的用户；或者为目标教师端，可以利用目标教师端统一对验证驳回的作业数据进行处理，比如将验证驳回的作业数据经过批注后反馈给提交作业数据的用户，其中，批注的内容可以为本次验证驳回的理由。
示例性的，可以将第一驳回概率记为
当第一驳回概率
当第一驳回概率
当第一驳回概率
需要说明的是，第一预设阈值和第二预设阈值在不同的应用场景下的取值可以不同，本公开实施例不进行具体的限定。
示例性的，针对在线教育系统中处理学生提交的作业和/或试卷的场景，第二预设阈值
示例性的，针对在线教育系统中处理学生提交的作业和/或试卷的场景，第一预设阈值
示例性的，针对第一驳回概率
在一些实施方式中，在第一驳回概率小于或等于第一预设阈值的情况下，还可以对验证通过的作业数据增加验证标记，并将携带有验证标记的作业数据提交至教师端进行审批。示例性的，验证标记可以包括验证批注信息，比如“用户信息不清晰，答案清晰完整”，“用户信息清晰，题目1~3的答案完整，题目4的答案不全，题目5的答案空白”等验证批注信息。
在一些实施方式中，在将验证通过的作业数据提交至教师端进行审批之后，还可以接收教师端发送的审批结果，并将审批结果发送至目标用户。这里，目标用户为提交作业数据的用户。审批结果为老师批阅作业后的结果。示例性的，审批结果可以包括文字、图片、音频、视频、预设标签中的至少一种。
上述及时为目标用户反馈老师批阅后的作业，在提高作业数据处理效率的同时，能够提升用户体验感。
在一些实施方式中，在接收到教师端发送的审批结果之后，还可以对该审批结果进行校验，在确认校验通过的情况下，将审批结果发送至目标用户。这里，目标用户为提交作业数据的用户。可以利用ai算法模型对审批结果进行校验，比如，基于参考答案识别老师批改的结果，在校验不通过的情况下，可以将该审批结果反馈给教师端重新审批。
在一些实施方式中，在第一驳回概率大于第一预设阈值，且小于第二预设阈值的情况下，还需要对作业数据进行进一步验证。具体实施时，将作业数据提交至人工审核端；获取人工审核端反馈的目标验证结果，根据目标验证结果的指示，将作业数据提交至教师端进行审批，或者驳回作业数据的审批请求。
示例性的，目标验证结果可以为人工审核后的结果，包括验证通过或被驳回。如果目标验证结果指示该作业数据验证通过，则可以将作业数据提交至教师端进行审批；如果目标验证结果指示该作业数据被驳回，则可以驳回作业数据的审批请求，将该作业数据提交给目标用户。
在一些实施方式中，针对一些将要被提交至人工审核端的作业数据，还可以对该作业数据增加审核标记，之后，将携带有审核标记的作业数据提交至人工审核端。示例性的，审核标记可以包括审核批注信息，比如，“用户id重复”、“用户昵称重名”、“错别字较多”等审核批注信息。
在一些实施方式中，在将验证驳回的作业数据提交至目标用户之后，还可以向目标用户反馈作业数据被驳回的原因信息。示例性的，驳回的原因信息包括：多道题目答案空白、作业模糊不清、答案错误率较高等。
在一些实施方式中，在将验证驳回的作业数据提交至目标用户之后，还可以向目标用户发送重新提交新的作业数据的提示信息。示例性的，提示信息包括，“请再次提交作业数据”或者“请重新完成作业，并提交作业数据”等。
这里，向目标用户发送提示信息的方式可以包括定时发送、周期发送、多渠道发送中的至少一种。比如，多渠道发送方式可以包括在向目标用户反馈作业数据被驳回的原因信息的同时，向目标用户发送重新提交新的作业数据的提示信息。
在一些实施方式中，在确定对作业数据进行进一步验证之后，还可以获取人工审核端反馈的作业数据的目标验证结果，并以目标验证结果为标注信息，重新训练第一数据验证模型。或者，还可以以目标验证结果为标注信息，重新训练第二数据验证模型。这里，利用人工审核端反馈的作业数据的目标验证结果对第一数据验证模型进行训练，能够不断减少需要进行进一步验证处理的作业数据的数量，即减少
示例性的，对第一数据验证模型进行训练，可以为针对人工智能（artificialintelligence，ai）算法模型进行训练，针对ai算法模型训练的样本可以包括以下至少一项：老师驳回的作业数据、验证通过的作业数据、经过ai算法模型验证后确定需要进行进一步验证处理的作业数据、以及经过ai算法模型验证后老师抽查再次验证的指示ai算法模型验证错误的作业数据等。对第一数据验证模型进行训练时，首先已知作业数据的人工验证结果，将人工验证结果指示的应该被驳回的作业数据标记为1，将人工验证结果指示的应该被验证通过的作业数据标记为0。之后，将标记为1和0的作业数据输入到ai算法模型中进行训练。
上述步骤s101~s103，通过预先对在历史中确定被驳回的作业样本进行聚类，这样可以得到各个聚类样本集合符合的驳回原因类别，进而确定这些驳回原因类别所匹配的目标属性类型，将作业数据在这些目标属性类型下的属性信息与作业数据一起作为模型输入数据，来预测驳回概率。这种方式下，相当于加大了历史经验中的驳回原因类别所匹配的相关特征的重要度，提升了驳回经验指导的作用，从而可以对提交至教师处的作业数据进行更严格筛选和过滤，提高提交至教师处审核的作业数据的质量。另外，本公开实施例能够输出较为精准的作业数据的第一驳回概率，实现了作业数据自动化验证；同时，利用第一驳回概率来确定作业数据的目标处理方式，针对作业数据不需要进行进一步验证处理的情况，能够节省该类作业数据的验证时间，提高对作业数据处理的效率；针对需要进行进一步验证处理的情况，重新验证作业数据，能够进一步提高验证的准确性。
参见图2所示，为本公开实施例提供的另一种作业数据处理方法的流程图，所述方法包括步骤s201~s205，其中：
s201：获取作业数据。
本步骤中作业数据的详细说明可以参见上述步骤s101中对作业数据的描述，重复部分在此不再赘述。
s202：将提取的目标属性信息和作业数据输入第一数据验证模型，并获取第一数据验证模型对作业数据进行处理后输出的第一驳回概率。
本步骤中，可以参考步骤s102，重复部分不再赘述。
这里，第一数据验证模型的训练样本中第一样本的数量小于第二样本的数量；其中，第一样本为标注信息为验证通过的样本，第二样本为标注信息为被驳回的样本。
s203：将作业数据输入第二数据验证模型，并获取第二数据验证模型对作业数据进行处理后输出的第二驳回概率。
其中，第二驳回概率用于表征作业数据被驳回的概率。
本步骤中，第二数据验证模型可以为神经网络模型，比如，二分类神经网络模型等。具体二分类神经网络模型的作用可以参见上述步骤s102中针对二分类神将网络模型的描述，重复部分在此不再赘述。
另外，第二数据验证模型与第一数据验证模型训练时所用的样本不同，其中，第一数据验证模型重点利用验证通过的样本进行训练，第二数据验证模型重点利用数据驳回的样本进行训练。这样，针对不同类别的作业数据输出的驳回概率的精度不同。这里，第二数据验证模型主要是利用样本验证通过样本进行训练的，则该第二数据验证模型输出的针对与验证通过的样本类型相似的作业数据的验证结果，就比输出的其它样本类型相似的作业数据的验证结果更准确。又因为第一数据验证模型加大了驳回样本特征的权重，这里第二数据验证模型又从验证通过样本的角度再次进行验证，这样就可以结合两者优势，准确的确定出作业数据的目标处理方式。
具体实施时，第二数据验证模型的训练样本中第一样本的数量大于第二样本的数量。
s204：根据第一驳回概率和所述第二驳回概率，确定目标驳回概率。
具体实施时，获取第一驳回概率对应的第一权重，以及第二驳回概率对应的第二权重；根据第一驳回概率、第一权重、第二驳回概率和第二权重，确定目标驳回概率。
由于第一数据验证模型和第二数据验证模型训练时所用的样本的侧重点不同，因此输出的第一驳回概率和第二驳回概率对应的权重不同，可以预先设置第一数据验证模型输出的第一驳回概率对应的第一权重和第二数据验证模型输出的第二驳回概率对应的第二权重。之后，对第一驳回概率和第二驳回概率进行加权处理，确定目标驳回概率。
示例性的，在已知第一驳回概率0.8、第一权重0.8（由于第一数据验证模型训练时侧重点是第二样本，所以预先设置的第一权重比第二权重高）、第二驳回概率0.5、第二权重0.2（由于第二数据验证模型训练时侧重点是第一样本，所以预先设置的第二权重比第一权重低），需要说明的是，第一权重与第二权重的和为1。这样，对第一驳回概率0.8和第二驳回概率0.5进行加权处理，确定目标驳回概率为0.8
s205：根据目标驳回概率，从多种处理方式中选择目标处理方式对作业数据进行处理。
具体实施时，在目标驳回概率小于或等于第一预设阈值的情况下，确定作业数据验证通过，并将验证通过的作业数据提交至教师端进行审批；在目标驳回概率大于第二预设阈值，且小于第一预设阈值的情况下，对作业数据进行进一步验证；在目标驳回概率大于或等于第二预设阈值的情况下，确定作业数据被驳回，并将验证驳回的作业数据提交至目标用户。
示例性的，可以将目标驳回概率记为
当目标驳回概率
当目标驳回概率
当目标驳回概率
在一个实施例中，针对在线教育系统中处理学生提交的作业和/或试卷的应用场景，应用于审查驳回系统31，可以参见图3所示，其为作业数据处理的应用示意图。
针对ai算法模型32，首先采集作业数据，并提取作业数据的目标属性信息；该作业数据可以包括以下任意一项：老师驳回的作业数据、验证通过的作业数据、经过ai算法模型验证后确定需要进行进一步验证处理的作业数据、以及经过ai算法模型32验证后老师抽查再次验证的指示ai算法模型32验证错误的作业数据等。之后，将作业数据和目标属性信息输入到ai算法模型32中，确定ai算法模型32输出的第一驳回概率，基于第一驳回概率确定作业数据的目标处理方式。
针对审查驳回系统31，在ai算法模型32批量确定作业数据的目标处理方式后，还可以人工再次审查ai算法模型32提供的作业数据以及作业数据的目标处理方式，这里，可以随机抽查部分。
标记ai算法模型32验证错误的结果，并利用标记后的验证结果继续训练ai算法模型32。比如，ai算法模型验证作业a的验证结果为验证通过0，人工审查作业a的验证结果为被驳回1，则标记ai算法模型验证错误的结果（即作业a的验证通过0）为被驳回1。并利用作业a为被驳回1来训练ai算法模型。
这样，随着ai算法模型的不断训练，能够不断减少ai算法模型验证错误的作业数据的数量，逐步提升ai算法模型的验证精度，直到不再出现需要进行进一步验证处理的作业数据，进一步提高了对作业数据处理的效率。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与作业数据处理方法对应的作业数据处理装置，由于本公开实施例中的作业数据处理装置解决问题的原理与本公开实施例上述作业数据处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图4所示，为本公开实施例提供的一种作业数据处理装置的示意图，所述装置包括：属性提取模块401、概率获取模块402和数据处理模块403；其中，
属性提取模块401，用于响应针对作业数据的审批请求，提取所述作业数据的目标属性信息；所述目标属性信息包括所述作业数据在多种目标属性类型下的属性信息；所述多种目标属性类型为基于被驳回的作业样本数据进行聚类得到的；
概率获取模块402，用于将提取的目标属性信息和所述作业数据输入第一数据验证模型，并获取所述第一数据验证模型对所述作业数据进行处理后输出的第一驳回概率；
数据处理模块403，用于根据所述第一驳回概率，从多种处理方式中选择目标处理方式对所述作业数据进行处理，其中，所述多种处理方式包括：将所述作业数据提交至教师端进行审批、对所述作业数据进行进一步验证处理、驳回所述作业数据的审批请求。
一种可选的实施方式中，所述概率获取模块402，用于将所述目标属性信息和所述作业数据输入所述第一数据验证模型的特征提取层，通过所述特征提取层提取所述目标属性信息的第一特征向量以及所述作业数据的第二特征向量，并将所述第一特征向量与所述第二特征向量进行特征融合，得到融合特征向量；将所述融合特征向量输入所述第一数据验证模型的预测层，得到所述预测层输出的所述第一驳回概率。
一种可选的实施方式中，所述第一数据验证模型的训练样本中第一样本的数量小于第二样本的数量；其中，第一样本为标注信息为验证通过的样本，第二样本为标注信息为被驳回的样本。
一种可选的实施方式中，所述数据处理模块403，还用于将所述作业数据输入第二数据验证模型，并获取所述第二数据验证模型对所述作业数据进行处理后输出的第二驳回概率；所述第二数据验证模型的训练样本中所述第一样本的数量大于所述第二样本的数量；并根据所述第一驳回概率和所述第二驳回概率，确定目标驳回概率；以及根据所述目标驳回概率，从多种处理方式中选择目标处理方式对所述作业数据进行处理。
一种可选的实施方式中，所述数据处理模块403，用于获取所述第一驳回概率对应的第一权重，以及所述第二驳回概率对应的第二权重；根据所述第一驳回概率、所述第一权重、所述第二驳回概率和所述第二权重，确定所述目标驳回概率。
一种可选的实施方式中，所述数据处理模块403，用于在所述第一驳回概率小于或等于第一预设阈值的情况下，确定所述作业数据验证通过，并将验证通过的所述作业数据提交至教师端进行审批；在所述第一驳回概率大于所述第一预设阈值，且小于第二预设阈值的情况下，对所述作业数据进行进一步验证；在所述第一驳回概率大于或等于所述第二预设阈值的情况下，确定所述作业数据被驳回，并将验证驳回的所述作业数据提交至目标用户。
一种可选的实施方式中，所述数据处理模块403，用于对所述作业数据增加验证标记，并将携带有验证标记的所述作业数据提交至所述教师端进行审批。
一种可选的实施方式中，所述装置还包括第一结果反馈模块404，用于在将验证通过的所述作业数据提交至教师端进行审批之后，接收所述教师端发送的审批结果，并将所述审批结果发送至目标用户。
一种可选的实施方式中，所述第一结果反馈模块404，用于对所述审批结果进行校验，在确认校验通过的情况下，将所述审批结果发送至目标用户。
一种可选的实施方式中，所述数据处理模块403，用于将所述作业数据提交至人工审核端；获取所述人工审核端反馈的目标验证结果，根据所述目标验证结果的指示，将所述作业数据提交至教师端进行审批，或者驳回所述作业数据的审批请求。
一种可选的实施方式中，所述数据处理模块403，用于对所述作业数据增加审核标记，并将携带有审核标记的所述作业数据提交至人工审核端。
一种可选的实施方式中，所述装置还包括数据训练模块405，用于在获取到所述人工审核端反馈的所述作业数据的目标验证结果之后，以所述目标验证结果为标注信息，重新训练所述第一数据验证模型。
一种可选的实施方式中，所述装置还包括第二结果反馈模块406，用于在将验证驳回的所述作业数据提交至目标用户之后，向所述目标用户反馈所述作业数据被驳回的原因信息。
一种可选的实施方式中，所述第二结果反馈模块406，还用于在将验证驳回的所述作业数据提交至目标用户之后，向所述目标用户发送重新提交新的作业数据的提示信息。
一种可选的实施方式中，所述作业数据包括以下至少一项：用户提交的文字数据、用户提交的语音数据、用户提交的视频数据、用户提交的图片和重新验证的数据。
关于作业数据处理装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述作业数据处理方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本申请实施例还提供了一种计算机设备。参照图5所示，为本申请实施例提供的计算机设备的结构示意图，包括：
处理器51、存储器52和总线53。其中，存储器52存储有处理器51可执行的机器可读指令，处理器51用于执行存储器52中存储的机器可读指令，所述机器可读指令被处理器51执行时，处理器51执行下述步骤：
s101：响应针对作业数据的审批请求，提取作业数据的目标属性信息；
s102：将提取的目标属性信息和作业数据输入第一数据验证模型，并获取第一数据验证模型对作业数据进行处理后输出的第一驳回概率；
s103：根据第一驳回概率，从多种处理方式中选择目标处理方式对作业数据进行处理。
上述存储器52包括内存521和外部存储器522；这里的内存521也称内存储器，用于暂时存放处理器51中的运算数据，以及与硬盘等外部存储器522交换的数据，处理器51通过内存521与外部存储器522进行数据交换，当计算机设备运行时，处理器51与存储器52之间通过总线53通信，使得处理器51在执行上述方法实施例中所提及的执行指令。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的作业数据处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的作业数据处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包（softwaredevelopmentkit，sdk）等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（read-onlymemory，rom）、随机存取存储器（randomaccessmemory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
