本发明属于计算机视觉相关技术领域，特别适用于教育领域，更具体地涉及一种拍照搜题方法、装置和计算机设备。
背景技术：
目前，很多电子教育产品都具备拍照搜题的功能，用户通过操控终端的摄像头对着纸面上的题目进行拍照，在终端完成拍照并显示拍摄的图片之后，用户通过操控终端界面中显示的选框确定要截取的题目图像，再进行题目答案搜索。
上述过程中，用户需要通过触屏操作调整该选框的大小及移动该选框至合适的位置，以使该选框刚好包围需要搜索的题目，由此完成对题目的截图，以搜索题目答案。上述方法操作相对复杂，操作效率低。
此外，现有搜题方法还存在搜题识别准确度低以及用户体验感较差等问题。
因此，有必要提供一种拍照搜题方法，以解决上述问题。
技术实现要素：
(一)要解决的技术问题
本发明旨在解决现有搜题操作步骤复杂、操作效率低、识别准确度低以及用户体验感较差等的技术问题。
(二)技术方案
为解决上述技术问题，本发明的一方面提出一种拍照搜题方法，所述方法包括如下步骤：获取题目图像并将所述题目图像显示于用户终端的显示装置；对所述题目图像进行单题检测，并在所述用户终端的显示装置上实时可视化标识所检测到的各个单题的区域；接收用户的选择操作指令，以对用户所选择的单题的区域进行拍照、识别和搜索；所述用户终端接收返回的搜索结果。
根据本发明的优选实施方式，所述单题检测通过单题检测模型进行，该单题检测模型是训练好的图像单题识别模型，用于检测图像中包含的单题的区域。
根据本发明的优选实施方式，实时获取连续多帧题目图像，并实时显示于该用户终端的显示装置；所述单题检测是基于所述连续多帧图像中的预定间隔帧数的各帧图像进行的。
根据本发明的优选实施方式，所述单题的区域为一个包括所述单题的四边形区域；实时可视化标识所检测到的各个单题的区域包括对该四边形区域进行框选显示。
根据本发明的优选实施方式，对该四边形区域进行框选显示包括：对所述四边形进行校正处理，以向所述用户终端显示的校正后的所述四边形区域能框选所述单题的所有内容。
根据本发明的优选实施方式，所述接收用户的选择操作指令包括：接收用户对检测到的单题的四边形区域的点选操作，或者用户对校正后的四边形区域进行的点选操作，以对与所选择的四边形区域的图像区域进行拍照、识别和搜索。
根据本发明的优选实施方式，所述对用户所选择的单题的区域进行拍照包括：调用所述摄像装置进行拍照，并将获得的图像中用户所选择的单题的区域进行剪裁以获得该一个或多个单题区域的图像；可选地，所述对所选择的单题的区域进行拍照之后还包括：保存获得该一个或多个单题区域的图像；可选地，对一个或多个单题区域的图像并行地进行识别和搜索；进一步可选地，对所述单题区域的图像进行识别时，基于印刷体和书写体的区别，在识别结果中去除所述单题区域中书写体对应的识别内容。
根据本发明的优选实施方式，所述对用户所选择的对单题的区域进行识别和搜索包括：确定各单题的题型和题目关键信息，并使用判断规则，与预设题库中的题目进行匹配判断，以向用户终端返回搜题结果，该搜题结果包括是否有该题目、该题目对应的推荐答案以及推荐的其他同类型题目。
本发明第二方面提出一种拍照搜题装置，包括：第一接收模块，用于获取题目图像并将所述题目图像实时显示于该用户终端的显示装置；检测标识模块，用于对所述题目图像进行单题检测，并在所述用户终端的显示装置上实时可视化标识所检测到的各个单题的区域；第二接收模块，用于接收用户的选择操作指令，以对用户所选择的单题的区域进行拍照、识别和搜索；结果处理模块，用于所述用户终端接收返回的题目搜索结果。
根据本发明的优选实施方式，所述单题检测是通过单题检测模型进行，该单题检测模型是训练好的图像单题识别模型，用于检测图像中包含的单题的区域。
根据本发明的优选实施方式，实时获取连续多帧题目图像，并实时显示于该用户终端的显示装置；所述单题检测是基于所述连续多帧图像中的预定间隔帧数的各帧图像进行的。
根据本发明的优选实施方式，所述单题的区域为一个包括所述单题的四边形区域；实时可视化标识所检测到的各个单题的区域包括对该四边形区域进行框选显示。
根据本发明的优选实施方式，还包括校正处理模块，该校正处理模块用于对所述四边形进行校正处理，以向所述用户终端显示的校正后的所述四边形区域能够框选所述单题的所有内容的四边形。
根据本发明的优选实施方式，所述第二接收模块还包括：接收用户对检测到的单题的四边形区域的点选操作，或者用户对校正后的四边形区域进行的点选操作，以对与所选择的四边形区域的图像区域进行拍照、识别和搜索。
根据本发明的优选实施方式，所述对用户所选择的单题的区域进行拍照包括：调用所述摄像装置进行拍照，并将获得的图像中用户所选择的单题的区域进行剪裁以获得一个或多个单题区域的图像；可选地，所述对用户所选择的单题的区域进行拍照之后还包括：保存获得该一个或多个单题区域的图像；可选地，对一个或多个单题区域的图像并行地进行识别和搜索；进一步可选地，对所述单题区域的图像进行识别时，基于印刷体和书写体的区别，在识别结果中去除所述单题区域中书写体的识别内容。
根据本发明的优选实施方式，还包括确定模块，该确定模块用于确定各单题的题型和题目关键信息，并使用判断规则，与预设题库中的题目进行匹配判断，以向用户终端返回搜题结果，该搜题结果包括是否有该题目、该题目对应的推荐答案以及推荐的其他同类型题目。
本发明第三方面提出一种计算机设备，包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行所述的拍照搜题方法。
本发明第四方面提出一种计算机程序产品，存储有计算机可执行程序，所述计算机可执行程序被执行时，实现上述任一项所述的拍照搜题方法。
(三)有益效果
与现有技术相比，本发明通过使用单题检测模型进行单题检测，并将检测到的单题区域提供给用户选择，能够辅助用户快速确定用户想识别、搜索的区域，这个过程中无需用户多次调整、移动终端界面中的选框。
另外，将检测到的单题区域提供给用户选择，用户可以选择一个或多个单题区域进行拍照、识别和搜索。因此本方案能够通过一次拍搜实现多个单题搜索，减少用户搜索次数及简化操作步骤，并能够减少搜索所不需要的干扰信息(各个单题的区域之外的信息)的输入，从而优化搜题方法，提高检测精度。
进一步地，通过向所述用户终端显示校正后的四边形，能够包括单题的全部内容，无需用户进行手动调整检测框的位置、角度等操作，由此，能够简化用户搜题操作，能够提升客户端体验感。
附图说明
图1是本发明的实施例1的拍照搜题方法的一示例的流程图；
图2是应用本发明的实施例1的拍照搜题方法在单题检测过程中框选显示的一示例的示意图；
图3是本发明的实施例1的拍照搜题方法的另一示例的流程图；
图4(a)是示出了试卷在单题检测过程中使用未校正的检测框对各题进行框选显示的示意图；
图4(b)是示出了试卷在单题检测过程中使用校正后的检测框对各题进行框选显示的示意图；
图5是本发明的实施例1的拍照搜题方法的又一示例的流程图；
图6是本发明的实施例2的拍照搜题装置的一示例的示意图；
图7是本发明的实施例2的拍照搜题装置的另一示例的示意图；
图8是本发明的实施例2的拍照搜题装置的又一示例的示意图；
图9是本发明的一个实施例的计算机设备的结构示意图；
图10是本发明的一个实施例的计算机程序产品的示意图。
具体实施方式
在对于具体实施例的介绍过程中，对结构、性能、效果或者其他特征的细节描述是为了使本领域的技术人员对实施例能够充分理解。但是，并不排除本领域技术人员可以在特定情况下，以不含有上述结构、性能、效果或者其他特征的技术方案来实施本发明。
附图中的流程图仅是一种示例性的流程演示，不代表本发明的方案中必须包括流程图中的所有的内容、操作和步骤，也不代表必须按照图中所显示的的顺序执行。例如，流程图中有的操作/步骤可以分解，有的操作/步骤可以合并或部分合并，等等，在不脱离本发明的发明主旨的情况下，流程图中显示的执行顺序可以根据实际情况改变。
附图中的框图一般表示的是功能实体，并不一定必然与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理单元装置和/或微控制器装置中实现这些功能实体。
各附图中相同的附图标记表示相同或类似的元件、组件或部分，因而下文中可能省略了对相同或类似的元件、组件或部分的重复描述。还应理解，虽然本文中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分，但是这些器件、元件、组件或部分不应受这些定语的限制。也就是说，这些定语仅是用来将一者与另一者区分。例如，第一器件亦可称为第二器件，但不偏离本发明实质的技术方案。此外，术语“和/或”、“及/或”是指包括所列出项目中的任一个或多个的所有组合。
为了解决现有搜题操作步骤复杂、操作效率低、识别准确度低以及用户体验感较差等的技术问题或至少部分解决上述问题，并同时进一步优化搜题方法，本发明提供了一种搜题方法。该方法通过使用单题检测模型进行单题检测，并通过用户终端供用户选择确定，由此，能够实现一个或多个单题的搜索，更智能化，能够简化用户操作步骤，还能将拍摄画面中需要检索的多个单题一次拍搜完成，能够提升客户端体验感。
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
图1是是本发明的实施例1的拍照搜题方法的一示例的流程图。
如图1所示，本发明提供了一种拍照搜题方法，所述方法包括：
步骤s101，获取题目图像并将所述题目图像显示于用户终端的显示装置。
步骤s102，对所述题目图像进行单题检测，并在所述用户终端的显示装置上实时可视化标识所检测到的各个单题的区域。
步骤s103，接收用户的选择操作指令，以对用户所选择的单题的区域进行拍照、识别和搜索。
步骤s104，用户终端接收返回的搜索结果。
首先，在步骤s101中，可以实时获取题目图像并将所述题目图像实时显示于用户终端的显示装置。
下面，以该方法在教育服务产品中应用场景为示例进行具体说明。
在本示例中，教育服务产品包含搜题功能，该搜题功能通过本发明的拍照搜题方法来实现。所述用户终端包括但不限于手机、ipad、笔记本电脑、台式电脑等具有通信功能的终端。
具体地，在用户打开教育服务产品app后，当打开拍搜功能进行搜题时，用户终端通过app接收到例如用户打开拍摄功能等的操作指令时，开启用户终端的摄像装置。
需要说明的是，在本发明中，搜题是指使用教育服务产品的拍搜功能，搜索图像中一个或多个题干内容以获取相应题目的所有内容，包括但不限于标准化的题干、答案、解析和教师讲解等等。
优选地，使用该摄像装置实时获取试卷或作业等的题目图像，并将该题目图像实时显示于该用户终端的显示装置，例如显示于手机的显示屏或者平板电脑的显示屏等等。需要说明的是，本文叙述中的“优选地”、“可选地”、“具体地”、“更具体地”、“进一步地”、“更进一步地”、“在一示例中”、“在另一示例中”、“根据本发明的优选实施方式”等语句所引出的描述内容仅作为可选或优选示例进行说明，仅是便于读者更好地理解本发明，并不旨在构成对本发明的限制。
接下来，在步骤s102中，对所述题目图像进行单题检测，并在所述用户终端的显示装置上实时可视化标识所检测到的各个单题的区域。
具体地，可实时获取连续多帧题目图像，并实时显示于该用户终端的显示装置。在本示例中，所述单题检测可以是基于所述连续多帧题目图像中的预定间隔帧数的各帧题目图像进行的。进一步地，该预定间隔帧数可以为0、1、2或其他数字等，为0时则为所有帧。
具体地，当接收到用户打开搜题功能的操作指令时，用户终端可以自动调用服务端的单题检测模型，并通过单题检测模型进行单题检测，该单题检测模型是已训练好的图像单题识别模型，用于检测图像中包含的单题的区域。检测到的单题的区域可以为一个包括所述单题的四边形区域，并可以实时地以可视化方式标识出所检测到的各个单题的区域。如图2和图4(b)所示，为示例性的单题识别结果示意图。
需要说明的是，单题检测模型可以是一种基于cnn、attention、lstm等技术的深度网络模型，其中，输入特征为多帧图像，该多帧图像包括当前帧图像、比该当前帧图像靠前的特定数量帧数的多帧图像(前一帧图像或者前几帧图像)，输出特征为当前帧图像对应的题目框选四边形中四个点的位置坐标。具体地，训练数据集可以包括历史的包含各种题型的图片、试卷、图书文本以及经标注或用户确认的题目框选四边形的位置信息。
进一步地，在使用训练好的单题检测模型进行单题检测时，检测到的单题的区域可以为一个四边形区域，并实时可视化标识所检测到的各个单题的区域。具体可视化标识的方式本实施例不做限定，例如，可以如图2、图4(a)和图4(b)所示，以包括单题区域/内容的框选四边形形式进行提示。当然也可以是其他形式，如在单题区域添加高亮背景等。
更具体地，对于待检测图像的单题检测模型，可以例如采用如下表达式进行计算：
x＝(1-a)*xold a*xnew
其中，x是待检测图像的预测结果；xnew是当前帧图像的框选四边形的位置信息；xold是比该当前帧图像靠前的特定数量帧数的多帧图像的框选四边形的位置信息(简称为特定帧数的历史图像)；a为模型训练过程所确定的超参数。机器学习中需要对超参数进行优化。机器学习中的超参数优化旨在寻找使得机器学习算法在验证数据集上表现性能最佳的超参数。
需要说明的是，所述单题检测模型对待检测图像中所有单题进行检测，通过将当前帧图像的框选四边形的位置信息与特定帧数的历史图像的框选四边形的位置信息进行结果融合，得到所述待检测图像的预测结果(即图像中所有单题的框选四边形的位置信息)。
由此，通过使用单题检测模型进行单题检测，能够辅助用户快速确定想识别搜索的区域，并能够优化搜题方法，还能够提高检测精度。
更进一步，可以对该四边形区域(即单题区域)进行框选显示，并在用户终端的显示装置上显示，并且用户可以对进行框选显示的线条、颜色以及显示的方式等进行自定义。在本示例中，对于框选显示，可使用实线、虚线、双线进行框选显示。
还可以使用不同颜色的四边形对单题区域进行显示，或者使用卡通标志等的图案对单题区域进行标识等等。需要说明的是，上述仅作为示例进行说明，不能理解成对本发明的限制。
接下来，在步骤s103中，接收用户的选择操作指令，以对用户所选择的单题的区域进行拍照、识别和搜索。
具体地，如图2所示，可向用户提供供选择操作的框选界面，在该界面上包括与各题相对应的多个四边形，用户可对一个或多个四边形进行点选操作。
进一步地，所述接收用户的点选操作指令包括用户对检测到的单题的四边形区域的点选操作(在所述方法还包括校正步骤时，包括用户对校正后的所述四边形区域的点选操作)。
在一些实施例中，可基于所接收到的点选操作的页面信息，判断是对一个还是多个单题区域进行拍照。
在一示例中，当用户选择一个单题区域的情况下，可以调用所述摄像装置进行对整个题目图像进行拍照，并将获得的图像中相应的单题区域部分进行剪裁以获得用户所选择的单题区域，并进一步进行识别和搜索。或者，也可以调用所述摄像装置进行对用户所选择的单题区域拍照，并对该拍摄的单题区域进行识别和搜索。用户所选择的单题区域之外部分的拍摄信息直接丢弃。
在另一示例中，当用户选择多个单题区域的情况下，可以调用摄像装置进行对整个题目图像进行拍照，并将获得的图像中相应的多个单题区域部分进行剪裁，以获得用户所选择的多个单题区域的图像，并分别对相应的多个四边形区域进行识别和搜索，即对多个单题区域分别进行识别和搜索。或者，也可以调用所述摄像装置分别对所选择的多个单题区域进行拍照，获得用户所选择的多个独立的单题区域的图像，以分别对相应的多个四边形区域进行识别和搜索。
优选地，所述用户对所选择的单题的区域进行拍照之后还可以包括：保存获得该一个或多个单题区域的图像，以便于用户在其用户终端可查看预定时间内的历史拍照搜题信息。
例如，用户a对图像2中的前两个四边形进行点选操作，则用户终端通过拍搜类app接收到用户的、选择前两个四边形对应的单题区域的操作指令，对所选择的前两个四边形相对应的单题区域进行拍照，进一步对所拍的图片进行识别，并根据所识别的前两个题目的题目内容进行搜题(即搜索)。
再例如，用户b对图像2中的某一个四边形进行点选，用户终端接收到用户的对该一个四边形对应的单题区域的拍搜操作指令，对相应的单题区域进行截取，并对题目内容进行识别，以进行搜题。
需要说明的是，上述仅作为优选示例进行说明，不能理解成对本发明的限制。
接下来，在步骤s104中，接收向用户终端返回的搜索结果。
示例性地，步骤103的识别结果还包括确定单题的题型和题目关键信息。例如，可以根据步骤103所识别的题目内容，确定单题的题型和题目关键信息，题型包括与不同学科相对应的选择题、填空题，该题目关键信息包括是否包含图形、文字、字母或下划线等等。
更具体地，还包括判断用户点选的题目数量，在未超过设定数量的情况下，可对所有题目同时进行搜索。
进一步地，在超过设定数量的情况下，将超出的题目数据进行预设图库重新分配，以保证能够同时进行搜索，并同时向用户返回搜题结果。
更进一步地，根据所识别的题目关键信息，提供具有相应资源的预设题库。然后再所提供的预设题库中进行搜索，可以加快搜索速度。
在一些示例中，可以使用判断规则，与预设题库中的题目进行匹配判断，以向用户终端返回搜题结果。
具体地，可以将所识别的题目与所推荐的预设题库中的题目进行匹配判断，在所识别的题目与所推荐的预设题库中的题目相同的情况下，将答案或者答案及解析返回给用户。
进一步地，在所识别的题目与所推荐的预设题库中的题目不相同的情况下，自动继续提供第二预设题库(可以按题目关键信息与各题库的匹配度)，再进行匹配判断，直到匹配成功，得到搜索结果为止。
具体地，该搜题结果包括是否有该题目、该题目对应的推荐答案以及其他推荐同类型题目。
需要说明的是，上述仅作为示例进行说明，不能理解成对本发明的限制。
上述搜题方法的过程仅用于对本发明的说明，其中，步骤的顺序和数量没有特别的限制。此外，上述方法中的步骤还可以拆分成两个(例如将步骤s102成分成s102和s501，具体参见图5)、三个，或者有些步骤也可以合并成一个步骤，可以根据实际示例进行调整。
可选地，当用户选择多个单题区域进行识别检索时，可以对用户所选择多个单题区域并行进行识别、检索，将先行返回检索结果的单题再显示终端的试题页上的相应位置先行展示，后续根据返回检索结果的顺序进行显示直至显示出所有单题的检索结果。或者，还可以根据各单题区域的计算(识别/搜索)复杂度进行优化、均衡、调度等，使多个单题区域大致同步返回检索结果。
与现有技术相比，本发明可以通过使用单题检测模型进行单题检测，能够更精确地进行检测，并能够优化搜题方法，还能够提高检测精度；通过向所述用户终端显示检测到的四边形，无需用户多次进行手动调整检测框的位置、拍摄角度等操作，由此，能够实现更智能化的检测处理，能够简化用户搜题操作，还能够提升客户端体验感。
图4(a)和4(b)是示出了应用本发明的实施例1的拍照搜题方法在单题检测过程中框选显示的另一示例的示意图，其中，图4(a)是示出了试卷在单题检测过程中使用未校正的检测框对各题进行框选显示的示意图，而图4(b)是示出了试卷在单题检测过程中使用校正后的检测框对各题进行框选显示的示意图。
如图4(a)所示，在图示的试卷中，在检测过程中使用四边形检测框框选出了该试卷中的每个题目，但是由于试卷放置的位置不合适(页面弯曲等)而导致显示倾斜，由此，在检测过程中会出现不能完全框选的整个题目内容的问题。
具体地，使用所述单题检测模型，对图4(a)所示的数学试卷进行检测，由于该数学练习作业放置位置相对于摄像装置的位置倾斜，造成显示倾斜，所以在进行检测时，检测到的单题的区域是矩形，而实时可视化标识所检测到的各个单题的区域时，会出现要检测的题目内容包含不完整，或者显示框相对于题目倾斜等等问题。
需要说明的是，在单题检测过程中，检测到的单题的区域还可以是一个平行四边形或其他四边形，上述仅作为示例进行说明，不应理解成对本发明的限制。
在上述情况下，需要对上述矩形的区域进行校正处理，以得到校正后、能够框选相应单题的所有内容的四边形(具体参见图4(b))，例如为矩形或正方形。从矩形、平行四边形或其他四边形到校正好的四边形，所述校正后的四边形能够框选单题的所有内容，而无需用户对选框(即检测框)的位置、角度等进行手动调整操作。
需要说明的是，上述校正处理的时间特别短，并且上述校正处理会在用户终端的显示装置上呈现如下变动标识的过程：将未框选相应单题的所有内容的四边形校正为能够框选相应单题的所有内容的四边形。以下将具体说明校正处理。
图3是示出了本发明的实施例1的拍照搜题方法的另一示例的流程图。
如图3所示，还包括对用于框选单个题目的四边形进行校正处理的步骤s301。
在步骤s301中，对用于框选单个题目的四边形进行校正处理。
具体地，使用单应性变换的方法，对用于框选单个题目的四边形进行校正处理。校正后的四边形可能为矩形、正方形等形状。
需要说明的是，单应性变换是一个平面到另一个平面的映射关系。确定两个平面中两个图像之间的对应点(correspondingpoints)，并计算单应性矩阵，即计算两个图像在平面间的点对应关系，该单应性矩阵(homography)是一个从一张图像到另一张图像映射关系的转换矩阵。
图4(b)是示出了图4(a)的试卷在单题检测过程中使用校正后的检测框对各题进行框选显示的示意图。
如图4(b)所示，所述试卷中的每一个题目的区域都对应有各自的检测框，并且校正后的各检测框能够完全框选对应题目的整个内容，而在这个过程中，通过使用单题检测模型和校正处理，实现了监测及框选校正显示的自动化，而无需用户进行手动调整检测框的位置、角度等操作。
进一步地，向相应的用户终端显示校正后、能够框选所述单题的所有内容的四边形，或者向相应的用户终端显示校正过程及校正后的四边形检测框，由此，以向用户提供可选择操作的点选界面，因此，能够实现更智能化的检测处理，并能够简化用户搜题操作，无需用户进行手动调整检测框的位置、角度等操作，还能够提升客户端体验感。
需要说明的是，上述仅作为优选示例进行说明，不能理解成对本发明的限制。
实施例2
下面描述本发明的装置实施例，该装置可以用于执行本发明的方法实施例。对于本发明装置实施例中描述的细节，应视为对于上述方法实施例的补充；对于在本发明装置实施例中未披露的细节，可以参照上述方法实施例来实现。
参照图6至图8，将说明本发明的实施例1的拍照搜题装置400。
根据本发明的第二方面，本发明实施例还提供了一种拍照搜题装置400，所述拍照搜题装置400包括：第一接收模块401，获取题目图像并将所述题目图像显示于用户终端的显示装置；检测标识模块402，对所述题目图像进行单题检测，并在所述用户终端的显示装置上实时可视化标识所检测到的各个单题的区域；第二接收模块403，接收用户的选择操作指令，以对用户所选择的单题的区域进行拍照、识别和搜索；结果处理模块404，用于向用户终端返回搜索结果。
优选地，所述检测标识模块402包括单题检测模型，单题检测通过单题检测模型进行，该单题检测模型是训练好的图像单题识别模型，用于检测图像中包含的单题的区域。
需要说明的是，单题检测模型是一种基于cnn、attention、lstm等技术的深度网络模型，其中，输入特征为多帧图像，该多帧图像包括当前帧图像、比该当前帧图像靠前的特定数量帧数的多帧图像(前一帧图像或者前几帧图像)，输出特征为当前帧图像对应的题目框选四边形中四个点的位置坐标。
优选地，实时获取连续多帧题目图像，并实时显示于该用户终端的显示装置；所述单题检测是基于所述连续多帧图像中的预定间隔帧数的各帧图像进行的。
优选地，所检测到的单题的区域为一个四边形区域；实时可视化标识所检测到的各个单题的区域包括对该四边形区域进行框选显示。
如图7所示，本实施例还提供另一拍照搜题装置400，该拍照搜题装置400还包括校正处理模块501，该校正处理模块501用于对所述四边形进行校正处理，以向所述用户终端显示校正后、能够框选所述单题的所有内容的四边形。
进一步地，所述第二接收模块403还包括：接收用户对检测到的单题的四边形区域的点选操作，或者用户对校正后的四边形区域进行的点选操作，以对与所选择的四边形区域的图像区域进行拍照、识别和搜索。
优选地，所述接收用户的点选操作包括对检测到的单题的四边形区域的点选操作，或者对于校正后的所述四边形区域的点选操作。
优选地，所述对所选择的单题的区域进行拍照包括：调用所述摄像装置进行拍照，并将获得的图像中用户所选择的单题区域部分进行剪裁以获得该单题区域的图像；可选地，所述对所选择的单题的区域进行拍照之后还包括：保存获得该单题区域的图像。
如图8所示，还包括确定模块601，该确定模块601用于确定单题的题型和题目关键信息，并使用判断规则，与预设题库中的题目进行匹配判断，以向用户终端返回搜题结果，该搜题结果包括是否有该题目、该题目对应的推荐答案以及其他推荐同类型题目。
需要说明的是，在实施例2中，省略了与实施例1相同的部分的说明。
本领域技术人员可以理解，上述装置实施例中的各模块可以按照描述分布于装置中，也可以进行相应变化，分布于不同于上述实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
与现有技术相比，本发明通过使用单题检测模型进行单题检测，能够更精确地进行检测，并能够优化搜题方法，还能够提高检测精度；通过向所述用户终端显示校正后的四边形，无需用户进行手动调整检测框的位置、角度等操作，由此，能够实现更智能化的检测处理，能够简化用户搜题操作，还能够提升客户端体验感。
实施例3
下面描述本发明的计算机设备实施例，该计算机设备可以视为对于上述本发明的方法和装置实施例的具体实体实施方式。对于本发明计算机设备实施例中描述的细节，应视为对于上述方法或装置实施例的补充；对于在本发明计算机设备实施例中未披露的细节，可以参照上述方法或装置实施例来实现。
图9是本发明的一个实施例的计算机设备的结构示意图，该计算机设备包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行图1的方法。
如图9所示，计算机设备以通用计算设备的形式表现。其中处理器可以是一个，也可以是多个并且协同工作。本发明也不排除进行分布式处理，即处理器可以分散在不同的实体设备中。本发明的计算机设备并不限于单一实体，也可以是多个实体设备的总和。
所述存储器存储有计算机可执行程序，通常是机器可读的代码。所述计算机可读程序可以被所述处理器执行，以使得计算机设备能够执行本发明的方法，或者方法中的至少部分步骤。
所述存储器包括易失性存储器，例如随机存取存储单元(ram)和/或高速缓存存储单元，还可以是非易失性存储器，如只读存储单元(rom)。
可选的，该实施例中，计算机设备还包括有i/o接口，其用于计算机设备与外部的设备进行数据交换。i/o接口可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
应当理解，图9显示的计算机设备仅仅是本发明的一个示例，本发明的计算机设备中还可以包括上述示例中未示出的元件或组件。例如，有些计算机设备中还包括有显示屏等显示单元，有些计算机设备还包括人机交互元件，例如按扭、键盘等。只要该计算机设备能够执行存储器中的计算机可读程序以实现本发明方法或方法的至少部分步骤，均可认为是本发明所涵盖的计算机设备。
图10是本发明的一个实施例的计算机程序产品的示意图。如图10所示，计算机程序产品中存储有计算机可执行程序，所述计算机可执行程序被执行时，实现本发明上述方法。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c 等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
通过以上对实施方式的描述，本领域的技术人员易于理解，本发明可以由能够执行特定计算机程序的硬件来实现，例如本发明的系统，以及系统中包含的电子处理单元、服务器、客户端、手机、控制单元、处理器等。本发明也可以由执行本发明的方法的计算机软件来实现，例如由微处理器、电子控制单元，客户端、服务器端等执行的控制软件来实现。但需要说明的是，执行本发明的方法的计算机软件并不限于由一个或特定个的硬件实体中执行，其也可以是由不特定具体硬件的以分布式的方式来实现。对于计算机软件，软件产品可以存储在一个计算机可读的存储介质(可以是cd-rom，u盘，移动硬盘等)中，也可以分布式存储于网络上，只要其能使得计算机设备执行根据本发明的方法。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者计算机设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
