用于图像搜索的方法、系统以及存储指令的计算机可读介质与流程

专利2026-04-04  6


本发明的实施方式一般性涉及搜索查询,并且更具体地,涉及用于细粒度图像搜索的对抗学习。


背景技术:

1、尽管已经对计算机执行的图像搜索进行了广泛的研究,但是其依然是具有挑战性的问题。特别地,在细粒度水平识别图像极其困难,在细粒度水平中,目标是找到与查询内容属于同一细粒度类别的对象(例如,识别汽车的型号和模型)。使用深度神经网络的许多算法已经实现了在细粒度分类上的最先进的性能,但是它们不可直接应用于细粒度图像搜索。当前的细粒度分类系统操作包含固定数量的类别的封闭的数据集,并且因此,没有正确地处理未见过的类别。尽管分类器可以被重新训练以适应新的类别,但是频繁的重新训练由于新数据积累而变得极其昂贵。相比之下,设计的细粒度图像搜索应当发现不属于训练集里的部分的未见过类别。

2、除了新出现的类别之外,对象的视角和姿态变化使得找到正确的细粒度类别更加困难。解决姿态变化的经典方法依赖于匹配局部特征点、改善单应性、以及推断明确的几何变换,但是它们在计算上是昂贵的。基于深度神经网络的最新工作引入了专用模块来学习具体的几何变换以用于语义对应,然而,它们需要预定义的变换类型和良好初始化的变换矩阵以确保合理的性能。这些类型的系统不能处理复杂变换,并且因此,假定包含未知变换的增长的数据库,则这些类型的系统对于细粒度的图像搜索是不现实的。


技术实现思路

1、本发明的一个方面提供了一种用于图像搜索的方法,包括:经由客户端装置上的用户接口接收搜索查询,搜索查询包括描绘对象的输入图像;使用生成器生成标准化视角下对象的向量表示;基于标准化视角下对象的向量表示来识别描绘对象的其他图像的集合;以及响应于搜索查询,将描绘对象的其他图像中的至少一个返回至客户端装置。

2、本发明的一个方面提供了一种系统,包括:一个或更多个计算机处理器;以及存储指令的一个或更多个计算机可读介质,指令在由一个或更多个计算机处理器执行时使系统执行操作,操作包括:经由客户端装置上的用户接口接收搜索查询,搜索查询包括描绘对象的输入图像;使用生成器生成标准化视角下对象的向量表示;基于标准化视角下对象的向量表示来识别描绘对象的其他图像的集合;以及响应于搜索查询,将描绘对象的其他图像中的至少一个返回至客户端装置。

3、本发明的又一方面提供了一种存储指令的计算机可读介质,指令在由计算装置的一个或更多个计算机处理器执行时使计算装置执行操作,操作包括:经由客户端装置上的用户接口接收搜索查询,搜索查询包括描绘对象的输入图像;使用生成器生成标准化视角下对象的向量表示;基于标准化视角下对象的向量表示来识别描绘对象的其他图像的集合;以及响应于搜索查询,将描绘对象的其他图像中的至少一个返回至客户端装置。



技术特征:

1.一种用于图像搜索的方法,包括:

2.根据权利要求1所述的方法,其中,所述用户接口使所述客户端装置的用户能够输入所述输入图像以执行所述图像搜索。

3.根据权利要求2所述的方法,其中,所述输入图像包括所述对象在任何姿态或视角中的图像。

4.根据权利要求1所述的方法,其中,识别描绘所述对象的所述其他图像的集合包括:

5.根据权利要求4所述的方法,其中,所述其他图像的集合包括由所述生成器生成的图像。

6.一种系统,包括:

7.根据权利要求6所述的系统,其中,所述用户接口使所述客户端装置的用户能够输入所述输入图像以执行所述图像搜索。

8.根据权利要求7所述的系统,其中,所述输入图像包括所述对象在任何姿态或视角中的图像。

9.根据权利要求8所述的系统,其中,识别描绘所述对象的所述其他图像的集合包括:

10.根据权利要求9所述的系统,其中,所述其他图像的集合包括由所述生成器生成的图像。

11.一种存储指令的计算机可读介质,所述指令在由计算装置的一个或更多个计算机处理器执行时使所述计算装置执行操作,所述操作包括:

12.根据权利要求11所述的计算机可读介质,其中,所述用户接口使所述客户端装置的用户能够输入所述输入图像以执行所述图像搜索。

13.根据权利要求12所述的计算机可读介质,其中,所述输入图像包括所述对象在任何姿态或视角中的图像。

14.根据权利要求13所述的计算机可读介质,其中,识别描绘所述对象的所述其他图像的集合包括:


技术总结
公开的是用于图像搜索的方法、系统以及存储指令的计算机可读介质。该方法包括:经由客户端装置上的用户接口接收搜索查询,所述搜索查询包括描绘对象的输入图像;使用生成器生成标准化视角下所述对象的向量表示;基于所述标准化视角下所述对象的向量表示来识别描绘所述对象的其他图像的集合;以及响应于所述搜索查询,将描绘所述对象的所述其他图像中的至少一个返回至所述客户端装置。

技术研发人员:凯文·林,杨帆,王乔松,鲁宾逊·皮拉穆图
受保护的技术使用者:电子湾有限公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1828774.html

最新回复(0)