一种目标关键点检测方法及系统与流程

专利2025-11-08  3


本公开涉及目标关键点检测,尤其涉及一种目标关键点检测方法及系统。


背景技术:

1、关键点检测用于估计图像中任何物体的二维关键点位置,对机器人、智能交通、自动驾驶、人机交互等领域都具有重要的意义。如基于二维图像的人体姿态估计,在异常行为、运动竞技、舞蹈动作分析等多个领域发挥着重要作用。

2、但是,目前对于未知或任意类别的多目标关键点检测问题的研究较少。对于交通场景中,将一种类型的关键点转移到另一种类型,特别是对于铰接和可变形的对象,由于目标的尺寸,姿态,外观,背景等不同,以及可能出现的目标间的严重遮挡等问题,使得对于多目标的关键点检测具有一定的挑战性。因此,本发明提出一种通用的关键点检测算法,能够对图像中的多类别目标同时进行关键点检测。

3、综上所述,现有技术中存在由于对未知或任意类别的多目标关键点检测的能力较低,导致对图像中的多类别目标同时进行关键点检测的能力较低的技术问题。


技术实现思路

1、本公开的目的是提供一种目标关键点检测方法及系统,用以解决现有技术中存在由于对未知或任意类别的多目标关键点检测的能力较低,导致对图像中的多类别目标同时进行关键点检测的能力较低的技术问题。

2、鉴于上述问题,本公开提供了一种目标关键点检测方法及系统。

3、第一方面,本公开提供了一种目标关键点检测方法,所述方法通过一种目标关键点检测系统实现,其中,所述方法包括:构建目标关键点检测数据库,所述目标关键点检测数据库具有预设关键点目标对象类别、对象关键点标注;对所述目标关键点检测数据库进行预处理;搭建关键点检测模型,包括共享骨干网络、transformer的编码器模块、相似度感知生成模块、图transformer的解码器模块;利用经预处理后的目标关键点检测数据库构建训练数据集,对所述关键点检测模型进行训练,并利用损失函数对模型更迭优化;通过训练完成的关键点检测模型对待测目标进行目标关键点检测。

4、第二方面,本公开还提供了一种目标关键点检测系统,用于执行如第一方面所述的一种目标关键点检测方法,其中,所述系统包括:目标关键点检测数据库构建模块,所述目标关键点检测数据库构建模块用于构建目标关键点检测数据库,所述目标关键点检测数据库具有预设关键点目标对象类别、对象关键点标注;预处理模块,所述预处理模块用于对所述目标关键点检测数据库进行预处理;关键点检测模型搭建模块,所述关键点检测模型搭建模块用于搭建关键点检测模型,包括共享骨干网络、transformer的编码器模块、相似度感知生成模块、图transformer的解码器模块;更迭优化模块,所述更迭优化模块用于利用经预处理后的目标关键点检测数据库构建训练数据集,对所述关键点检测模型进行训练,并利用损失函数对模型更迭优化;目标关键点检测模块,所述目标关键点检测模块用于通过训练完成的关键点检测模型对待测目标进行目标关键点检测。

5、本公开中提供的一个或多个技术方案,至少具有如下技术效果或优点:

6、通过构建目标关键点检测数据库,所述目标关键点检测数据库具有预设关键点目标对象类别、对象关键点标注;对所述目标关键点检测数据库进行预处理;搭建关键点检测模型,包括共享骨干网络、transformer的编码器模块、相似度感知生成模块、图transformer的解码器模块;利用经预处理后的目标关键点检测数据库构建训练数据集,对所述关键点检测模型进行训练,并利用损失函数对模型更迭优化;通过训练完成的关键点检测模型对待测目标进行目标关键点检测,也就是说,通过构建一个标注统一的多类别目标的关键点检测数据集,通过整合不同的开源关键点检测数据集,对其中不一致和未定义的关键点进行清洗和数据合并等,以及增加人工采集的图像,进行数据标注,形成统一的多类别目标关键点标注数据集;然后,构建多类别关键点检测模型,包括四个模块,分别是共享的特征提取模块,用于对支持图像和查询图像进行特征提取,基于transformer的编码器模块,用于进一步细化支持图像的关键点特征和查询图像特征,相似度感知生成模块,用于将支持关键点特征和查询特征进行对齐,生成相似度映射,基于图transformer的解码器,用于从查询特征图中解码出关键点的位置信息,利用图结构的优势,增强了关键点特征并促进了已知连接关键点之间的信息交换;最终实现对任何对象的关键点检测。

7、上述说明仅是本公开技术方案的概述,为了能够更清楚了解本公开的技术手段,而可依照说明书的内容予以实施,并且为了让本公开的上述和其他目的、特征和优点能够更明显易懂,以下特举本公开的具体实施方式。应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其他特征将通过以下的说明书而变得容易理解。



技术特征:

1.一种目标关键点检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述方法,其特征在于,所述对所述目标关键点检测数据库进行预处理,包括:

3.如权利要求1所述的方法,其特征在于,所述搭建关键点检测模型,包括:

4.如权利要求3所述的方法,其特征在于,所述基于卷积神经网络搭建所述共享骨干网络,包括:

5.如权利要求3所述的方法,其特征在于,所述基于transformer的网络结构搭建transformer的编码器模块,包括:

6.如权利要求3所述的方法,其特征在于,所述构建所述图transformer的解码器模块,包括:

7.如权利要求1所述的方法,其特征在于,对所述关键点检测模型进行训练,并利用损失函数对模型更迭优化,包括:

8.一种目标关键点检测系统,其特征在于,用于实施权利要求1至7中任意一项所述方法的步骤,所述系统包括:


技术总结
本公开提供了一种目标关键点检测方法及系统,涉及目标关键点检测技术领域,该方法包括:构建目标关键点检测数据库,目标关键点检测数据库具有预设关键点目标对象类别、对象关键点标注;对目标关键点检测数据库进行预处理;搭建关键点检测模型,包括共享骨干网络、编码器模块、相似度感知生成模块、解码器模块;利用经预处理后的目标关键点检测数据库构建训练数据集,对关键点检测模型进行训练,并利用损失函数对模型更迭优化;通过训练完成的关键点检测模型对待测目标进行目标关键点检测。通过本公开可以解决现有技术中对图像中的多类别目标同时进行关键点检测的能力较低的技术问题,达到对任何对象的关键点检测的技术效果。

技术研发人员:闫军,丁丽珠
受保护的技术使用者:智慧互通科技股份有限公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1824603.html

最新回复(0)