一种基于特征映射空间和样本判定的行人重识别方法与流程

1.本发明涉及图像处理技术领域，尤其涉及一种基于特征映射空间和样本判定的行人重 识别方法。


背景技术：

2.目前，行人重识别目的是在不同物理位置的摄像头视角下进行同一行人身份匹配。行 人重识别是视频监控领域的关键组成部分，在安全监控、行人搜索和刑事调查等领域具有 重要意义。行人重识别的研究一般分为两类：特征提取和度量学习。视觉模糊的存在会影 响特征提取的质量，进一步影响度量学习和行人重识别的匹配率。因此，设计鲁棒的特征 提取和度量学习方法就成了提升行人重识别有效性的主要途径。
3.基于特征提取的行人重识别方法通常根据基本的颜色、纹理和其他外观属性来构造。 局部最大发生(local maximal occurrence,lomo)特征提取方法是由中国科学院大学的 liao等人在2015年提出的，该方法与一般的特征提取方法相比，通过将局部像素分布率最 大化，有效提升行人重识别的匹配率，更好的实现了行人重识别的鲁棒性。lomo是行人 重识别研究中经典的特征提取方法，其在提取行人图像特征过程中，首先，提取像素级的 全局颜色特征和全局纹理特征。之后，将行人图像分为重叠的行块，采用滑动窗口在每一 行提取像素特征。接着，将像素特征拉伸到一个大范围内，统计像素的特征值在这个大范 围内的分布情况。最后，在水平方向的图像块中计算像素分布的最大值，将这个最大值作 为最终的行人图像特征。lomo方法是一种比较成熟且常用的行人图像特征提取方法，该 方法可以有效地解决行人图像中视角变化问题，增强行人图像特征表达。
4.lomo方法是行人重识别中行人图像特征提取方法的典型代表，是研究其他特征提取 方法的基础，与其他方法相比具有一定的优势，但是该方法仍然存在一些局限性：首先， lomo方法是依据像素特征的最大化来表征行人图像，没有考虑代表着行人图像的均值信 息，这样会丢失部分行人特征，造成行人图像特征表达的不全面。其次，lomo方法没有 考虑行人图像像素特征的协方差信息，从而导致行人图像特征不完整，降低了同一对行人 图像相似度。
5.基于度量学习的行人重识别方法通过学习合适的相似度来最小化同类行人之间的距 离。跨视域二次判别分析(cross
‑
view quadratic discriminant analysis,xqda)度量学习方 法是由中国科学院大学的liao等人在2015年提出的，该方法与一般的度量学习方法相比， 可以有效地提升行人重识别的匹配率，高效地完成行人重识别的匹配过程。xqda是行人 重识别研究中经典的度量学习方法，其在计算行人图像之间相似度的过程中，首先，定义 引入了协方差和映射矩阵的行人图像距离计算方程。然后，根据行人图像的特征样本计算 出同一行人图像特征协方差和不同行人图像特征协方差。最后，根据前述两个协方差矩阵 计算出投影矩阵。xqda方法是一种比较成熟且常用的行人重识别度量学习方法，该方法 可以有效地解决高维度行人特征度量学习问题，提升度量的计算效率。
6.xqda方法是行人重识别中行人图像特征度量学习的典型代表，是研究其他度量学
习 方法的基础，与其他方法相比具有一定的优势，但是该方法仍然存在一些局限性：首先， xqda方法对行人图像特征较为依赖，没有考虑在行人图像特征完整的情况下，增加行人 图像数量带来的计算复杂度。其次，xqda方法没有考虑在增加行人图像数量的情况下， 行人图像间的匹配率可能出现负增长的现象，从而降低行人重识别的有效性。以上因素都 会影响行人重识别的高效性和匹配率，进而影响行人重识别的整体的有效性。


技术实现要素：

7.本发明的目的是提供一种基于特征映射空间和样本判定的行人重识别方法，能够解决 上述问题缺陷，提高行人重识别精度。
8.本发明采用的技术方案为：
9.一种基于特征映射空间和样本判定的行人重识别方法，依次包括如下步骤：
10.步骤一：数据的收集和分离：收集多个来自摄像头a和摄像头b在不同时间不同地点 拍摄到的同一行人图像，并组成图像数据集；同时，将数据集随机划分为训练集和测试集；
11.步骤二：对于一幅长
×
宽大小为h
×
w的行人图像进行特征提取，采用m
×
m的滑动子 窗口表示一幅行人图像的局部区域，tn m＜w,n∈n ，其中n 为正整数集合；在每个子窗 口提取8
×8×
8bin的联合色调、饱和度、明度颜色发生率特征和两个尺度的尺度不变局部三 值模式纹理发生率特征；设定同一水平位置所有子窗口的颜色最大发生率特征为同 一水平位置所有子窗口的纹理最大发生率特征为f
siltp
；根据得到的颜色特征和纹理特征， 通过求最大值的方法，计算颜色特征最大发生率特征和f
siltp
；
12.步骤三：设定同一水平位置所有子窗口的颜色平均发生率特征为以参数 a(a∈[0,1])对颜色特征最大发生率特征和平均发生率特征加权相加，得到加权融合 后的最终颜色特征f
hsv
；
[0013]
步骤四：通过对原始的行人图像进行两次2
×
2池化，下采样原始的行人图像到两个较 小的尺度范围后，再次采用步骤二中提取特征的方式提取图像特征；最后，将所有尺度的 特征联合在一起形成行人图像的加权局部最大发生特征f
wlomo
；
[0014]
步骤五：对原始的行人图像提取像素级特征f；f中的颜色特征为f
rgb
，f
hsv
，f
lab
， f
rg
，其中f
rgb
的特征值为行人图像红绿蓝颜色空间的通道值，f
hsv
的特征值为行人图像色 调、饱和度、明度颜色空间的通道值，f
lab
的特征值为行人图像ab亮度颜色空间的通道 值，f
rg
的特征值为行人图像rg颜色空间的通道值；纹理特征为f
mθ
，m
θ
由二维坐标系 四个标准方向上的像素强度梯度值组成空间特征为y，y是图像垂直方向上像素的位置；
[0015]
步骤六：在得到基本像素特征之后，提取块级特征：将每一幅行人图像分成g个部分 重叠的水平区域，并在每个区域中划分大小为k
×
k的局部块s；每一个局部块s中的像素 特征用高斯分布来表示，形成高斯块特征矩阵z
i
；
[0016]
步骤七：得到块级特征之后，把高斯块z
i
映射到第一对称正定矩阵中，再通过高斯分 布将映射到第一对称正定矩阵中的高斯块级特征建模成高斯区域特征；同时，将高斯区域 特征矩阵嵌入到第二对称正定矩阵中；最后采用第二对称正定矩阵中的高斯区域特征构成 一幅行人图像的高斯
‑
高斯特征f
gog
；
[0017]
步骤八：按照行人的身份对齐加权局部最大发生特征f
wlomo
和高斯
‑
高斯特征f
gog
， 通过级联的方法把二者的特征映射过程简化到一个特征映射空间f；
[0018]
步骤九：使用样本判定的方法来选择使用不同的度量学习方法，来计算两幅行人图像 特征间的距离，以此来表示两幅行人图像间的相似度：若当前训练集样本量小于判定的训 练集样本量时，采用xqda方法；若当前训练集样本量大于判定的训练集样本量时，采用k
‑
xqda方法。
[0019]
步骤二中，所述同一水平位置的所有子窗口的像素特征最大发生率特征为和f
siltp
，即：
[0020][0021][0022]
其中，hsv和siltp分别是图像像素的颜色和纹理特征，ρ
hsv
是所有子窗口hsv颜色值发 生率，ρ
siltp
是所有子窗口siltp纹理值发生率。
[0023]
步骤三中，所述引入的像素特征分布的均值信息为即：
[0024][0025]
对所述以参数a(a∈[0,1])对像素分布的最大值和均值进行加权相加，得到最终的颜色特 征f
hsv
，即：
[0026][0027]
步骤四中，所述形成的行人图像的特征为f
wlomo
，即：
[0028]
f
wlomo
＝[f
hsv
,f
siltp
]
[0029]
其中，f
wlomo
是加权融合的wlomo颜色特征，f
siltp
是纹理特征。
[0030]
步骤五中，所述像素级特征为f，即：
[0031]
f＝[y,f
mθ
,f
rgb
,f
hsv
,f
lab
,f
rg
]
t
[0032]
其中，[
·
]
t
代表矩阵的转置；f中的颜色特征为f
rgb
，f
hsv
，f
lab
，f
rg
，其中f
rgb
的特征值 为行人图像红绿蓝颜色空间的通道值，f
hsv
的特征值为行人图像色调、饱和度、明度颜色 空间的通道值，f
lab
的特征值为行人图像ab亮度颜色空间的通道值，f
rg
的特征值为行人 图像rg颜色空间的通道值；纹理特征为m
θ
由二维坐标系四个标准方向上的像素强 度梯度值组成；空间特征为y，y是图像垂直方向上像素的位置。
[0033]
步骤六中，所述形成的高斯块为z
i
，即：
[0034][0035]
其中，μ
s
是块s的均值向量，∑
s
是块s的协方差矩阵，是块s协方差矩阵的逆。
[0036]
步骤七中，所述行人图像的gog特征为f
gog
，即：
[0037][0038]
步骤八中，所述特征映射空间为f，即：
[0039]
f＝[f
wlomo
,f
gog
]。
[0040]
步骤九中，xqda的方法如下：求得摄像头a中行人x
i
＝[x
i1
,x
i2
,...,x
in
]与摄像头b
中行人 z
j
＝[z
j1
,z
j2
,...,z
jn
]之间的相似度d(x
i
,z
j
)，即：
[0041]
d(x
i
,z
j
)＝(x
i
‑
z
j
)
t
m(x
i
‑
z
j
)
[0042]
其中，m的表达式为：
[0043][0044]
其中，定义同一行人图像之间的关系为类内关系，不同行人图像之间的关系为类间关系；是类内协方差矩阵的逆，是类间协方差矩阵的逆；
[0045]
首先定义一个代表了类内和类间关系的n
×
r维的映射矩阵其中w
r
是w中的第r列向量，代表n
×
r维的实数域；xqda将原始的高维度空间映射 到一个低维的空间；因此，可以将d(x
i
,z
j
)写为：
[0046][0047]
其中，∑'
i
＝w
t
∑
i
w，∑'
e
＝w
t
∑
e
w，∑
i
是类内协方差矩阵，∑
e
是类间协方差矩阵；
[0048]
先求解w，再求解类内和类间协方差矩阵，最后计算行人图像间相似度d；求解w的 问题可以转换为求解j(w
k
)的广义瑞利熵问题，即：
[0049][0050]
其中，的特征值的特征向量对应着映射空间w中的子空间w
k
(k∈[1,r])。
[0051]
步骤九中，所述k
‑
xqda方法在xqda方法的基础上，使用核函数将原始样本映射到容 易区分的非线性空间中，再引入两种分别对应摄像头a和b中行人的膨胀系数α(α∈[0,1])和 β(β∈[0,1])；因此，核化后的映射矩阵w
k
(k∈[1,b])的表达式为：
[0052][0053]
其中，φ
x
＝[φ(x1),...,φ(x
n
)]，φ(x
n
)代表摄像头a中行人特征x
n
通过核函数计算后的行人 特征，φ
x
代表摄像头a中核化后的行人特征集；φ
z
＝[φ(z1),...,φ(z
m
)]，φ(z
m
)代表摄像头b 中行人特征z
m
通过核函数计算后的行人特征，φ
z
代表摄像头b中核化后的行人特征集；w
k
可以写为w
k
＝φ
x
α
k
φ
z
β
k
＝φθ
k
，，是第n个行人图像特征在第k 个子空间中的膨胀系数，是第m个行人图像特征在第k个子空间 中的膨胀系数，θ
k
＝[α
k
,β
k
]
t
，φ＝[φ
x
,φ
z
]；j(w
k
)经过核变换的表达式为：
[0054][0055]
其中，核化的函数j(θ
k
)是广义瑞丽熵的形式，因此θ
k
的 优化解对应优化解对应是λ
i
的逆的前b个最大特征值的特征向量，代表(n m)
×
(n m)维的实数域实数显示的方框；
[0056]
对于距离度量函数d(x
i
,z
j
)来说，核化后的形式为：
[0057]
[0058]
其中，
[0059]
本发明通过在特征映射空间中引入水平方向图像块分布的均值与最大值加权融合 模型，优化了局部特征。又引入具有将像素特征的均值和协方差层次化的高斯分布模型， 增强了特征表达。将两种鲁棒性较好的特征映射过程整合到一个特征映射空间，简化了 特征提取模型的过程。利用样本判定来选择合适的度量学习方法，进一步提高行人重识 别精度。
附图说明
[0060]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技 术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根 据这些附图获得其他的附图。
[0061]
图1为本发明的框架图；
[0062]
图2为本发明的流程图。
具体实施方式
[0063]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地 描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本 发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实 施例，都属于本发明保护的范围。
[0064]
如图1和2所示，本发明包括以下步骤：
[0065]
(1)前期准备。收集多个来自两个不同摄像头在不同时间不同地点拍摄到的同一行人 图像，并组成图像数据集。同时，将数据集随机划分为训练集和测试集。
[0066]
(2)对于一幅大小为h
×
w(长
×
宽)行人图像，采用m
×
m(tn m＜w,n∈n ，其中n 为正整数集合)的滑动子窗口表示一幅行人图像的局部区域，在每个子窗口提取8
×8×
8bin 的联合色调、饱和度、明度(hue,saturation,value,hsv)颜色发生率特征和两个尺度的尺度 不变局部三值模式(scale invariant local ternary pattern,siltp)纹理发生率特征。设定同一 水平位置所有子窗口的颜色最大发生率特征为同一水平位置所有子窗口的纹理最大 发生率特征为f
siltp
。根据得到的颜色特征和纹理特征，通过求最大值的方法，计算和 f
siltp
，即：
[0067][0068][0069]
其中，hsv和siltp分别是图像像素的颜色和纹理特征，ρ
hsv
是所有子窗口hsv颜色 值发生率，ρ
siltp
是所有子窗口siltp纹理值发生率。
[0070]
(3)考虑到像素特征最大化可能会丢失部分行人特征，而行人所穿的衣服往往在每个 局部由少量的颜色组成，均值信息在行人背景变化不大的情况下，能增强行人图像的特征 表达，所以在特征表达中引入颜色特征的均值信息。设定同一水平位置所有子窗口的
discriminant analysis,k
‑
xqda)方 法。
[0088]
为了综合xqda和k
‑
xqda二者的优点，使实际的行人重识别任务获得更好的匹配率， 使用样本判定的方法来选择使用。若当前训练集样本量小于判定的样本量时，采用xqda 方法。若当前训练集样本量大于判定的训练集样本量时，采用k
‑
xqda方法，表达式为：
[0089][0090]
其中，s是当前样本量，s是判定的样本量。当训练集样本数量s小于或等于判定的样 本量s，计算行人图像间相似度d时采用xqda度量学习方法d
xqda
，即d＝d
xqda
；当训练 集样本数量s大于判定的样本量s，计算行人图像间相似度d时采用k
‑
xqda度量学习方法 d
k
‑
xqda
，即d＝d
k
‑
xqda
。
[0091]
在该技术方案中，步骤(9)中，所述的xqda方法是在经典的度量学习方法基础上， 进行的改进。具体的，经典的度量学习方法需要求得摄像头a中行人x
i
＝[x
i1
,x
i2
,...,x
in
]与 摄像头b中行人z
j
＝[z
j1
,z
j2
,...,z
jn
]之间的相似度d(x
i
,z
j
)，即：
[0092]
d(x
i
,z
j
)＝(x
i
‑
z
j
)
t
m(x
i
‑
z
j
)
[0093]
其中，m的表达式为：
[0094][0095]
其中，定义同一行人图像之间的关系为类内关系，不同行人图像之间的关系为类间关 系。是类内协方差矩阵的逆，是类间协方差矩阵的逆。xqda方法添加了类内和类 间的关系，结合了降维和度量学习的思想。因此，首先定义一个代表了类内和类间关系的 n
×
r维的映射矩阵其中w
r
是w中的第r列向量，代表n
×
r 维的实数域。xqda将原始的高维度空间映射到一个低维的空间。因此，可以将d(x
i
,z
j
)写 为：
[0096][0097]
其中，∑'
i
＝w
t
∑
i
w，∑'
e
＝w
t
∑
e
w，∑
i
是类内协方差矩阵，∑
e
是类间协方差矩阵。
[0098]
由于上述行人图像间相似度d中包含逆矩阵，直接计算行人图像间相似度d是非常困 难的，可以转换为先求解w，再求解类内和类间协方差矩阵，最后计算行人图像间相似度 d。求解w的问题可以转换为求解j(w
k
)的广义瑞利熵问题，即：
[0099][0100]
其中，的特征值的特征向量对应着映射空间w中的子空间w
k
(k∈[1,r])。
[0101]
在该技术方案中，步骤(9)中，所述k
‑
xqda方法在xqda方法的基础上，使用核 函数将原始样本映射到容易区分的非线性空间中，再引入两种分别对应摄像头a和b中行 人的膨胀系数α(α∈[0,1])和β(β∈[0,1])。因此，核化后的映射矩阵w
k
(k∈[1,b])的表达式为：
[0102][0103]
其中，φ
x
＝[φ(x1),...,φ(x
n
)](φ(x
n
)代表摄像头a中行人特征x
n
通过核函数计
算后的行人 特征，φ
x
代表摄像头a中核化后的行人特征集)。φ
z
＝[φ(z1),...,φ(z
m
)](φ(z
m
)代表摄像头b 中行人特征z
m
通过核函数计算后的行人特征，φ
z
代表摄像头b中核化后的行人特征集)。w
k
可以写为w
k
＝φ
x
α
k
φ
z
β
k
＝φθ
k
。(是第n个行人图像特征在第k 个子空间中的膨胀系数)，(是第m个行人图像特征在第k个子空 间中的膨胀系数)，θ
k
＝[α
k
,β
k
]
t
，φ＝[φ
x
,φ
z
]。j(w
k
)经过核变换的表达式为：
[0104][0105]
其中，核化的函数j(θ
k
)是广义瑞丽熵的形式，因此θ
k
的 优化解对应(是λ
i
的逆)的前b个最大特征值的特征向量，的逆)的前b个最大特征值的特征向量，代表(n m)
×
(n m)维的实数域。
[0106]
对于距离度量函数d(x
i
,z
j
)来说，核化后的形式为：
[0107][0108]
其中，
[0109]
实验数据采用行人重识别领域公开的数据集viper、prid450s、cuhk01。其中，viper 数据集包含632个不同身份的行人，每个行人有两张来自不同摄像头的图像；prid450s 数据集包含450个不同身份的行人，每个行人有两张从不相交的摄像头捕获的图像； cuhk01数据集包含3884张由971个不同身份的行人的图像。
[0110]
在viper数据集中，采用提出的wlomo特征结合xqda和k
‑
xqda度量学习方法 较lomo特征结合xqda度量学习方法的精度分别提升了10.47％和8.16％。在prid450s 数据集中，采用提出的wlomo特征结合xqda和k
‑
xqda度量学习方法较lomo特征 结合xqda度量学习方法的精度分别提升了12.09％和6.94％。在cuhk01数据集中，采 用提出的wlomo特征结合xqda和k
‑
xqda度量学习方法较lomo特征结合xqda 度量学习方法的精度分别提升了15.03％和16.83％。
[0111]
以上结合附图详细说明了本发明的技术方案，本发明的技术方案提出了一种新的基于 特征映射空间和样本判定的行人重识别方法。
[0112]
该方法首先，在映射空间中引入水平方向图像块分布的均值与最大值加权融合模型， 能优化局部特征；其次，引入具有将像素特征的均值和协方差层次化的高斯分布模型，能 增强特征表达；最后，考虑训练样本数量对度量学习精度的影响，利用样本判定来选择合 适的度量学习方法，能进一步提高行人重识别精度。本发明针对行人重识别中图像视觉模 糊的存在会影响特征提取的质量，进一步影响度量学习和行人重识别的匹配率问题，以及 传统的度量学习方法对于样本数量的变化都采用单一的策略进行处理，没有考虑方法本身 对样本数量变化产生的精度影响问题，提出一种特征映射空间和样本判定的行人重识别方 法。
[0113]
在本发明的描述中，需要说明的是，对于方位词，如有术语“中心”，“横向”、“纵 向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、竖 直”、“水平”、“顶”、
“
底”、“内”、“外”、“顺时针”、“逆时针”等指示方位和位 置关系为基于附图所示的方位或位置关系，仅是为了便于叙述本发明和简化描述，而不是 指示或暗示所指的装置或元件必须具有特定的方位、以特定方位构造和操作，不能理解为 限制本发明的具体保护范围。
[0114]
需要说明的是，本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于 区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适 当情况下可以互换，以便这里描述的本技术的实施例。此外，术语“包括”和“具有
”ꢀ
以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过 程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清 楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0115]
注意，上述仅为本发明的较佳实施例及运用技术原理。本领域技术人员会理解，本发 明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新 调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行较详 细的说明，但本发明不限于这里所述的特定实施例，在不脱离本发明构思的情况下，还可 以包括更多其他等有效实施例，而本发明的范围由所附的权利要求范围决定。