图像传输方法、可移动平台及计算机可读存储介质与流程

1.本申请涉及图像传输技术领域，尤其涉及一种图像传输方法、可移动平台及计算机可读存储介质。


背景技术：

2.目前，在无人机系统中，无人机将视频数据通过无线通信链路传输给控制终端时，存在平衡流畅度和清晰度的问题。图像传输的帧率越高，控制终端显示的图像传输画面越流畅，但是由于带宽的限制，能够分配到每一帧的传输比特数就越少，从而导致单帧图像的清晰度越低。
3.现有技术中，用户可以通过控制终端手动选择帧率，然而用户主观地选择帧率可能导致调整不及时或者准确性低的问题。


技术实现要素：

4.本申请实施例提供一种图像传输方法、可移动平台及计算机可读存储介质，可以提高目标帧率确定的及时性和准确性。
5.第一方面，本申请实施例提供了一种图像传输方法，所述方法应用于可移动平台，所述可移动平台包括图像采集装置，所述可移动平台与控制终端通信连接，所述方法包括：
6.获取所述图像采集装置采集的图像中目标像素点的移动特性；和/或，
7.获取所述可移动平台的运动状态信息；
8.根据所述图像中目标像素点的移动特性和/或所述可移动平台的运动状态信息，确定所述可移动平台向所述控制终端进行图像传输的目标帧率。
9.第二方面，本申请实施例还提供了一种可移动平台，所述可移动平台与控制终端通信连接，所述可移动平台包括：
10.图像采集装置，用于采集图像；
11.存储器，用于存储计算机程序；
12.处理器，用于调用所述存储器中的计算机程序，以执行：
13.获取所述图像采集装置采集的图像中目标像素点的移动特性；和/或，
14.获取所述可移动平台的运动状态信息；
15.根据所述图像中目标像素点的移动特性和/或所述可移动平台的运动状态信息，确定所述可移动平台向所述控制终端进行图像传输的目标帧率。
16.第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器加载，以执行本申请实施例提供的任一种图像传输方法。
17.本申请实施例可以获取图像采集装置采集的图像中目标像素点的移动特性；和/或，获取可移动平台的运动状态信息；根据图像中目标像素点的移动特性和/或可移动平台的运动状态信息，确定可移动平台向控制终端进行图像传输的目标帧率。该方案可以自动
确定目标帧率，而不需要用户手动选择，提高了目标帧率确定的及时性和准确性。
附图说明
18.为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1是本申请实施例提供的图像传输方法的应用场景的示意图；
20.图2是本申请实施例提供的无人机和控制终端交互的示意图；
21.图3是本申请实施例提供的图像传输方法的流程示意图；
22.图4是本申请实施例提供的从第一图像和第二图像中确定多个运动目标的示意图；
23.图5是本申请实施例提供的可移动平台的结构示意图。
具体实施方式
24.下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
25.附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
26.下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
27.本申请的实施例提供了一种图像传输方法、可移动平台及计算机可读存储介质，用于基于图像采集装置采集到的图像中目标像素点的移动特性和/或可移动平台的运动状态信息，确定可移动平台向控制终端进行图像传输的目标帧率，提高了目标帧率确定的及时性和准确性。
28.其中，可移动平台可以包括云台、平台本体、以及图像采集装置等，该平台本体可以用于搭载云台，该云台可以搭载图像采集装置，从而使得云台可以带动图像采集装置移动，该图像采集装置可以包括一个或多个。具体地，可移动平台和图像采集装置的类型可以根据实际需要进行灵活设置，具体内容在此处不做限定。例如，图像采集装置可以是相机或视觉传感器等，可移动平台可以为移动终端、无人机、机器人或云台相机等。该云台相机可以包括相机和云台等，该云台可以包括轴臂等，该轴臂可以带动相机移动，例如，通过轴臂控制相机移动到合适位置，以便通过相机采集所需的图像。其中，该相机可以是单目相机，该相机的类型可以是超广角相机、广角相机、长焦相机(即变焦相机)、红外相机、远红外相机、紫外相机、以及飞行时间测距(tof，time of flight)深度相机(简称tof深度相机)等。该无人机可以包括相机、测距装置以及障碍物感知装置等。该无人机还可以包括用于搭载相机的云台，该云台可以带动相机移动到合适位置，以便通过相机采集所需的图像。该无人机可以包括旋翼型无人机(例如四旋翼无人机、六旋翼无人机、或八旋翼无人机等)、固定翼
无人机、或者是旋翼型与固定翼无人机的组合，在此不作限定。
29.可移动平台还可以设置有全球定位系统(global positioning system，gps)等定位装置，用于可移动平台的移动位置进行准确定位。相机和定位装置之间的位置关系可以在同一平面上，在该平面内相机和定位装置之间可以是在同一直线上、或者形成预设的夹角等；当然，相机和定位装置之间也可分别位于不同的平面上。
30.图1是实施本申请实施例提供的图像传输方法的一场景示意图，如图1所示，以可移动平台为无人机为例，控制终端100与一无人机200通信连接，控制终端100可以用于控制无人机200的飞行或执行相应的动作，并从无人机200中获取相应的运动信息，运动信息可以包括飞行方向、飞行姿态、飞行高度、飞行速度和位置信息等，并将获取的运动信息发送给控制终端100，由控制终端100进行分析及显示等。控制终端100还可以接收用户输入的控制指令，基于控制指令对无人机200上的测距装置或相机等进行相应的控制。例如，控制终端100可以接收用户输入的拍摄指令或测距指令，并将拍摄指令或测距指令发送给无人机200，无人机200可以根据拍摄指令控制相机对采集到的画面进行拍摄，或者根据测距指令控制测距装置对目标物进行测距等。
31.具体地，控制终端100的类型可以根据实际需要进行灵活设置，具体内容在此处不做限定。例如，控制终端100可以是设置有显示器和控制按键等的遥控设备，用于与无人机200建立通信连接，并对无人机200进行控制，该显示器可以用于显示图像或视频等。该控制终端100还可以是第三方手机或平板电脑等，通过预设的协议与无人机200建立通信连接，并对无人机200进行控制。
32.在一些实施方式中，无人机200的障碍物感知装置可以获取无人机200周围的感测信号，通过对感测信号进行分析，可以得到障碍物信息，并在该无人机200的显示器内显示障碍物信息，使得用户可以获知无人机200感知到的障碍物，便于用户控制无人机200避开障碍物。其中，该显示器可以为液晶显示屏，也可以为触控屏等。
33.在一些实施方式中，障碍物感知装置可以包括至少一个传感器，用于获取来自无人机200的至少一个方向上的感测信号。例如，障碍物感知装置可以包括一个传感器，用于检测无人机200的前方的障碍物。例如，障碍物感知装置可以包括两个传感器，分别用于检测无人机200的前方和后方的障碍物。例如，障碍物感知装置可以包括四个传感器，分别用于检测无人机200的前方、后方、左方、以及右方的障碍物等。例如，障碍物感知装置可以包括五个传感器，分别用于检测无人机200的前方、后方、左方、右方、以及上方的障碍物等。例如，障碍物感知装置可以包括六个传感器，分别用于检测无人机200的前方、后方、左方、右方、上方、以及下方的障碍物。障碍物感知装置中的各个传感器可以是分离实现的，也可以是集成实现的。传感器的检测方向可以根据具体需要进行设置，以检测各种方向或方向组合的障碍物，而不仅限于本申请公开的上述形式。
34.无人机200可具有多个旋翼。旋翼可连接至无人机200的本体，本体可包含控制单元、惯性测量单元(inertial measuring unit，imu)、处理器、电池、电源和/或其他传感器。旋翼可通过从本体中心部分分支出来的一个或多个臂或延伸而连接至本体。例如，一个或多个臂可从无人机200的中心本体放射状延伸出来，而且在臂末端或靠近末端处可具有旋翼。
35.图2是实施本申请实施例提供的无人机与控制终端交互的示意图，如图2所示，以
可移动平台为无人机为例，以图像采集装置包括视觉传感器和相机为例，无人机可以通过视觉传感器采集图像，并确定图像中目标像素点的移动特性(例如偏移速率)，以及通过惯性测量单元imu获取无人机自身的运动状态信息(例如无人机的高度、平移运动速度、和/或偏航方向上的角速度等)，然后无人机可以进行帧率控制决策来确定目标帧率，即无人机可以基于图像中目标像素点的移动特性和/或无人机自身的运动状态信息，确定无人机向控制终端进行图像传输的目标帧率。此时可以基于目标帧率对相机采集到的图像进行视频编码，生成视频码流数据，通过无人机的无线通讯模块将视频码流数据发送给控制终端。控制终端可以通过自身的无线通讯模块接收无人机发送的视频码流数据，对视频码流数据进行解码，得到图像，并通过显示器显示该图像。
36.需要说明的是，图1和图2中的无人机和控制终端等各设备结构并未构成对图像传输方法的应用场景的限定。
37.请参阅图3，图3是本申请一实施例提供的一种图像传输方法的流程示意图。该图像传输方法可以应用于可移动平台中，用于准确确定目标帧率，以下将以可移动平台为无人机进行详细说明。
38.如图3所示，该图像传输方法可以包括步骤s101至步骤s102等，具体可以如下：
39.s101、获取图像采集装置采集的图像中目标像素点的移动特性；和/或，获取可移动平台的运动状态信息。
40.其中，无人机上可以预设一个或多个图像采集装置，该图像采集装置可以是相机或视觉传感器等。无人机在飞行的过程中，可以通过图像采集装置采集一帧或多帧图像。
41.在采集得到图像后，可以获取图像中目标像素点的移动特性，该目标像素点可以包括一个或多个，例如，目标像素点可以是特征点，或者目标像素点可以是背景区域内的像素点，或者目标像素点可以是运动目标所在区域的像素点，等等。移动特性可以用于表征目标像素点的移动状态，该移动特性可以根据实际需要进行灵活设置，具体内容在此处不做限定，例如，该移动特性可以是目标像素点的移动速率、加速度等。
42.在一些实施方式中，获取图像采集装置采集的图像中目标像素点的移动特性可以包括：获取图像采集装置采集的多帧图像中的第一图像和第二图像；获取第一图像的目标像素点的像素坐标和第二图像的目标像素点的像素坐标，第一图像的目标像素点与第二图像的目标像素点相对应；根据第一图像的目标像素点的像素坐标和第二图像的目标像素点的像素坐标确定目标像素点的移动特性。
43.为了提高目标像素点的移动特性确定的准确性，可以基于多帧图像中目标像素点的像素坐标确定移动特性。具体地，无人机可以通过图像采集装置每间隔预设时间采集一帧图像，经过预设时间段后，可以采集得到多帧图像，该每间隔预设时间和预设时间段可以根据时间需要进行灵活设置，具体取值在此处不做限定。此时，从多帧图像中提取目标像素点，并获取目标像素点在每帧图像上对应的像素坐标，根据每帧图像中目标像素点对应的像素坐标确定目标像素点的移动特性。例如，以两帧图像为例，可以从图像采集装置采集的多帧图像中筛选出第一图像和第二图像，该第一图像和第二图像可以是采集时间相邻的图像，也可以是采集时间非相邻的图像。例如，可以从图像采集装置采集的多帧图像中筛选出采集时间相邻的第一图像和第二图像，或者可以从图像采集装置采集的多帧图像中筛选出图像质量好的第一图像和第二图像，或者可以从图像采集装置采集的多帧图像中筛选出图
像清晰度高的第一图像和第二图像。
44.需要说明的是，图像采集装置可以基于初始帧率采集得到多帧图像。其中，当图像采集装置开始采集图像时，例如，图像采集装置开启时，可以将默认帧率设置为图像采集装置的初始帧率。
45.然后，可以获取第一图像的目标像素点的像素坐标和第二图像的目标像素点的像素坐标，其中，第一图像的目标像素点与第二图像的目标像素点相对应，例如，当目标像素点为运动的车辆的像素点时，可以获取第一图像中车辆所在区域的像素点的像素坐标，以及获取第二图像中该车辆所在区域的像素点的像素坐标。此时可以根据第一图像的目标像素点的像素坐标和第二图像的目标像素点的像素坐标确定目标像素点的移动特性。
46.在一些实施方式中，目标像素点可以包括背景对应的第一目标像素点和/或运动目标对应的第二目标像素点，第一图像的第一目标像素点与第二图像的第一目标像素点相对应，第一图像的第二目标像素点与第二图像的第二目标像素点相对应。
47.为了提高后续确定移动特性的精准性，可以将目标像素点划分为背景对应的第一目标像素点和/或运动目标对应的第二目标像素点，其中，运动目标可以是图像采集装置采集到的画面中存在移动的物体，运动目标可以包括一个或多个，例如，运动目标可以是行走的人、移动的车辆或奔跑的小狗等，该背景可以是图像采集装置采集到的画面中除了运动目标之外的区域。例如，可以对第一图像中背景和运动目标进行识别，并获取第一图像中背景对应的第一目标像素点的像素坐标，以及获取第一图像中运动目标对应的第二目标像素点的像素坐标，以及，可以对第二图像中背景和运动目标进行识别，并获取第二图像中背景对应的第一目标像素点的像素坐标，以及获取第二图像中运动目标对应的第二目标像素点的像素坐标。当然，可以也仅或者可以对第一图像中背景或运动目标进行识别，并获取第一图像中背景对应的第一目标像素点的像素坐标或运动目标对应的第二目标像素点的像素坐标，以及，可以对第二图像中背景或运动目标进行识别，并获取第二图像中背景对应的第一目标像素点的像素坐标或运动目标对应的第二目标像素点的像素坐标。
48.在一些实施方式中，图像传输方法还可以包括：基于预先训练的计算模型，识别第一图像和第二图像中的背景和/或运动目标。
49.为了提高对背景和/或运动目标识别的准确性，可以通过预先训练的计算模型对多帧图像中背景和/或运动目标进行识别，该预先训练的计算模型可以为深度学习模块，该预先训练的计算模型可以根据实际需要进行灵活设置，例如，该计算模型可以是目标检测算法ssd或yolo，该计算模型还可以是卷积神经网络r
‑
cnn或faster r
‑
cnn等，例如，可以获取包含不同类型的运动目标和背景的多张样本图像，基于多张样本图像对计算模型进行训练，得到训练后的计算模型，即预先训练的计算模型。此时对于采集到的第一图像和第二图像等多帧图像，可以通过预先训练的计算模型精准识别出第一图像中的背景和/或运动目标，以及精准识别出第二图像中的背景和/或运动目标，以便获取背景和/或运动目标所在区域的像素点的像素坐标。
50.需要说明的是，对背景识别的计算模型与对运动目标识别的计算模型可以相同，也可以不同，例如，通过预先训练的第一计算模型对第一图像和第二图像等多帧图像中的背景进行识别，得到每帧图像上背景区域所在位置，并根据背景区域所在位置确定每帧图像上背景区域的像素坐标。以及，通过预先训练的第二计算模型对第一图像和第二图像等
多帧图像中的运动目标进行识别，得到每帧图像上运动目标所在位置，并根据运动目标所在位置确定每帧图像上运动目标的像素坐标，其中，第一计算模型和第二计算模型可以相同也可以不同。
51.在一些实施方式中，图像中的背景区域或运动目标所在的区域可能包括多个像素。可以针对图像中的背景区域和运动目标所在的区域提取特征点，将提取得到的特征点作为目标像素点，并利用特征点匹配的方法确定第一图像中的目标像素点与第二图像中的目标像素点之间的对应关系。
52.在一些实施方式中，运动目标可以包括多个待选运动目标中对应的图像区域面积最大的一个或前多个运动目标；或者，运动目标可以包括多个待选运动目标中运动幅度最大的一个或前多个运动区域。
53.为了提高后续确定移动特性的精准性，可以获取可靠的一个或多个运动目标的像素坐标来确定移动特性，即运动目标可以包括一个或多个。在一实施例中，可以基于图像区域面积筛选运动目标，具体地，当从图像中可以识别出多个待选运动目标时，可以获取各个待选运动目标所占的图像区域面积，并从多个待选运动目标中筛选出图像区域面积最大的一个或前多个运动目标，例如，可以从多个待选运动目标中筛选出图像区域面积最大的一个运动目标或者图像区域面积最大的前3个运动目标。在另一实施例中，可以基于运动幅度筛选运动目标，具体地，当从图像中可以识别出多个待选运动目标时，可以获取各个待选运动目标的运动幅度，并从多个待选运动目标中筛选出运动幅度最大的一个或前多个运动目标，例如，可以从多个待选运动目标中筛选出运动幅度最大的一个运动目标或者运动幅度最大的前3个运动目标。
54.在一些实施方式中，根据第一图像的目标像素点的像素坐标和第二图像的目标像素点的像素坐标确定目标像素点的移动特性可以包括：根据第一图像的目标像素点的像素坐标和第二图像的目标像素点的像素坐标确定相对位置差；根据相对位置差和第一图像与第二图像的采集时间间隔，确定目标像素点的偏移速率；根据偏移速率确定目标像素点的移动特性。
55.为了提高目标像素点的移动特性确定的灵活性和便捷性，可以基于目标像素点的相对位置差来确定移动特性。具体地，可以获取图像采集装置采集的多帧图像中目标像素点的像素坐标之间的相对位置差，以及，多帧图像的采集时间间隔，根据该相对位置差和采集时间间隔确定的目标像素点的移动特性。例如，以两帧图像为例，该两帧图像包括第一图像和第二图像，可以根据第一图像的目标像素点的像素坐标和第二图像的目标像素点的像素坐标确定相对位置差，例如，可以通过以下公式(1)确定相对位置差δa：
[0056][0057]
其中，(x
i
,y
i
)表示第一图像的目标像素点的像素坐标，(x
k
,y
k
)表示第二图像的目标像素点的像素坐标。
[0058]
以及，可以获取第一图像与第二图像的采集时间间隔t，然后，可以根据相对位置差δa和第一图像与第二图像的采集时间间隔t，确定目标像素点的偏移速率，具体可以如下公式(2)所示：
[0059][0060]
其中，p表示目标像素点的偏移速率，δa表示相对位置差，t表示采集时间间隔。
[0061]
此时，可以根据偏移速率确定目标像素点的移动特性。
[0062]
在一些实施方式中，根据偏移速率确定目标像素点的移动特性可以包括：将第一目标像素点的偏移速率和第二目标像素点的偏移速率进行加权平均，以用加权平均后的偏移速率表征目标像素点的移动特性。
[0063]
当目标像素点包括第一目标像素点和第二目标像素点时，例如，目标像素点包括背景对应的第一目标像素点以及运动目标对应的第二目标像素点，可以基于第一目标像素点在第一图像和第二图像中的像素坐标，确定第一目标像素点的偏移速率，以及基于第二目标像素点在第一图像和第二图像中的像素坐标，确定第二目标像素点的偏移速率。然后，将第一目标像素点的偏移速率和第二目标像素点的偏移速率进行加权平均，以用加权平均后的偏移速率表征目标像素点的移动特性，具体可以如下公式(3)所示：
[0064][0065]
其中，表示偏移速率，即目标像素点的移动特性，p1表示第一目标像素点的偏移速率，p2表示第二目标像素点的偏移速率。
[0066]
需要说明的是，当目标像素点包括第一目标像素点和第二目标像素点时，例如，目标像素点包括背景对应的第一目标像素点以及运动目标对应的第二目标像素点，可以基于第一目标像素点在第一图像和第二图像中的像素坐标，确定第一目标像素点的偏移速率，以及基于第二目标像素点在第一图像和第二图像中的像素坐标，确定第二目标像素点的偏移速率。然后，可以获取第一目标像素点的权重值(例如背景的权重值)和第二目标像素点的权重值(例如运动目标的权重值)，根据第一目标像素点的权重值、第一目标像素点的偏移速率、第二目标像素点的权重值、第二目标像素点的偏移速率进行加权求和运算，以用加权求和后的偏移速率表征目标像素点的移动特性，具体可以如下公式(4)所示：
[0067][0068]
其中，表示偏移速率，即目标像素点的移动特性，p1表示第一目标像素点的偏移速率，p2表示第二目标像素点的偏移速率，a
11
表示第一目标像素点的权重值，a
12
表示第二目标像素点的权重值，a
11
a
12
＝1。
[0069]
以下将以目标像素点包括背景对应的目标像素点、第一运动目标对应的目标像素点、第二运动目标对应的目标像素点、以及第三运动目标对应的目标像素点为例，以及以第一图像和第二图像为例进行详细说明。
[0070]
具体地，可以获取第一图像中背景对应的目标像素点的像素坐标b，以及获取第二图像中背景对应的目标像素点的像素坐标b'，其中，
[0071]
b＝{(x
i
,y
i
)}
[0072]
b'＝{(x
k
,y
k
)}
[0073]
(x
i
,y
i
)表示背景在第一图像中的像素坐标，(x
k
,y
k
)表示背景在第二图像中的像素坐标。
[0074]
基于(x
i
,y
i
)和(x
k
,y
k
)，获取第一图像和第二图像上背景的相对位置差，即获取第一图像上b和第二图像上b'的像素坐标之间的相对位置差δb：
[0075][0076]
获取第一图像和第二图像的采集时间间隔t，根据采集时间间隔t和相对位置差δb确定背景对应的偏移速率p
b
：
[0077][0078]
如图4所示，可以从第一图像和第二图像中识别出除去背景之外的运动目标{s
i
}，可以取其中3个占据图像区域面积最大(即占据图像像素最多)的三个运动目标在第一图像上的像素坐标{s1,s2,s3}，其中，s1表示在第一图像上第一运动目标对应的目标像素点的像素坐标，s2表示在第一图像上第二运动目标对应的目标像素点的像素坐标，s3表示在第一图像上第三运动目标对应的目标像素点的像素坐标。以及获取三个运动目标在第二图像上的像素坐标{s'1,s'2,s'3}，其中，s'1表示在第二图像上第一运动目标对应的目标像素点的像素坐标，s'2表示在第二图像上第二运动目标对应的目标像素点的像素坐标，s'3表示在第二图像上第三运动目标对应的目标像素点的像素坐标。其中，
[0079][0080][0081]
表示运动目标在第一图像中的像素坐标，表示运动目标在第二图像中的像素坐标，图4中，表示第一运动目标在第一图像中的像素坐标，表示第一运动目标在第二图像中的像素坐标，表示第二运动目标在第一图像中的像素坐标，表示第二运动目标在第二图像中的像素坐标，表示第三运动目标在第一图像中的像素坐标，表示第三运动目标在第二图像中的像素坐标。
[0082]
然后，可以获取第一图像和第二图像中3个运动目标的相对位置差，即获取第一图像上s1和第二图像上s1'的像素坐标之间的相对位置差δs1、第一图像上s2和第二图像上s'2的像素坐标之间的相对位置差δs2、以及第一图像上s3和第二图像上s'3的像素坐标之间的相对位置差δs3，具体可以如下：
[0083][0084]
其中，δs
j
表示3个运动目标的相对位置差，此时可以根据第一图像和第二图像的采集时间间隔t和3个运动目标的相对位置差δs
j
确定各个运动目标对应的偏移速率p
tj
：
[0085][0086]
其中，p
t1
表示第一运动目标对应的偏移速率，p
t2
表示第二运动目标对应的偏移速率，p
t3
表示第三运动目标对应的偏移速率，δs1表示第一运动目标在第一图像和第二图像
上的相对位置差，δs2表示第二运动目标在第一图像和第二图像上的相对位置差，δs3表示第三运动目标在第一图像和第二图像上的相对位置差。
[0087]
在得到背景对应的偏移速率p
b
、第一运动目标对应的偏移速率p
t1
、第二运动目标对应的偏移速率p
t2
、以及第三运动目标对应的偏移速率p
t3
后，可以确定综合计算目标偏移速率
[0088][0089]
其中，表示目标偏移速率，p
b
表示背景对应的偏移速率，p
t1
表示第一运动目标对应的偏移速率，p
t2
表示第二运动目标对应的偏移速率，p
t3
表示第三运动目标对应的偏移速率，a0表示背景对应的偏移速率的权重值，a1表示表示第一运动目标对应的偏移速率的权重值，a2表示表示第二运动目标对应的偏移速率的权重值，a3表示表示第三运动目标对应的偏移速率的权重值，a0 a1 a2 a3＝1。
[0090]
此时，可以利用目标偏移速率表征目标像素点的移动特性。
[0091]
在一些实施方式中，获取可移动平台的运动状态信息可以包括：获取可移动平台的高度、平移运动速度、和/或偏航方向上的角速度。
[0092]
其中，可移动平台的运动状态信息可以包括可移动平台的高度、平移运动速度、以及偏航方向上的角速度中的至少一种，以可移动平台为无人机为例，运动状态信息可以包括可无人机飞行的高度、平移运动速度、以及偏航方向上的角速度中的至少一种，该高度可以是无人机距离地面的高度，该平移运动速度可以是无人机的飞行速度。在此实施方式中，考虑可移动平台的高度可以进一步提高帧率调整的准确性。举个例子，当无人机以相同的速度，在贴近地面的高度和远离地面的高度拍摄视频时，用户的视觉感知是完全不同的。贴近地面时用户视觉感知的速度相对于远离地面时用户视觉感知的速度更大。因此，在考虑平移运动速度、以及偏航方向上的角速度的基础上进一步参考高度，可以使得帧率的调整更加符合用户的直观感受。
[0093]
需要说明的是，该运动状态信息还可以包括飞行方向、飞行姿态或位置信息等其他信息，具体内容在此处不做限定。
[0094]
在一些实施方式中，获取可移动平台的高度、平移运动速度、和/或偏航方向上的角速度可以包括：通过可移动平台安装的惯性测量单元，获取可移动平台的高度、平移运动速度、和/或偏航方向上的角速度。
[0095]
为了提高运动状态信息获取的便捷性和准确性，可以通过可移动平台(例如无人机)安装的惯性测量单元imu，获取可移动平台的高度、平移运动速度、和/或偏航方向上的角速度等信息。
[0096]
s102、根据图像中目标像素点的移动特性和/或可移动平台的运动状态信息，确定可移动平台向控制终端进行图像传输的目标帧率。
[0097]
以可移动平台为无人机为例，在得到目标像素点的移动特性后，可以根据目标像素点的移动特性确定无人机向控制终端进行图像传输的目标帧率；或者，在得到无人机的运动状态信息后，可以根据无人机的运动状态信息确定无人机向控制终端进行图像传输的目标帧率；或者，在得到目标像素点的移动特性和无人机的运动状态信息后，可以根据目标像素点的移动特性和无人机的运动状态信息，确定无人机向控制终端进行图像传输的目标
帧率。从而使得无人机可以智能感知当前的飞行环境，结合无人机的视觉感知的移动特性以及检测到的运动状态信息，自适应的动态调整图像传输的目标帧率，以便后续控制终端达到显示图像传输画面的流畅度和清晰度的最佳平衡，以提升整体航拍的图像传输的效果。
[0098]
在一些实施方式中，目标像素点的移动特性用目标像素点的偏移速率表征，根据图像中目标像素点的移动特性，确定可移动平台向控制终端进行图像传输的目标帧率可以包括：当偏移速率小于第一预设速率阈值时，将第一帧率设置为目标帧率；或者，当偏移速率大于第二预设速率阈值时，将第二帧率设置为目标帧率；或者，当偏移速率大于或等于第一预设速率阈值，且偏移速率小于或等于第二预设速率阈值时，将当前帧率设置为目标帧率；其中，第一预设速率阈值小于第二预设速率阈值，第一帧率小于第二帧率。
[0099]
为了提高目标帧率确定的便捷性，可以仅利用目标像素点的偏移速率来确定目标帧率，具体地，在得到目标像素点的偏移速率后，可以获取与目标像素点的偏移速率对应的帧率控制决策，根据帧率控制决策确定与目标像素点的偏移速率对应的图像传输的目标帧率，其中，帧率控制决策可以是多个不同的偏移速率与各个帧率之间的映射关系，通过查询该映射关系可以确定与目标像素点的偏移速率对应的图像传输的目标帧率。或者，帧率控制决策可以是偏移速率与帧率之间的计算转换关系，通过该计算转换关系可以基于目标像素点的偏移速率计算得到对应的图像传输的目标帧率。当然，该帧率控制决策还可以根据实际需要进行灵活设置，具体内容在此处不做限定。
[0100]
例如，在得到目标像素点的偏移速率后，可以判断偏移速率是否小于第一预设速率阈值，当偏移速率小于第一预设速率阈值时，说明无人机的飞行速度较慢，视频画面的内容变化较慢，为了保障采集到每帧图像的高清晰度，提升航拍的图像传输的画质，此时可以采用较低帧率，即将第一帧率设置为目标帧率。或者，当偏移速率大于第二预设速率阈值时，说明视频画面的内容变化较快，为了保障后续视频播放的流畅度，提升航拍的图像传输的效果，此时可以采用较高帧率，即将第二帧率设置为目标帧率。或者，当偏移速率大于或等于第一预设速率阈值，且偏移速率小于或等于第二预设速率阈值时，说明无人机的飞行状态变化不大，不需要对帧率进行调整，此时可以维持当前帧率不变，将当前帧率设置为目标帧率。具体可以如下所示：
[0101]
ifthen，选择帧率k2；
[0102]
else if then，选择帧率k1；
[0103]
else保持当前帧率不变。
[0104]
其中，表示目标像素点的偏移速率，p
u
表示第二预设速率阈值，p
l
表示第一预设速率阈值，k2表示第二帧率，k1表示第一帧率。第一预设速率阈值小于第二预设速率阈值，第一帧率小于第二帧率，第一预设速率阈值、第二预设速率阈值、第一帧率、以及第二帧率可以根据实际需要进行灵活设置，具体取值在此处不做限定。例如，高清模式对应的帧率可以为30fps，流畅模式对应的帧率可以为60fps等。
[0105]
需要说明的是，帧率的调节不仅限于第一帧率和第二帧率等，还可以包括第三帧率、第四帧率、第五帧率等多个不同帧率，可以建立多个不同帧率与各个偏移速率之间的映射关系，以便基于多个不同帧率与各个偏移速率之间的映射关系，确定当前检测得到的偏
移速率对应的帧率，得到目标帧率。
[0106]
在一些实施方式中，根据可移动平台的运动状态信息，确定可移动平台向控制终端进行图像传输的目标帧率可以包括：若高度小于第一高度阈值，且平移运动速度大于第一速度阈值，则将第二帧率设置为目标帧率；若高度大于或等于第一高度阈值，或平移运动速度小于或等于第一速度阈值，则判断角速度是否大于角速度阈值；若角速度大于角速度阈值，则将第二帧率设置为目标帧率；若角速度小于或等于角速度阈值，则判断高度是否大于第二高度阈值，且平移运动速度是否小于第二速度阈值；若高度大于第二高度阈值，且平移运动速度小于第二速度阈值，则将第一帧率设置为目标帧率；若高度小于或等于第二高度阈值，或平移运动速度大于或等于第二速度阈值，则将当前帧率设置为目标帧率；其中，第一高度阈值小于第二高度阈值，第一速度阈值小于第二速度阈值，第一帧率小于第二帧率。
[0107]
以可移动平台为无人机为例，为了提高目标帧率确定的灵活性和效率，可以仅利用无人机的运动状态信息来确定目标帧率，具体地，在得到无人机的高度、平移运动速度、以及偏航方向上的角速度等运动状态信息后，可以获取与运动状态信息对应的帧率控制决策，根据帧率控制决策确定与运动状态信息对应的图像传输的目标帧率，其中，帧率控制决策可以是多个不同的运动状态信息与各个帧率之间的映射关系，通过查询该映射关系可以确定与当前检测得到的运动状态信息对应的图像传输的目标帧率。或者，帧率控制决策可以是运动状态信息与帧率之间的计算转换关系，通过该计算转换关系可以基于运动状态信息计算得到对应的图像传输的目标帧率。当然，该帧率控制决策还可以根据实际需要进行灵活设置，具体内容在此处不做限定。
[0108]
例如，在得到无人机的高度、平移运动速度、以及偏航方向上的角速度等运动状态信息后，可以判断高度是否小于第一高度阈值，且平移运动速度是否大于第一速度阈值，若高度小于第一高度阈值，且平移运动速度大于第一速度阈值，则说明视频画面的内容变化较快，为了保障后续视频播放的流畅度，提升航拍的图像传输的效果，此时可以采用较高帧率，即将第二帧率设置为目标帧率。若高度大于或等于第一高度阈值，或平移运动速度小于或等于第一速度阈值，则可以进一步判断角速度是否大于角速度阈值；若角速度大于角速度阈值，则说明视频画面的内容变化较快，为了保障后续对图像生成视频播放的流畅度，提升航拍的图像传输的效果，此时可以采用较高帧率，即将第二帧率设置为目标帧率；若角速度小于或等于角速度阈值，则可以进一步判断高度是否大于第二高度阈值，且平移运动速度是否小于第二速度阈值；若高度大于第二高度阈值，且平移运动速度小于第二速度阈值，则说明视频画面的内容变化较慢，为了保障采集到每帧图像的高清晰度，提升航拍的图像传输的画质，此时可以采用较低帧率，即将第一帧率设置为目标帧率；若高度小于或等于第二高度阈值，或平移运动速度大于或等于第二速度阈值，则说明无人机的飞行状态变化不大，不需要对帧率进行调整，此时可以维持当前帧率不变，将当前帧率设置为目标帧率。具体可以如下所示：
[0109]
if h<h
l
且v>v
l
，then，选择帧率k2；
[0110]
eles if w
y
>w
t
，then，选择帧率k2；
[0111]
else if h>h
u
且v<v
u
，then，选择帧率k1；
[0112]
else保持当前帧率不变。
[0113]
其中，h表示高度，v表示平移运动速度，w
y
表示偏航方向上的角速度，h
l
表示第一高度阈值，h
u
表示第二高度阈值，v
l
表示第一速度阈值，v
u
表示第二速度阈值，w
t
表示角速度阈值，k2表示第二帧率，k1表示第一帧率。第一高度阈值小于第二高度阈值，第一速度阈值小于第二速度阈值，第一帧率小于第二帧率。第一预设速率阈值、第二预设速率阈值、第一帧率、以及第二帧率可以根据实际需要进行灵活设置，具体取值在此处不做限定。
[0114]
需要说明的是，帧率的调节不仅限于第一帧率和第二帧率等，还可以包括第三帧率、第四帧帧率、第五帧率等多个不同帧率，可以建立多个不同帧率与各个运动状态信息之间的映射关系，以便基于多个不同帧率与各个运动状态信息之间的映射关系，确定当前检测得到的运动状态信息对应的帧率，得到目标帧率。此外，当平移运动速度和角速度为矢量值时，可以取平移运动速度的绝对值与速度阈值进行比较，以及取角速度的绝对值与角速度阈值进行比较等。
[0115]
在一些实施方式中，根据图像中目标像素点的移动特性和可移动平台的运动状态信息，确定可移动平台向控制终端进行图像传输的目标帧率可以包括：若偏移速率大于第二预设速率阈值，则将第二帧率设置为目标帧率；若偏移速率小于或等于第二预设速率阈值，则判断高度是否小于第一高度阈值，且平移运动速度是否大于第一速度阈值；若高度小于第一高度阈值，且平移运动速度大于第一速度阈值，则将第二帧率设置为目标帧率；若高度大于或等于第一高度阈值，或平移运动速度小于或等于第一速度阈值，则判断角速度是否大于角速度阈值；若角速度大于角速度阈值，则将第二帧率设置为目标帧率；若角速度小于或等于角速度阈值，则判断偏移速率是否小于第一预设速率阈值；若偏移速率小于第一预设速率阈值，则将第一帧率设置为目标帧率；若偏移速率大于或等于第一预设速率阈值，则判断高度是否大于第二高度阈值，且平移运动速度是否小于第二速度阈值；若高度大于第二高度阈值，且平移运动速度小于第二速度阈值，则将第一帧率设置为目标帧率；若高度小于或等于第二高度阈值，或平移运动速度大于或等于第二速度阈值，则将当前帧率设置为目标帧率；其中，第一高度阈值小于第二高度阈值，第一速度阈值小于第二速度阈值，第一帧率小于第二帧率。
[0116]
为了提高目标帧率确定的精准性，可以结合目标像素点的偏移速率和无人机的运动状态信息来确定目标帧率，具体地，在得到目标像素点的偏移速率，以及无人机的高度、平移运动速度、以及偏航方向上的角速度等运动状态信息后，可以获取与偏移速率和运动状态信息对应的帧率控制决策，根据帧率控制决策确定与偏移速率和运动状态信息对应的图像传输的目标帧率，其中，帧率控制决策可以是不同的偏移速率和运动状态信息、与各个帧率之间的映射关系，通过查询该映射关系可以确定与当前检测得到的偏移速率和运动状态信息对应的图像传输的目标帧率。或者，帧率控制决策可以是偏移速率和运动状态信息与帧率之间的计算转换关系，通过该计算转换关系可以基于偏移速率和运动状态信息计算得到对应的图像传输的目标帧率。当然，该帧率控制决策还可以根据实际需要进行灵活设置，具体内容在此处不做限定。
[0117]
例如，在得到目标像素点的偏移速率，以及无人机的高度、平移运动速度、以及偏航方向上的角速度等运动状态信息后，可以判断偏移速率是否大于第二预设速率阈值，若偏移速率大于第二预设速率阈值，则说明无人机的飞行速度较快，视频画面的内容变化也较快，为了保障后续对图像生成视频播放的流畅度，提升航拍的图像传输的效果，此时可以
采用较高帧率，即将第二帧率设置为目标帧率。若偏移速率小于或等于第二预设速率阈值，则可以进一步判断高度是否小于第一高度阈值，且平移运动速度是否大于第一速度阈值；若高度小于第一高度阈值，且平移运动速度大于第一速度阈值，则说明视频画面的内容变化也较快，为了保障后续对图像生成视频播放的流畅度，提升航拍的图像传输的效果，此时可以采用较高帧率，即将第二帧率设置为目标帧率；若高度大于或等于第一高度阈值，或平移运动速度小于或等于第一速度阈值，则可以进一步判断角速度是否大于角速度阈值；若角速度大于角速度阈值，则说明视频画面的内容变化也较快，为了保障后续对图像生成视频播放的流畅度，提升航拍的图像传输的效果，此时可以采用较高帧率，即将第二帧率设置为目标帧率；若角速度小于或等于角速度阈值，则可以进一步判断偏移速率是否小于第一预设速率阈值；若偏移速率小于第一预设速率阈值，则说明视频画面的内容变化较慢，为了保障采集到每帧图像的高清晰度，提升航拍的图像传输的画质，此时可以采用较低帧率，即将第一帧率设置为目标帧率；若偏移速率大于或等于第一预设速率阈值，则可以进一步判断高度是否大于第二高度阈值，且平移运动速度是否小于第二速度阈值；若高度大于第二高度阈值，且平移运动速度小于第二速度阈值，则说明视频画面的内容变化较慢，为了保障采集到每帧图像的高清晰度，提升航拍的图像传输的画质，此时可以采用较低帧率，即将第一帧率设置为目标帧率；若高度小于或等于第二高度阈值，或平移运动速度大于或等于第二速度阈值，则说明无人机的飞行状态变化不大，不需要对帧率进行调整，此时可以维持当前帧率不变，将当前帧率设置为目标帧率。具体可以如下所示：
[0118]
if选择帧率k2；
[0119]
else if h<h
l
且v>v
l
，then，选择帧率k2；
[0120]
eles if w
y
>w
t
，then，选择帧率k2；
[0121]
else ifthen，选择帧率k1；
[0122]
else if h>h
u
且v<v
u
then，选择帧率k1；
[0123]
else保持当前帧率不变。
[0124]
其中，各个参数的表示与上述一致，在此处不做赘述。
[0125]
需要说明的是，可以仅基于偏移速率和部分的运动状态信息来确定目标帧率，此外，偏移速率和各类运动状态信息的判断顺序可以根据实际需要进行灵活调整，具体内容在此处不做限定。
[0126]
在一些实施方式中，确定可移动平台向控制终端进行图像传输的目标帧率之后，图像传输方法还可以包括：基于目标帧率生成视频码流数据；将视频码流数据发送给控制终端。
[0127]
为了提高图像传输的效率和安全性，在确定目标帧率后，可以通过编码模块基于目标帧率对图像采集装置采集得到的图像进行编码，生成视频码流数据，其中，编码方式可以根据实际需要进行灵活设置，例如，编码方式可以包括h.264或h.265等编码。在生成视频码流数据后，可以通过无线通讯模块将视频码流数据发送给与无人机连接的控制终端。
[0128]
控制终端在接收到视频码流数据后，可以通过视频解码模块对视频码流数据进行解码，得到图像，该图像可以包括多帧，多帧图像可以生成视频数据，该视频数据可以是yuv视频，该yuv分为三个分量，“y”表示明亮度(luminance或luma)，也就是灰度值；“u”和“v”表
示色度(chrominance或chroma)，其作用是描述影像色彩及饱和度，用于指定像素的颜色。此时，控制终端可以通过显示器对解码得到的图像进行显示。由于控制终端每收到一帧视频码流数据则解码一帧，不需要帧率信息，因此无人机不需要通知控制终端当前所采用的帧率，保障了动态自适应帧率实施的可靠性。
[0129]
在一些实施方式中，图像采集装置为第一图像采集装置，可移动平台还包括第二图像采集装置，基于目标帧率，生成视频码流数据可以包括：基于目标帧率，对第二图像采集装置采集的图像进行编码，生成视频码流数据。
[0130]
其中，采集用于确定目标帧率的图像的图像采集装置，与采集用于传输给控制终端的图像的图像采集装置可以一致，也可以不一致，为了提高无人机飞行的安全性，提高图像传输的效率，以及节省计算资源，可以将采集图像确定目标帧率的图像采集装置，与采集图像生成视频码流数据的图像采集装置分别设置，即通过第一图像采集装置采集的图像，以便基于该图像来确定目标帧率，而在生成视频码流数据的过程中，可以通过第二图像采集装置采集图像，并基于目标帧率对第二图像采集装置采集的图像进行编码，生成视频码流数据，将视频码流数据发送给控制终端。
[0131]
在一实施例中，第一图像采集装置为分辨率较低的图像采集装置，第二图像采集装置为分辨率较高的图像采集装置。第一图像采集装置例如可以是安装在无人机上的双目摄像头，第二图像采集装置例如可以是无人机的云台上挂载的主摄像机。在其他的实施例中，采集用于确定目标帧率的图像的图像采集装置，与采集用于传输给控制终端的图像的图像采集装置可以一致。例如。都是无人机的云台上挂载的主摄像机。
[0132]
本申请实施例可以获取图像采集装置采集的图像中目标像素点的移动特性；和/或，获取可移动平台的运动状态信息；根据图像中目标像素点的移动特性和/或可移动平台的运动状态信息，确定可移动平台向控制终端进行图像传输的目标帧率。该方案可以自动确定目标帧率，而不需要用户手动选择，提高了目标帧率确定的及时性和准确性。
[0133]
请参阅图5，图5是本申请一实施例提供的可移动平台的示意性框图。该可移动平台11可以包括处理器111和存储器112，处理器111和存储器112通过总线连接，该总线比如为i2c(inter
‑
integrated circuit)总线。
[0134]
具体地，处理器111可以是微控制单元(micro
‑
controller unit，mcu)、中央处理单元(central processing unit，cpu)或数字信号处理器(digital signal processor，dsp)等。
[0135]
具体地，存储器112可以是flash芯片、只读存储器(rom，read
‑
only memory)磁盘、光盘、u盘或移动硬盘等，可以用于存储计算机程序。
[0136]
可移动平台11还可以包括图像采集装置113等，图像采集装置113用于采集图像，可移动平台11还可以包括用于搭载图像采集装置113的云台，该云台可以带动图像采集装置113移动至合适位置，准确采集所需的图像等。可移动平台11的类型可以根据实际需要进行灵活设置，例如，该可移动平台11可以是移动终端、无人机、机器人或云台相机等。
[0137]
例如，云台相机可以包括相机和云台等，相机用于采集图像，云台用于搭载相机，以带动相机移动至合适位置，准确采集所需的图像等，云台相机可以搭载在无人机上。例如，云台相机可以采集图像，并获取采集的图像中目标像素点的移动特性，和/或，向无人机发送信息获取请求，接收无人机基于信息获取请求返回的无人机的运动状态信息；然后可
以根据图像中目标像素点的移动特性和/或无人机的运动状态信息，确定无人机向控制终端进行图像传输的目标帧率，并将目标帧率发送给无人机。此时无人机可以基于目标帧率对图像进行编码生成视频码流数据，将视频码流数据发送给控制终端。
[0138]
其中，处理器111用于调用存储在存储器112中的计算机程序，并在执行计算机程序时实现本申请实施例提供的图像传输方法，例如可以执行如下步骤：
[0139]
获取图像采集装置采集的图像中目标像素点的移动特性；和/或，获取可移动平台的运动状态信息；根据图像中目标像素点的移动特性和/或可移动平台的运动状态信息，确定可移动平台向控制终端进行图像传输的目标帧率。
[0140]
在一些实施方式中，在确定可移动平台向控制终端进行图像传输的目标帧率之后，处理器111还执行：基于目标帧率生成视频码流数据；将视频码流数据发送给控制终端。
[0141]
在一些实施方式中，图像采集装置为第一图像采集装置，可移动平台还包括第二图像采集装置，在基于目标帧率，生成视频码流数据时，处理器111还执行：基于目标帧率，对第二图像采集装置采集的图像进行编码，生成视频码流数据。
[0142]
在一些实施方式中，在获取图像采集装置采集的图像中目标像素点的移动特性时，处理器111还执行：获取图像采集装置采集的多帧图像中的第一图像和第二图像；获取第一图像的目标像素点的像素坐标和第二图像的目标像素点的像素坐标，第一图像的目标像素点与第二图像的目标像素点相对应；根据第一图像的目标像素点的像素坐标和第二图像的目标像素点的像素坐标确定目标像素点的移动特性。
[0143]
在一些实施方式中，在根据第一图像的目标像素点的像素坐标和第二图像的目标像素点的像素坐标确定目标像素点的移动特性时，处理器111还执行：根据第一图像的目标像素点的像素坐标和第二图像的目标像素点的像素坐标确定相对位置差；根据相对位置差和第一图像与第二图像的采集时间间隔，确定目标像素点的偏移速率；根据偏移速率确定目标像素点的移动特性。
[0144]
在一些实施方式中，目标像素点包括背景对应的第一目标像素点和/或运动目标对应的第二目标像素点，第一图像的第一目标像素点与第二图像的第一目标像素点相对应，第一图像的第二目标像素点与第二图像的第二目标像素点相对应。
[0145]
在一些实施方式中，在根据偏移速率确定目标像素点的移动特性时，处理器111还执行：将第一目标像素点的偏移速率和第二目标像素点的偏移速率进行加权平均，以用加权平均后的偏移速率表征目标像素点的移动特性。
[0146]
在一些实施方式中，处理器111还执行：基于预先训练的计算模型，识别第一图像和第二图像中的背景和/或运动目标。
[0147]
在一些实施方式中，运动目标包括多个待选运动目标中对应的图像区域面积最大的一个或前多个运动目标；或者，运动目标包括多个待选运动目标中运动幅度最大的一个或前多个运动区域。
[0148]
在一些实施方式中，目标像素点的移动特性用目标像素点的偏移速率表征，在根据图像中目标像素点的移动特性，确定可移动平台向控制终端进行图像传输的目标帧率时，处理器111还执行：当偏移速率小于第一预设速率阈值时，将第一帧率设置为目标帧率；或者，当偏移速率大于第二预设速率阈值时，将第二帧率设置为目标帧率；或者，当偏移速率大于或等于第一预设速率阈值，且偏移速率小于或等于第二预设速率阈值时，将当前帧
率设置为目标帧率；其中，第一预设速率阈值小于第二预设速率阈值，第一帧率小于第二帧率。
[0149]
在一些实施方式中，在获取可移动平台的运动状态信息时，处理器111还执行：获取可移动平台的高度、平移运动速度、和/或偏航方向上的角速度。
[0150]
在一些实施方式中，在获取可移动平台的高度、平移运动速度、和/或偏航方向上的角速度时，处理器111还执行：通过可移动平台安装的惯性测量单元，获取可移动平台的高度、平移运动速度、和/或偏航方向上的角速度。
[0151]
在一些实施方式中，在根据可移动平台的运动状态信息，确定可移动平台向控制终端进行图像传输的目标帧率时，处理器111还执行：若高度小于第一高度阈值，且平移运动速度大于第一速度阈值，则将第二帧率设置为目标帧率；若高度大于或等于第一高度阈值，或平移运动速度小于或等于第一速度阈值，则判断角速度是否大于角速度阈值；若角速度大于角速度阈值，则将第二帧率设置为目标帧率；若角速度小于或等于角速度阈值，则判断高度是否大于第二高度阈值，且平移运动速度是否小于第二速度阈值；若高度大于第二高度阈值，且平移运动速度小于第二速度阈值，则将第一帧率设置为目标帧率；若高度小于或等于第二高度阈值，或平移运动速度大于或等于第二速度阈值，则将当前帧率设置为目标帧率；其中，第一高度阈值小于第二高度阈值，第一速度阈值小于第二速度阈值，第一帧率小于第二帧率。
[0152]
在一些实施方式中，在根据图像中目标像素点的移动特性和可移动平台的运动状态信息，确定可移动平台向控制终端进行图像传输的目标帧率时，处理器111还执行：若偏移速率大于第二预设速率阈值，则将第二帧率设置为目标帧率；若偏移速率小于或等于第二预设速率阈值，则判断高度是否小于第一高度阈值，且平移运动速度是否大于第一速度阈值；若高度小于第一高度阈值，且平移运动速度大于第一速度阈值，则将第二帧率设置为目标帧率；若高度大于或等于第一高度阈值，或平移运动速度小于或等于第一速度阈值，则判断角速度是否大于角速度阈值；若角速度大于角速度阈值，则将第二帧率设置为目标帧率；若角速度小于或等于角速度阈值，则判断偏移速率是否小于第一预设速率阈值；若偏移速率小于第一预设速率阈值，则将第一帧率设置为目标帧率；若偏移速率大于或等于第一预设速率阈值，则判断高度是否大于第二高度阈值，且平移运动速度是否小于第二速度阈值；若高度大于第二高度阈值，且平移运动速度小于第二速度阈值，则将第一帧率设置为目标帧率；若高度小于或等于第二高度阈值，或平移运动速度大于或等于第二速度阈值，则将当前帧率设置为目标帧率；其中，第一高度阈值小于第二高度阈值，第一速度阈值小于第二速度阈值，第一帧率小于第二帧率。
[0153]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对图像传输方法的详细描述，此处不再赘述。
[0154]
本申请的实施例中还提供一种计算机程序，该计算机程序中包括程序指令，处理器执行程序指令，实现本申请实施例提供的图像传输方法。
[0155]
本申请的实施例中还提供一种计算机可读存储介质，该计算机可读存储介质为计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序中包括程序指令，处理器执行程序指令，实现本申请实施例提供的图像传输方法。
[0156]
其中，计算机可读存储介质可以是前述任一实施例所述的可移动平台的内部存储
单元，例如可移动平台的硬盘或内存。计算机可读存储介质也可以是可移动平台的外部存储设备，例如可移动平台上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。
[0157]
由于该计算机可读存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种图像传输方法，因此，可以实现本申请实施例所提供的任一种图像传输方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
[0158]
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0159]
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0160]
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种图像传输方法，其特征在于，所述方法应用于可移动平台，所述可移动平台包括图像采集装置，所述可移动平台与控制终端通信连接，所述方法包括：获取所述图像采集装置采集的图像中目标像素点的移动特性；和/或，获取所述可移动平台的运动状态信息；根据所述图像中目标像素点的移动特性和/或所述可移动平台的运动状态信息，确定所述可移动平台向所述控制终端进行图像传输的目标帧率。2.根据权利要求1所述的图像传输方法，其特征在于，所述确定所述可移动平台向所述控制终端进行图像传输的目标帧率之后，所述方法还包括：基于所述目标帧率生成视频码流数据；将所述视频码流数据发送给所述控制终端。3.根据权利要求2所述的图像传输方法，其特征在于，所述图像采集装置为第一图像采集装置，所述可移动平台还包括第二图像采集装置，所述基于所述目标帧率，生成视频码流数据，包括：基于所述目标帧率，对所述第二图像采集装置采集的图像进行编码，生成所述视频码流数据。4.根据权利要求1所述的图像传输方法，其特征在于，所述获取所述图像采集装置采集的图像中目标像素点的移动特性，包括：获取所述图像采集装置采集的多帧图像中的第一图像和第二图像；获取所述第一图像的目标像素点的像素坐标和所述第二图像的目标像素点的像素坐标，所述第一图像的目标像素点与所述第二图像的目标像素点相对应；根据所述第一图像的目标像素点的像素坐标和所述第二图像的目标像素点的像素坐标确定所述目标像素点的移动特性。5.根据权利要求4所述的图像传输方法，其特征在于，所述根据所述第一图像的目标像素点的像素坐标和所述第二图像的目标像素点的像素坐标确定所述目标像素点的移动特性，包括：根据所述第一图像的目标像素点的像素坐标和所述第二图像的目标像素点的像素坐标确定相对位置差；根据所述相对位置差和所述第一图像与所述第二图像的采集时间间隔，确定所述目标像素点的偏移速率；根据所述偏移速率确定所述目标像素点的移动特性。6.根据权利要求5所述的图像传输方法，其特征在于，所述目标像素点包括背景对应的第一目标像素点和/或运动目标对应的第二目标像素点，所述第一图像的第一目标像素点与所述第二图像的第一目标像素点相对应，所述第一图像的第二目标像素点与所述第二图像的第二目标像素点相对应。7.根据权利要求6所述的图像传输方法，其特征在于，所述根据所述偏移速率确定所述目标像素点的移动特性，包括：将所述第一目标像素点的偏移速率和所述第二目标像素点的偏移速率进行加权平均，以用加权平均后的偏移速率表征所述目标像素点的移动特性。8.根据权利要求6所述的图像传输方法，其特征在于，所述图像传输方法还包括：
基于预先训练的计算模型，识别所述第一图像和所述第二图像中的背景和/或运动目标。9.根据权利要求6所述的图像传输方法，其特征在于，所述运动目标包括多个待选运动目标中对应的图像区域面积最大的一个或前多个运动目标；或者，所述运动目标包括多个待选运动目标中运动幅度最大的一个或前多个运动区域。10.根据权利要求1至9任一项所述的图像传输方法，其特征在于，所述目标像素点的移动特性用所述目标像素点的偏移速率表征，所述根据所述图像中目标像素点的移动特性，确定所述可移动平台向所述控制终端进行图像传输的目标帧率，包括：当所述偏移速率小于第一预设速率阈值时，将第一帧率设置为所述目标帧率；或者，当所述偏移速率大于第二预设速率阈值时，将第二帧率设置为所述目标帧率；或者，当所述偏移速率大于或等于所述第一预设速率阈值，且所述偏移速率小于或等于所述第二预设速率阈值时，将当前帧率设置为所述目标帧率；其中，所述第一预设速率阈值小于所述第二预设速率阈值，所述第一帧率小于所述第二帧率。11.根据权利要求1至9任一项所述的图像传输方法，其特征在于，所述获取所述可移动平台的运动状态信息，包括：获取所述可移动平台的高度、平移运动速度、和/或偏航方向上的角速度。12.根据权利要求11所述的图像传输方法，其特征在于，所述获取所述可移动平台的高度、平移运动速度、和/或偏航方向上的角速度，包括：通过所述可移动平台安装的惯性测量单元，获取所述可移动平台的高度、平移运动速度、和/或偏航方向上的角速度。13.根据权利要求11所述的图像传输方法，其特征在于，所述根据所述可移动平台的运动状态信息，确定所述可移动平台向所述控制终端进行图像传输的目标帧率，包括：若所述高度小于第一高度阈值，且所述平移运动速度大于第一速度阈值，则将第二帧率设置为所述目标帧率；若所述高度大于或等于所述第一高度阈值，或所述平移运动速度小于或等于所述第一速度阈值，则判断所述角速度是否大于角速度阈值；若所述角速度大于所述角速度阈值，则将所述第二帧率设置为所述目标帧率；若所述角速度小于或等于所述角速度阈值，则判断所述高度是否大于第二高度阈值，且所述平移运动速度是否小于第二速度阈值；若所述高度大于所述第二高度阈值，且所述平移运动速度小于所述第二速度阈值，则将第一帧率设置为所述目标帧率；若所述高度小于或等于所述第二高度阈值，或所述平移运动速度大于或等于所述第二速度阈值，则将当前帧率设置为所述目标帧率；其中，所述第一高度阈值小于所述第二高度阈值，所述第一速度阈值小于所述第二速度阈值，所述第一帧率小于所述第二帧率。14.根据权利要求11所述的图像传输方法，其特征在于，所述根据所述图像中目标像素点的移动特性和所述可移动平台的运动状态信息，确定所述可移动平台向所述控制终端进行图像传输的目标帧率，包括：
若所述偏移速率大于第二预设速率阈值，则将第二帧率设置为所述目标帧率；若所述偏移速率小于或等于所述第二预设速率阈值，则判断所述高度是否小于第一高度阈值，且所述平移运动速度是否大于第一速度阈值；若所述高度小于所述第一高度阈值，且所述平移运动速度大于所述第一速度阈值，则将所述第二帧率设置为所述目标帧率；若所述高度大于或等于所述第一高度阈值，或所述平移运动速度小于或等于所述第一速度阈值，则判断所述角速度是否大于角速度阈值；若所述角速度大于所述角速度阈值，则将所述第二帧率设置为所述目标帧率；若所述角速度小于或等于所述角速度阈值，则判断所述偏移速率是否小于第一预设速率阈值；若所述偏移速率小于所述第一预设速率阈值，则将第一帧率设置为所述目标帧率；若所述偏移速率大于或等于所述第一预设速率阈值，则判断所述高度是否大于第二高度阈值，且所述平移运动速度是否小于第二速度阈值；若所述高度大于所述第二高度阈值，且所述平移运动速度小于所述第二速度阈值，则将所述第一帧率设置为所述目标帧率；若所述高度小于或等于所述第二高度阈值，或所述平移运动速度大于或等于所述第二速度阈值，则将当前帧率设置为所述目标帧率；其中，所述第一高度阈值小于所述第二高度阈值，所述第一速度阈值小于所述第二速度阈值，所述第一帧率小于所述第二帧率。15.一种可移动平台，其特征在于，所述可移动平台与控制终端通信连接，所述可移动平台包括：图像采集装置，用于采集图像；存储器，用于存储计算机程序；处理器，用于调用所述存储器中的计算机程序，以执行：获取所述图像采集装置采集的图像中目标像素点的移动特性；和/或，获取所述可移动平台的运动状态信息；根据所述图像中目标像素点的移动特性和/或所述可移动平台的运动状态信息，确定所述可移动平台向所述控制终端进行图像传输的目标帧率。16.根据权利要求15所述的可移动平台，其特征在于，所述处理器还执行：基于所述目标帧率生成视频码流数据；将所述视频码流数据发送给所述控制终端。17.根据权利要求16所述的可移动平台，其特征在于，所述处理器还执行：基于所述目标帧率，对所述第二图像采集装置采集的图像进行编码，生成所述视频码流数据。18.根据权利要求15所述的可移动平台，其特征在于，所述处理器还执行：获取所述图像采集装置采集的多帧图像中的第一图像和第二图像；获取所述第一图像的目标像素点的像素坐标和所述第二图像的目标像素点的像素坐标，所述第一图像的目标像素点与所述第二图像的目标像素点相对应；根据所述第一图像的目标像素点的像素坐标和所述第二图像的目标像素点的像素坐
标确定所述目标像素点的移动特性。19.根据权利要求18所述的可移动平台，其特征在于，所述处理器还执行：根据所述第一图像的目标像素点的像素坐标和所述第二图像的目标像素点的像素坐标确定相对位置差；根据所述相对位置差和所述第一图像与所述第二图像的采集时间间隔，确定所述目标像素点的偏移速率；根据所述偏移速率确定所述目标像素点的移动特性。20.根据权利要求19所述的可移动平台，其特征在于，所述目标像素点包括背景对应的第一目标像素点和/或运动目标对应的第二目标像素点，所述第一图像的第一目标像素点与所述第二图像的第一目标像素点相对应，所述第一图像的第二目标像素点与所述第二图像的第二目标像素点相对应。21.根据权利要求20所述的可移动平台，其特征在于，所述处理器还执行：将所述第一目标像素点的偏移速率和所述第二目标像素点的偏移速率进行加权平均，以用加权平均后的偏移速率表征所述目标像素点的移动特性。22.根据权利要求20所述的可移动平台，其特征在于，所述处理器还执行：基于预先训练的计算模型，识别所述第一图像和所述第二图像中的背景和/或运动目标。23.根据权利要求20所述的可移动平台，其特征在于，所述运动目标包括多个待选运动目标中对应的图像区域面积最大的一个或前多个运动目标；或者，所述运动目标包括多个待选运动目标中运动幅度最大的一个或前多个运动区域。24.根据权利要求15至23任一项所述的可移动平台，其特征在于，所述目标像素点的移动特性用所述目标像素点的偏移速率表征，所述处理器还执行：当所述偏移速率小于第一预设速率阈值时，将第一帧率设置为所述目标帧率；或者，当所述偏移速率大于第二预设速率阈值时，将第二帧率设置为所述目标帧率；或者，当所述偏移速率大于或等于所述第一预设速率阈值，且所述偏移速率小于或等于所述第二预设速率阈值时，将当前帧率设置为所述目标帧率；其中，所述第一预设速率阈值小于所述第二预设速率阈值，所述第一帧率小于所述第二帧率。25.根据权利要求15至23任一项所述的可移动平台，其特征在于，所述处理器还执行：获取所述可移动平台的高度、平移运动速度、和/或偏航方向上的角速度。26.根据权利要求25所述的可移动平台，其特征在于，所述处理器还执行：通过所述可移动平台安装的惯性测量单元，获取所述可移动平台的高度、平移运动速度、和/或偏航方向上的角速度。27.根据权利要求25所述的可移动平台，其特征在于，所述处理器还执行：若所述高度小于第一高度阈值，且所述平移运动速度大于第一速度阈值，则将第二帧率设置为所述目标帧率；若所述高度大于或等于所述第一高度阈值，或所述平移运动速度小于或等于所述第一速度阈值，则判断所述角速度是否大于角速度阈值；若所述角速度大于所述角速度阈值，则将所述第二帧率设置为所述目标帧率；
若所述角速度小于或等于所述角速度阈值，则判断所述高度是否大于第二高度阈值，且所述平移运动速度是否小于第二速度阈值；若所述高度大于所述第二高度阈值，且所述平移运动速度小于所述第二速度阈值，则将第一帧率设置为所述目标帧率；若所述高度小于或等于所述第二高度阈值，或所述平移运动速度大于或等于所述第二速度阈值，则将当前帧率设置为所述目标帧率；其中，所述第一高度阈值小于所述第二高度阈值，所述第一速度阈值小于所述第二速度阈值，所述第一帧率小于所述第二帧率。28.根据权利要求25所述的可移动平台，其特征在于，所述处理器还执行：若所述偏移速率大于第二预设速率阈值，则将第二帧率设置为所述目标帧率；若所述偏移速率小于或等于所述第二预设速率阈值，则判断所述高度是否小于第一高度阈值，且所述平移运动速度是否大于第一速度阈值；若所述高度小于所述第一高度阈值，且所述平移运动速度大于所述第一速度阈值，则将所述第二帧率设置为所述目标帧率；若所述高度大于或等于所述第一高度阈值，或所述平移运动速度小于或等于所述第一速度阈值，则判断所述角速度是否大于角速度阈值；若所述角速度大于所述角速度阈值，则将所述第二帧率设置为所述目标帧率；若所述角速度小于或等于所述角速度阈值，则判断所述偏移速率是否小于第一预设速率阈值；若所述偏移速率小于所述第一预设速率阈值，则将第一帧率设置为所述目标帧率；若所述偏移速率大于或等于所述第一预设速率阈值，则判断所述高度是否大于第二高度阈值，且所述平移运动速度是否小于第二速度阈值；若所述高度大于所述第二高度阈值，且所述平移运动速度小于所述第二速度阈值，则将所述第一帧率设置为所述目标帧率；若所述高度小于或等于所述第二高度阈值，或所述平移运动速度大于或等于所述第二速度阈值，则将当前帧率设置为所述目标帧率；其中，所述第一高度阈值小于所述第二高度阈值，所述第一速度阈值小于所述第二速度阈值，所述第一帧率小于所述第二帧率。29.根据权利要求15至23任一项所述的可移动平台，其特征在于，所述可移动平台为移动终端、无人机、云台相机或机器人。30.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器加载以执行权利要求1至14任一项所述的图像传输方法。
技术总结
本申请提供一种图像传输方法、可移动平台及计算机可读存储介质，包括：获取图像采集装置采集的图像中目标像素点的移动特性；和/或，获取可移动平台的运动状态信息(S101)；根据图像中目标像素点的移动特性和/或可移动平台的运动状态信息，确定可移动平台向控制终端进行图像传输的目标帧率(S102)。提高了目标帧率确定的及时性和准确性。定的及时性和准确性。定的及时性和准确性。


技术研发人员：饶雄斌 赵亮 陈颖
受保护的技术使用者：深圳市大疆创新科技有限公司
技术研发日：2020.05.28
技术公布日：2021/6/29