东北大学学报:自然科学版   2015, Vol. 36 Issue (10): 1378-1383   PDF (798 KB)    
基于光流的六旋翼飞行器悬停控制
史添玮, 王宏    
东北大学 机械工程与自动化学院, 辽宁 沈阳 110819
摘要:提出了一种应用惯性光流实现六旋翼飞行器悬停的非线性控制器.为克服外界因素的影响,提出一种辅助悬停控制系统.首先由球面相机获取目标平面的图像,并通过动态映射实现目标点到相机镜头表面的映射;然后比对连续时刻的图像获取目标点的平移光流;最后,使用分散平移光流作为控制器的反馈信息,实现飞行器的稳定悬停.目标平面为室内多纹理的平坦地面,共完成10次测试.实际飞行测试表明,飞行器在水平与高度方向的悬停位置误差为±5 cm,验证了该非线性控制器与辅助悬停控制系统的可行性.
关键词六旋翼飞行器     惯性光流     非线性控制器     动态映射     辅助悬停控制系统    
Hovering Control of Hex-Rotor Aircraft Based on Optical Flow
SHI Tian-wei, WANG Hong    
School of Mechanical Engineering & Automation, Northeastern University, Shenyang 110819, China.
Corresponding author: WANG Hong, professor, E-mail: hongwang@mail.neu.edu.cn
Abstract: A nonlinear controller was proposed to realize the hovering control for the hex-rotor aircraft by using the inertial optical flow. Meantime, an auxiliary hovering control system was presented to overcome the influence of external factors. Firstly, the spherical camera was used to get the image of target plane, and the projection from target point to camera lens was realized by dynamic mapping. Then the translational optical flow of target point was obtained by comparing the two continuous time images. Finally, the divergent translational optical flow was utilized as the feedback to implement the stable hovering control for the hex-rotor aircraft. The indoor textured floor was selected as the target plane, and this experiment was tested ten times totally. The actual flight tests showed that the errors on horizontal and vertical directions were all less than ±5 cm, which verified the feasibility of the proposed nonlinear controller and auxiliary hovering control system.
Key words: hex-rotor aircraft     inertial optical flow     nonlinear controller     dynamic mapping     auxiliary hovering control system    

早在2005年,加拿大学者Tayebi等[1]就已证明多旋翼飞行器可稳定飞行,并给出动力学模型.由于受有效载荷的限制,严重制约其自主性.一种可行的解决方法就是利用光流技术[2].其适应性强,可与惯性测量单元组合,提供相对位置等信息.近年来,光流技术得到广泛应用,国内学者应用光流技术实现了目标跟踪[3]、运动小目标检测[4]、移动目标定位[5]、悬停控制模拟[6]等.国外的研究机构已将光流技术用于机器人避障[7]、飞行器姿态估计的恢复[8]、飞行器的垂直降落及地形跟踪等[9, 10, 11, 12].虽然光流技术被应用于多旋翼飞行器的悬停控制,但其存在位置估计精度低[6],应用多相机导致数据处理花费过大等缺陷[12].

为解决上述问题,本文依据六旋翼飞行器动力学方程,设计了非线性悬停控制器.将惯性导航与下视球面相机结合,获取飞行器的速度、高度等信息及目标平面的平移光流特性,并将发散光流作为控制器的反馈信息,该方式提高了悬停的位置精度.本文同时提出一种辅助悬停控制系统,以修正飞行器在特殊环境下产生的位置偏移.实际飞行测试表明,本文提出的非线性悬停控制器及辅助悬停控制系统是可行的,悬停位置精度达到±5cm,与类似方法比较,精度明显提高.

1 获取图像光流信息

建立地面坐标系E与机体坐标系B.ξ=[x,y,z]为飞行器在地面坐标系中的位置;飞行器姿态由欧拉角(偏航角、俯仰角、滚转角) η=[ψ,θ,Φ]T表示,其定义为飞行器围绕机体坐标系zyx轴的旋转角度;Ω=[Ω1,Ω2,Ω3]T为机体坐标系相对于地面坐标系的转动角速度在机体坐标系各轴上的分量;假设球面相机安装在飞行器的质心处,焦距为1.

1.1 目标平面点到球面镜头表面的动态映射

图 1为平面相机与球面相机的几何图像动态.OS2分别为平面相机镜头表面和球面相机镜头表面;向量V为机体坐标系中的机身质心平移速度;Ω为飞行器的转动角速度;P=(X,Y,Z)∈R3为目标平面的静止可见目标点.该目标点映射到平面相机与球面相机的点分别为pops,映射过程为

图 1 相机几何动态 Fig. 1 Geometry dynamic of camera(a)—平面相机; (b)—球面相机.
式中:σ(P)为重新整定因数.对于球面相机,σ(P)=|P|/f;对于平面相机,σ(P)=|Z|/f.其中,f为球面相机的焦距.将两种相机的映射点对时间求导,并结合雅克比矩阵可得

目标点相对于目标平面稳定,因此,目标点的位置移动仅取决于相机的位置移动,即飞行器的移动.

对于球面相机,目标点映射到相机球面镜头表面的动态半径可统一表示为[12]

式中:πp为球面上的点p在球面S2的切线空间映射:πp= (I3-ppT);向量V=RTv,v= 表示地面坐标系中的机身质心平移速度.

在地面坐标系中,定义d:=d(t)为从目标平面到机体坐标系正交距离.因此,对于目标平面中的任意点P,满足[12]

式中:k为惯性方向;μ为惯性方向k与目标平面点映射到相机球面镜头表面位置夹角.

1.2 获取平移光流

Ωk为已知数据,Ωk为惯性测量单元获得的估计值[13].W2窗口的平均光流为[12]

式中:β是以k为中心的球面镜头视场角度,如果W2是以k为中心的半球表面,则β=πQ=cos(μi)πpi=RT(Rt-1RtT)R 是正定对称矩阵,i为目标点个数,Rt为目标平面相对于地面坐标系的方向矩阵,R为地面坐标系与机体坐标系间的转换矩阵.通常,QiI3.由式(7)可得平移光流

d0d的初始值,结合式(5)并对其求积分,可得

2 基于光流的悬停控制

基于光流的悬停控制,即实现飞行器线速度趋近于0的稳定控制.由式(8)与式(9)知,ωd(t)/d0为可量测量.因此,可依据飞行器动力学方程[12]

建立以u=RdFEz=f(ω,d(t)/d0)为输入的PI控制器:

式中:Rd为飞行器的期望方向;F为旋翼产生的合力;Ez为列向量,由于旋翼转轴与机体平面成90°夹角,因此,Ez = (0,0,1)TG为飞行器所受重力;Δ为外界干扰力;kPkId0为正值,这保证了v呈指数稳定趋近于0.假设目标平面为地面坐标系中的xoy平面.当飞行器理想悬停时,期望方向与目标平面水平,即机体坐标系与地面坐标系平行.此时,变量d为相机到目标平面的高度,则该控制器的闭环动态可以简化描述为

式中:k1k2为未知系数;ξ0为飞行器初始位置;d0为飞行器初始高度.依据线性系统经典理论可验证ξ呈指数收敛于.因此,当Δ=0时,飞行器线速度趋近于0,可实现其在初始点位置处的稳定悬停.

3 辅助悬停控制系统

辅助悬停控制系统主要通过监测飞行器的位置、姿态及速度,实现消除特殊外界因素 (如目标平面无明显可识别点)对飞行器悬停产生的失效.惯性导航系统将获取的实时加速度测量值分别进行一次与二次积分,即可得到飞行器的瞬时速度与位置为

式中:xyvxvy为飞行器的经、纬度方向的位置与速度; vx0vy0x0y0分别为飞行器速度与位置的初始值;R为地球半径.将惯性导航数据使用四元数法解算,即可获得实时姿态信息.四元数可表示为Q=q0+q1i+q2j+q3k,其与惯性导航姿态矩阵的关系矩阵为

将各时刻q0q1q2q3代入关系矩阵得

简化的辅助悬停控制系统如图 2所示.当飞行器悬停出现异常时,该系统自动启动.

图 2 简化的辅助悬停控制系统 Fig. 2 Simplified auxiliary hovering control system
4 实验过程及结果 4.1 实验参数

实验首先对飞行器完成悬停任务的可行性与稳定性进行了分析验证,然后与类似方法进行了比较.本文使用Lucas-Kanade算法估计并计算光流.相机可观测角度范围为圆周70°.设定飞行器的悬停高度为1 m,前向速度为1 m/s.控制器参数:kP=1,kI=0.28.光流采样频率为25 Hz.预设允许最大偏移误差为±10 cm,速度为1.5 m/s,偏航角、俯仰角与滚转角误差均为±5°.

4.2 实验过程及结果

实验1 关闭辅助悬停控制系统,目标平面为纹理清晰的水平地面.理想状态下,悬停时刻光流为0且位置偏移为0.图 3图 4分别为飞行器的实际飞行轨迹与相应光流.从图中可看出,x轴与y轴的偏移在±5 cm范围内;z轴的偏移在±3 cm范围内;光流相对平稳并趋近于0,变化趋势与位置偏移大致相同;该实验验证了本文提出方法的可行性与稳定性.

图 3 飞行器的实际飞行轨迹 Fig. 3 Actual flight path of aircraft

图 4 实际位置与相应光流 Fig. 4 Actual positions and corresponding optical flow

实验2 关闭辅助悬停控制系统,相机镜头用白纸遮挡,模拟特殊环境(目标平面中无可识别点).图 5图 6分别为飞行器的实际飞行轨迹与相应光流.从图中可以看出,x轴与y轴最大偏移达到30~70 cm;z轴偏移在±5 cm范围内.飞行器已无法有效悬停,但光流变化趋势与位置偏移大致相同.该实验验证了本文提出方法的可行性.

图 5 飞行器的实际飞行轨迹 Fig. 5 Actual flight path of aircraft

图 6 实际位置与相应光流 Fig. 6 Actual positions and corresponding optical flow

实验3 开启辅助悬停控制系统,相机镜头用白纸遮挡,模拟特殊环境(目标平面中无可识别点).图 7图 8分别为飞行器的实际飞行轨迹与相应光流.从图中可以看出:飞行器在xoy平面产生较大偏移,且方向不定, z轴偏移在±5 cm范围内;偏移达到预设允许最大偏移误差,但是,辅助悬停控制系统有效限制了飞行器继续偏移,并使飞行器悬停在允许的范围内;光流的变化趋势与位置偏移大致相同.该实验验证了本文提出方法的可行性与稳定性.

图 7 飞行器的实际飞行轨迹 Fig. 7 Actual flight path of aircraft

图 8 实际位置与相应光流 Fig. 8 Actual positions and corresponding optical flow

由于预设允许最大偏移误差大于正常悬停时的偏移误差,因此,待飞行器姿态稳定后,辅助悬停控制系统自动修正飞行器悬停位置,将其调整至正常悬停时的偏移误差范围内.图 9为飞行器自动修正悬停位置过程.

图 9 自动修正悬停位置 Fig. 9 Automatic revise hovering position

与实验1结果中的图 4相比较,由于飞行器无法获取光流,导致悬停控制器失效;图 8的悬停轨迹偏移较大,无法围绕初始悬停位置,且偏移方向无法估计.辅助悬停控制系统的介入,使飞行器能在预设允许误差内,适时修正位置、姿态与速度偏移,并待稳定后,自动修正悬停位置.此外,由实验结果可知,前向速度恒定的情况下,飞行器的位置与光流测量值被控制在期望值附近,并趋近于期望值.尽管测量值中存在光线变化、计算误差、飞行器振动等噪声,但噪声对光流控制的稳定性不产生影响.与吕强等[6]提出的方法相比,本文提出的方法,在悬停高度与水平位置精度上均有显著提高,分别提高±6 cm与±4 cm.表 1为10组悬停测试的统计结果,表中的平均误差与平均光流误差均使用(平均值±标准差)表示.

表 1 悬停测试的统计结果 Table 1 Statistical results of hovering test
5 结 论

本文提出一种应用惯性光流与惯性导航,实现飞行器悬停的非线性控制器与辅助悬停控制系统.实验结果表明:理想悬停环境下,飞行器的位置误差与光流均趋于理想值,平均光流误差为0.03±0.07;水平位置误差与高度误差分别为±5 cm与±3 cm.特殊悬停环境下,飞行器高度位置精度为±5 cm,但在水平位置出现方向未知的较大偏移.辅助悬停控制系统将飞行器的位置偏移有效抑制在预设允许误差内,并最终将其调整至正常悬停时的偏移误差内.相比其他方法,该方法在悬停高度与水平位置精度上分别提高±6 cm与±4 cm.

参考文献
[1] Tayebi A,McGilvray S.Attitude stabilization of a four-rotor aerial robot[C]// IEEE Conference on Decision and Control.Paradise Island,2004:1216-1221.(1)
[2] Srinivasan M V,Zhang S W,Chahl J S,et al.How honeybees make grazing landings on flat surfaces[J].Biological Cybernetics,2000,83(3):171-183.(1)
[3] 吴垠,李良福,肖樟树,等.基于尺度不变特征的光流法目标跟踪技术研究[J].计算机工程与应用,2013,49(15):157-161.(Wu Yin,Li Liang-fu,Xiao Zhang-shu,et al.Optical flow motion tracking algorithm based on SIFT feature[J].Computer Engineering and Applications,2013,49(15):157-161.)(1)
[4] 袁卫红,卢雁,毛海岑,等.基于光流的运动小目标检测算法[J].光学与光电技术,2012,10(1):67-70.( Yuan Wei-hong,Lu Yan,Mao Hai-cen,et al.A small moving object extraction algorithm based on optical flow[J].Optics and Optoelectronic Technology,2012,10(1):67-70.)(1)
[5] 郭力,昂海松,郑祥明.基于单目视觉的微型飞行器移动目标定位方法[J].系统工程与电子技术,2012,34(5):996-1000.( Guo Li,Ang Hai-song,Zheng Xiang-ming.Moving target geolocation for micro air vehicles based on monocular vision[J].Systems Engineering and Electronics,2012,34(5):996-1000.)(1)
[6] 吕强,倪佩佩,王国胜,等.基于光流传感器的四旋翼飞行器悬停校正[J].装甲兵工程学院学报,2014,28(3):68-72.(Lyu Qiang,Ni Pei-pei,Wang Guo-sheng,et al.Hovering calibration of quadrotor aircrafts based on optical flow sensor[J].Journal of Academy of Armored Force Engineering,2014,28(3):68-72.)(3)
[7] Hyslop A M,Humbert J S.Autonomous navigation in three-dimensional urban environments using wide-field integration of optic flow[J].Journal of Guidance,Control,and Dynamics,2010,33(1):147-159.(1)
[8] Grabe V,Bulthoff H H,Giordano P R.Robust optical-flow based self-motion estimation for a quadrotor UAV[C]// IEEE/RSJ International Conference on Intelligent Robots and Systems.Saint Paul,2012:2153-2159.(1)
[9] Kendoul F,Fantoni I,Nonami K.Optic flow-based vision system for autonomous 3D localization and control of small aerial vehicles[J].Robotics and Autonomous Systems,2009,57(6):591-602.(1)
[10] Grabe V,Bulthoff H H,Giordano P R.On-board velocity estimation and closed-loop control of a quadrotor UAV based on optical flow[C]//IEEE International Conference on Robotics and Automation.Saint Paul,2012:491-497 (1)
[11] Carrillo L R G,López A E D,Lozano R,et al.Combining stereo vision and inertial navigation system for a quad-rotor UAV[J].Journal of Intelligent & Robotic Systems,2012,65(1/2/3/4):373-387.(1)
[12] Hérissé B,Hamel T,Mahony R,et al.Landing a VTOL unmanned aerial vehicle on a moving platform using optical flow[J].IEEE Transactions on Robotics,2012,28(1):77-89.(6)
[13] Metni N,Pflimlin J M,Hamel T,et al.Attitude and gyro bias estimation for a flying uav[C]// IEEE/RSJ International Conference on Intelligent Robots and Systems.Saint Paul,2005:1114-1120.(1)