汽车电子技术应用文献嵌入式平台下的车辆跟踪系统设计|上海羊羽卓进出口贸易有限公司

嵌入式平台下的车辆跟踪系统设计

基于NVIDIA Jetson TX2的车辆跟踪系统设计与以往的车辆跟踪系统设计有很大的不同，在本设计中实现超高清4K视频实时编码和传输，在视频编码中使用了高效率视频编码(High Efficiency Video Coding，HEVC)，HEVC在相同的主观条件下与H.264/AVC相比,编码码率可以节省50% 以上[1]。硬件编码器编码速率也要比PC端x265编码器大超过3个数量级[2]。因此，本设计的跟踪系统更加能适用于以后的智能交通发展。

本设计充分利用了HEVC编码的优势来为后续的检测跟踪带来优质的视频资料，再利用Yolo V2、Meanshift、Kalman算法实现对车辆的准确跟踪。同时，在检测跟踪的质量和实时性方面也能够满足目前市场的应用需求。

1 开发平台介绍

1.1 硬件平台

2017年3月8日，NVIDIA发布了Jetson TX2，Jetson TX2作为Jetson TX1的升级版与TX1相比最大的性能优势就是采用了NVIDIA最新研发的Tegra Parker处理器[3]。在前代的基础上增加了2个自主研发的NVIDIA Denver 2 CPU核心，能够支持实时超高清视频编解码。它具备Jetson TX1模块的所有功能[4]。因其强大的性能、低功耗、外形小巧，非常适合基于嵌入式的多媒体领域。

1.2 软件平台

Jetson TX2的软件平台包含了很多种标准硬件接口，可以在包含高性能计算与低功耗的应用场合下更方便灵活地进行平台扩展和设计。该软件平台由内核、根文件、应用软件等构成。

2 系统实现

2.1 环境搭建

先搭建 Jetson TX2的开发环境。本文所使用的开发环境为：PC使用64位Ubuntu 16.04操作系统，Jetson SDK 的版本为Jet Pack 3.2。首先在Ubuntu主机端运行Jetson SDK，进行下载工作，再进行烧写，最后检验Jetson TX2上的系统开发环境是否已经搭建完毕[5]。

2.2 系统设计

设计并实现了NVIDIA嵌入式平台上的车辆跟踪检测系统，系统总体框图如图1所示。

利用Jetson TX2的板载相机获取YUV420格式帧率为60 f/s的视频数据，送给Tegra Parker的硬件HEVC编码器将其压缩为H265码流；对输出码流进行实时传输协议(Real-time Transport Protocol，RTP)打包，打包完成后通过用户数据报协议(User Datagram Protocol，UDP)广播发送，然后进行接收和解码。根据设计功能的需求，本设计的车辆图像处理算法主要分为两部分，第一部分是对视频中的车辆进行检测操作，使用的是Yolo V2检测算法；第二部分是在检测到的车辆基础上进行跟踪操作，跟踪的算法使用的是Kalman位置预测与Meanshift跟踪相配合的方法[6]。

2.3 功能模块实现

2.3.1 获取视频数据

本文选择利用Argus来获取原始视频数据，Argus可以输出EGL-Stream图像数据或者DMA Buffer文件描述符，可以把DMA Buffer看做一块共享内存。Argus还可以调用ISP进行图像的去噪、边缘增强等图像预处理工作。本文利用Argus捕获视频数据的流程图如图2所示。

2.3.2 HEVC编码器配置

Tegra Parker处理器内有一个视频编码器，相对于H.264在同等清晰度的前提下少一半的码率，从而节省存储空间和带宽，可以减少投入的成本，而速度是其200倍以上，且能够支持帧率为60 f/s的HEVC实时编码[7]。存储设计视频编码器的输入输出的缓存队列长度都设置为10。HEVC视频编码器只支持YUV420M的格式，输入缓存队列使用存储于DMAbuffer的视频数据，输出的缓存队列输出CPUbuffer。流程图如图3所示。

2.3.3 RTP封装

H.265码流RTP协议是一种实时传输标准，其设计的目的是为了支持网络实时传输服务[8]。H.265码流由NALU序列组成，RTP协议封装和传输H.265码流实际上就是NALU的封装和传输。链路层的载荷数据有最大传输单元限制，当传输的数据超过这个最大输出单元时，将无法进行正常的传输，按照以太网对RTP包大小的限制，正常情况下不能超过1 472 B，超过1 472 B后将无法正常进行传输[9]。

2.3.4 上位机取流解码

本设计利用Gstreamer来开发接收、解码、播放程序[10]。Gstreamer程序从网口接收RTP数据包，接收到数据包之后传送到HEVC上进行软件解码后播放显示。UDP接收RTP数据包，进行解包，经过解包后的数据为H.265原始码流[11]，利用H265parse对码流分析，再将H.265原始码流送给avdec_H265解码。最后，将解码后的视频数据送到xvimagesink实现视频播放。

2.3.5 车辆的检测与跟踪

针对之前一系列处理得到的视频影像，需要进行算法程序的操作，对视频中的汽车先进行检测，此时使用Yolo V2检测算法，将检测到的汽车轮廓信息作为后续跟踪算法的输入。经过Yolo V2检测完成后，得到了一个序列，将这个序列作为基础序列，针对跟踪检测算法，首先监测出一个汽车轮廓，针对已有的汽车轮廓使用Meanshift方法得到当前车辆的真实位置[12]，如图4所示。

进入到视频中的汽车，系统首先对汽车的外框信息保存到跟踪器中，再提取一个汽车的外框与之前保存的外框信息进行相似度比对，如果信息重叠则立即更新Kalman预测模型，预测此车辆的大体活动位置，再利用Meanshift得到正确的位置，在视频中用框标注出跟踪汽车，直到汽车消失在视频中，系统会自动删除其外框信息。如果在相似度对比时跟踪器中没有与此汽车信息相同的外框信息，则把此信息自动添加到跟踪器中，进行后续操作[13]。

其中，z(x，y)为候选目标的坐标。S(z)是巴氏系数，具有如下公式：

根据式(1)～式(3)计算出S(z)，S(z)的值在0～1之间，S(z)值越大，两个模型越相似。

2.4 测试结果

Tegra Parker上的HEVC硬件编码器编码速率比PC端x265编码器大，PSNR比PC端x265编码器高。根据本文设计的系统，对HEVC 编码器在不同分辨率情况下的编码速度、压缩率和网络发送速率进行了测试，针对HEVC硬件编码器编码速率与PC端x265编码选择分辨率分别为640×480、1 280×720、1 920×1 080、2 104×1 560做了简要对比，在Tegra Parker上编码器参数如表1所示。PC端x265编码器参数如表2所示。

下面对表1中的数据加以说明，其中表1中压缩比体现的是压缩后文件与原始文件的比值，相对于x265在同等清晰度的前提下压缩比提高很多。编码速率是指视频在编码的过程中单位时间内能完成压缩视频编码的帧数，相对于商用编码核心x264的编码速率快近100倍。在测试过程中还对UDP传输时间进行了粗略的统计，通过平均的输出时间从而得到系统的输出速率，PSNR计算公式为：

本系统能对采集的高清交通视频影像进行车辆的检测跟踪，对视频中的检测到的车辆用框标记出来，再对标记的车辆进行跟踪，标记框会伴随着车辆的移动而移动[15]。图5所示是车辆检测及跟踪的画面。

3 结论

本文在NVIDIA Jetson TX2平台上设计实现车辆的检测及跟踪，利用板载摄像头完成视频采集，再进行HEVC编码，对HEVC的输出码进行RTP封装后通过UDP广播发送，然后在PC端接收解码，最后进行识别及跟踪。测试结果表明，相对于x265，在同等清晰度的前提下压缩比提高很多；相对于商用编码核心x264的编码速率快了近100倍。本文设计的系统在保证视频画面质量良好的情况下能够达到4K分辨率的实时编码传输，这使后续对显示的视频进行车辆的识别跟踪更加清晰准确。

参考文献

[1] 沈燕飞，李锦涛，朱珍民，等.高效视频编码[J].计算机学报，2013，36(11)：23-40.

[2] RAM C，PANWAR S.Performance comparision of high efficiency video coding(HEVC) with H.264 AVC[C].2017 13th International Conference Signal-Image Technology & Internet-Based Systems(SITIS)，2017.

[3] NVIDIA Corporation.NVIDIA Jetson.The AI platform for autonomous machines[EB/OL］.(2018- 05-10)[2019-05-13].https：//developer.nvidia.com/embedded/develop/hardware.Html.

[4] Yan Han，ORUKLU E.Traffic sign recognition based on the nvidia jetson tx1 embedded system using convolutional neural networks[C].2017 IEEE60th International Midwest Symposium on Circuitsand Systems(MWSCAS)，2017：184-187.

[5] 林峰，张雷，梁明亮.基于NVIDIA Jetson TX1的HEVC编码和传输系统设计[J].沈阳航空航天大学，2018，35(5)：51-56.

[6] 孙鹏.基于视频的嵌入式车辆跟踪系统[D].北京：北方工业大学，2013.

[7] 李维，杨付正，任鹏.考虑视频内容的H.265/HEVC帧层码率分配算法[J].通信学报，2015，36(9)：76-81.

[8] 丁凉.基于RTP的MPEG-4传输方法研究与实践[D].合肥：合肥工业大学，2004.

[9] 许宁.基于RTP协议的移动视频监控系统的设计[J].通信技术，2014，47(4)：455-458.

[10] 孟凡飞，刘金海，吴宗泽.基于Gstreamer的嵌入式流媒体播放器的设计[J].嵌入式系统应用，2010，26(20)：5-9.

[11] 林文.基于嵌入式开发的视频监控系统设计与实现[D].成都：西南交通大学，2012.

[12] 康剑斌.无人机双目视觉深度感知技术研究与实现[D].成都：电子科技大学，2018.

[13] 林付春，刘宇红，张达峰，等.基于深度学习的智能路牌识别系统设计[J].电子技术应用，2018，44(6)：68-71.

[14] 赵春晖，张洪才，王永忠.基于特征颜色空间变换的目标跟踪融合算法[J].计算机工程与应用，2008(3)：8-9，19.

[15] 张宁.基于无人机平台的动态目标检测系统开发[D].杭州：浙江大学，2018.

作者信息:

张雷，王越

(沈阳航空航天大学电子信息工程学院，辽宁沈阳110136)

论文免费下载：关于汽车工业技术被引次数较高论的文文献下载

人类文明数千年，工业文明三百年。但是，能够被定义为《改变世界的机器》的唯有汽车。汽车之于人类社会的好处，每个人无时无刻不在充分体会着、享受着；同时，人类社会对汽车的研究也就大大得到了提升。说起研究那就肯定少不了对于汽车工业领域的知识补充。今天就为大家整理了几篇影响度和学习内容比较可观的论文文献，有兴趣的可以收藏保存，以备后患~ 论文标题： 汽车理论 摘要： 分析了与汽车动力学有关的汽车各主要使用性能，介绍了各使用性能的评价指标与评价方法，建立了有关的动力学方程，分析了汽车及其部件的结构形式与结构参数对各使用性能的影响，阐述了进行性能预测的基本计算方法。 作者： 余志生 关键词： 汽车；高等教育； 被引次数： 4595 论文标题： 汽车操纵动力学 摘要： 介绍了汽车操纵性与稳定性的基本概念、评价理论、试验方法等。 作者： 郭孔辉 关键词： 汽车；操纵性； 被引次数： 2142 论文标题： 汽车系统动力学 摘要： 介绍车辆动力学建模的基础理论、轮胎力学及其汽车空气动力学基础，还重点介绍了受汽车发动机、传动系统、制动系统影响的驱动动力学和制动动力学等。 作者： 俞凡；林逸 关键词： 汽车；高等教育 被引次数： 2064 论文标题： 车辆人机工程学 摘要： 主要内容：人机工程学概论、人体参数、人的感知响应特性、显示装置、操纵装置、作业空间设计、人机系统、车辆碰撞事故中车内乘员的人体保护技术、车辆行驶中车内乘员的乘坐舒适性、车辆驾驶员的驾驶适宜性、车辆噪声控制、车辆驾驶室和车厢内的小环境气候等。 作者： 周一鸣；毛恩荣 关键词： 汽车工程；人机系统； 被引次数： 699 论文标题： 车辆动力学及其控制 摘要： 本文运用系统方法及现代控制理论，结合实例分析，介绍了车辆动力学模型的建立、计算机仿真、动态性能分析和控制器设计的整个过程及方法等内容。 作者： （英）DaveCrolla；喻凡 关键词： 汽车；动力学 被引次数： 619 论文标题： 汽车空气动力学 摘要： 主要内容：人机工程学概论、人体参数、人的感知响应特性、显示装置、操纵装置、作业空间设计、人机系统、本书详细地介绍了国内外汽车空气动力学的形成与发展，汽车空气动力学的基础理论，汽车空气气动力产生机理与分析，气动力对汽车性能的影响，各种车型的气动造型规律与应用实例，汽车空气动力学设计等内容。 作者： 谷正 关键词： 汽车；高等教育； 被引次数： 521 这里有统一的下载地址和教学~ 1、百度搜索“掌桥科研 ”/或者直接复制网址: https://www.zhangqiaokeyan.com?from=gtth 如图：