电子蛙眼应用图探营工博会｜上海工程技术大学：“电子蛙眼”消除驾驶感知盲区，助推自动驾驶落地|上海羊羽卓进出口贸易有限公司

探营工博会｜上海工程技术大学：“电子蛙眼”消除驾驶感知盲区，助推自动驾驶落地

9月17-21日，以“智能、互联——赋能产业新发展”为主题的第21届中国国际工业博览会在国家会展中心（上海）举办。今年74所国内外参展高校，携大批最新的原创性科技成果惊艳亮相，集中展示代表中国高校最高水平的科研创新项目。工博会高校展区位于国家会展中心（上海）6.2H馆。

此次，上海工程技术大学技术团队带着“车路协同感知系统”项目亮相工博会。

电子蛙眼——基于路侧边缘计算的车路协同感知基站，旨在服务于城市智慧交通，帮助实现更安全、更有序、更高效的驾驶和交通。感知基站主要由长焦距监控相机、多线程激光雷达、GPU工控机和5G通讯模块组成，实现车辆轨迹跟踪、交通信号灯识别、突发事件监测等功能。基站安装在道路交叉路口，利用其超远的视距和感知范围，能够捕获周围200米以内的动态场景（行人、机动车、非机动车）。

利用人工智能深度学习神经网络对采集到的图像信息和雷达点云进行处理，实现车辆轨迹跟踪、行人姿态估计、交通信号灯识别、突发事件监测等功能。并通过V2X通讯技术将参数化的数据实时传送给车载终端，为行驶车辆提供其周围的全局动态数据。将单个自动驾驶车辆昂贵的感知成本集中到道路等公共设施中，对于改善城市道路交通拥堵问题，提升个人驾驶安全，节约自动驾驶的单车成本，加快推进自动驾驶技术落地等方面具有重要的意义。

提升驾驶安全，加速自动驾驶落地

提升交叉路口驾驶安全。 通过将基站感知到的路口全局信息实时的传输给车载终端，实现车路信息交互，弥补驾驶员及车辆的感知盲区，为车辆的变道预警、碰撞预警提供辅助的甚至必要的决策信息，可极大的降低人为因素导致的安全事故，提升驾驶安全。

提升交通通行效率。 根据交通灯检测和路口车流量监控，对道路拥堵情况进行判别，实时优化交叉路口的信号灯配时。同时，根据道路拥堵情况为接收数据的车辆提供换行建议，实现路口的有序通行，大幅提升道路通行率。

加速自动驾驶的落地。 利用基站同时为多个车辆提供路况信息，降低单车智能成本以及技术要求，促进自动驾驶提前落地。为自动车辆提供其感知范围之外的道路信息，如前方车辆三维数据、行人轨迹数据，达到车辆和基础设施之间智能协同与配合，利用基站的长距离感知（200m）能力，大大增强自动驾驶车辆的感知范围。为自动驾驶车辆提供足够的决策依据，自动驾驶车辆本身发展的复杂度也会大大降低，成本也随之下降，自动驾驶商业化可以提前到来。

攻克多个技术难点

基于固定位姿单目相机与激光点云的道路三维场景重建。感知系统为单目长焦距相机和多线程激光雷达，由于测试基站需要感知150m之外的道路场景，且相机投影矩阵导致其对远景效果感知较弱，激光雷达的点云数据在近点与远点的分布密度差异很大。因此，如何通过单目相机逆投影矩阵解析道路场景关系，通过激光点云识别目标物体轮廓和三维尺寸，得到清晰完整的复杂道路场景的三维空间动态结构图，并实时传送给工控机处理单元，是实现交叉路口场景自适应感知的基础。

主要技术路线

车辆-行人综合姿态估计和连续性轨迹跟踪。建立车辆和行人连续性轨迹跟踪模型是本项目的核心问题，为此需要在高动态场景的约束下，应对车辆-行人的静止、恒速、变速、转向等多种运动形式，设计具有实时跟踪并具备高精度的深度学习模型。因此，如何在多场景在环和实际道路测试基础上，研究快速特征提取的卷积神经网络架构，结合车辆特征和尺寸等先验知识，获得精确的动态目标跟踪和定位，是路口场景感知的关键问题。

复杂道路场景下的时域-空域关联模型建立与异常事件成本函数建模。构建道路时域-空域场景模型是感知异常事件的关键点，诸如事故、拥堵等影响道路正常通行的突发事件。为此需要在根据图像提取的背景，动态物体三维位置和尺寸，速度和方向等多个维度建模的前提下，研究确立可参数化表示的异常事件判定指标，确立该指标自变量和因变量的对应模型关系，进而构建异常事件成本函数，自适应配置预警触发阈值，实现异常事件及时检测与预警。