ADAS感知摄像头的分辨率与帧率选择分析

news/2025/2/20 19:19:31

说明:可以作为对智能驾驶爱好者对摄像头参数理解或者从业工程人员对设计硬件选型参考

前言

在当前智能驾驶中,基于摄像头的 ADAS 因其应用、更高的可靠性和对新要求的适应性而被广泛采用。

ADAS 摄像头通常部署在汽车的前部、侧面和后部,提供驾驶和停车辅助。

前置摄像头系统最常安装在汽车的前部,后视镜后面。

后置摄像头安装在靠近车牌的后侧,而侧面摄像头安装在汽车两侧靠近镜子的位置

《了解布置位置可以点击视觉为王-小鹏以及特斯拉的自动驾驶方案》。
本文介绍了汽车摄像头系统的分辨率(以 Mpixel 为单位)和帧速率 (fps) 选择的见解,重点是单
目前置摄像头,当然也可以用于后/侧摄像头选择参考。
ADAS 前置摄像头 (FC) 系统从现实世界中捕获并识别感兴趣的对象(例如行人、汽车和两轮车)。
如 下 图 所 示 , ADAS FC 系 统 由 摄 像 头 模 块 ( 镜 头 和 传 感 器 ) 组 成 , 用 于 将 场 景 捕 获 为 一 系 列 图 像(即视频),然后在嵌入式处理器芯片上进行分析以识别感兴趣的对象。

ADAS 前视视像头的关键功能是识别感兴趣的对象以及与汽车的距离,并在正确的时间应用紧急休
息以避免碰撞。

这些目标必须在给定解决方案的高精度检测、低成本、低功耗和小尺寸的严格限制下
实现。

该解决方案必须能够在夜间或弱光驾驶等不同场景下工作。
整体解决方案中的三个参与者相互交互以实现 ADAS 系统的目标

1. 现实世界:

这包括汽车和可能成为潜在事故目标的感兴趣对象(例如行人、车辆、两轮车等)。
2. 摄 像 头 模 块 :

由 镜 头 和 传 感 器 组 件 组 成 。 它 以 固 定 间 隔 (fps) 将 现 实 世 界 捕 获 为 图 像 像 素 ( 分 辨率)。
3. 算法:

它通常会找到感兴趣的对象(例如行人)并在可能的碰撞情况下提醒驾驶员。由于行人目标
可 能 存 在 于 未 知 距 离 , 它 通 常 在 一 系 列 具 有 固 定 行 人 模 型 尺 寸 ( 例 如 64×32 像 素 ) 的 缩 小 图 像(称为图像金字塔)中搜索给定的行人。使用属性(称为从像素中提取的特征)而不是实际像素来执 行 搜 索 , 以 获 得 更 好 的 鲁 棒 性 。 一 旦 找 到 匹 配 的 行 人 , 就 会 计 算 到 行 人 的 距 离 和 碰 撞 时 间(TTC)。

这些算法属于计算机视觉 (CV) 和机器学习 (ML) 领域,并在嵌入式 SoC(片上系统)上运行。

下图显示了三个参与者以及实现 ADAS 系统目标的各种参数

1. 揭秘分辨率

通常,成像传感器的 Mpixel (MP) 决定了可以检测和识别给定对象的最远距离。下图显示了多种配
置下与行人的距离与 Mpixel 的典型关系

上图中的曲线假设现实世界中行人的高度为 1.5m,图像传感器的物理尺寸为 1/3”(标准OF值计算
方 法 是 其 实 际 对 角 线 长 度 1/3 英 寸 大 概 就 是 6mm ) 。

基 本 配 置 对 应 于 给 定 镜 头 的 450 FOV ( 视场)和行人高度,在捕获的图像中为 64 像素。如图 3 所示,1MP 到行人的最大距离为 34 m,8MP 增加到 101m。

对于汽车图像传感器,目前使用 1 MP,在不久的将来会增加到 2 MP,并在较长时间内达到 8 MP。

MP 增加到 101m。对于汽车图像传感器,目前使用 1 MP,在不久的将来会增加到 2 MP,并在较
长时间内达到 8 MP。


表 I 总结了增加 Mpixel(0.3 MP 到 8 MP)和最远行人距离(24m 到 101m)的影响以及假设
和可能的权衡。随着分辨率的提高,它带来了下一组问题,例如低光性能差和计算/功率要求高。
对于给定的分辨率(例如 2MP),有多种方法可以增加最远行人距离,

总结如下
1. 在图像金字塔搜索过程中使用较小尺寸的行人模型:

这导致距离增加 2 倍(51m 到 101m),因为模型尺寸减少了 2 倍(第 4 行)。

通常,较小尺寸的行人模型会降低检测的准确性,并产生更多的误报。


2. 使用更小的模型尺寸和复杂的特征:

这会导致更高的距离和相似的检测精度(第 5 行)。

与从行人中 提 取 的 传 统 特 征 ( 例 如 Haar 、 HoG ) 相 比 , 复 杂 的 特 征 ( 例 如 Co-Hog 、 卷 积 神 经 网 络 -CNN)需要更高的计算能力(以及成本)。


3. 使用窄 FOV(即更高的焦距):

这意味着在现实世界中跨越较低的正面区域,从而产生更高的距离(51m 到 59m)(第 6 行)。在 FOV 的极端减少(例如,达到 250 FOV)将导致需要额外的传
感器来覆盖类似的正面区域。

在更高 MP(例如 8MP)的情况下,一种可能的折衷方案是使用更宽的 FOV 镜头来覆盖前方和交
叉路口。这消除了额外的传感器,从而降低了成本(第 10 行)。

2. 揭秘fps

通常,成像传感器的帧率决定了避免物体碰撞的最大停止距离。

下图显示了汽车的停车距离与停车距离的典型关系。

汽车速度的多种配置的帧速率

停车距离是在应用中断之前检测行人期间覆盖的距离和在中断期间覆盖的距离的相加。

图的假设是行人检测期间的七帧延迟,其中包括大约三帧的处理延迟和大约四帧的跟踪延迟,以提高检测质量。

另一 个 假 设 是 根 据 英 国 公 路 法 规 打 破 距 离 。

如 上 图 所 示 , 假 设 汽 车 速 度 为 80 Km/Hr , 停 车 距 离 从55m 减 少 到 45m , 因 为 帧 速 率 从 10fps 到 15fps ( 文 章 写 的 时 候 ) 再 到 30fps ( 现 在 基 本 都 在
30fps)。

表二显示了增加车速(30Km/Hr 到 250Km/Hr)和对停车距离(8m 到 390m)的影响以及各种
参数和假设。
对于给定的汽车速度(例如 80 Km/Hr),有多种方法可以减少刹车距离,如下所示。
1. 使 用 更 高 的 帧 速 率 :

随 着 帧 速 率 的 增 加 ( 10 到 30 fps ) , 这 会 降 低 延 迟 ( 750 毫 秒 到 284 毫
秒)。这也提高了对象(例如行人)跟踪的性能,但代价是更高的处理能力(第 4 行和第 5 行)。
2. 使用基于流和切片的架构:

这减少了延迟(750 毫秒到 210 毫秒),因为跨多个子组件的通信以较
小的粒度发生,例如行/子图片(第 6 行)。

这种复杂的系统需要更多的时间来开发,并且可能存在算法框架级别的依赖挑战。

3. 其它挑战


所以其实我们当前看到国内很多智能驾驶的方案都还在堆料阶段,而汽车行业其实本质是应用产业,用最优的成本达到可以拓展升级的配置才是最优的方案。

这些就值得我们主机厂产业应用人士思考的核心竞争力。
参考文章以及图片:
1. 原文-ADAS Front Camera: Demystifying Resolution and Frame-Rate - EE TIMES
2. 摄像头以及图像技术基础 pdf - Jon Chouinard pdf可下载

 


http://www.niftyadmin.cn/n/5361818.html

相关文章

TensorFlow2实战-系列教程11:RNN文本分类3

🧡💛💚TensorFlow2实战-系列教程 总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在Jupyter Notebook中进行 本篇文章配套的代码资源已经上传 6、构建训练数据 所有的输入样本必须都是相同shape(文本长度,…

利用tshark从pcap中解析http流量

使用tshark解析 安装tshark apt install tshark # 测试 tshark -r gitlab.pcap -T fields -Y http -e tcp.stream -e http.request.method -e http.request.uri -e http.request.version -e http.request.line -e http.response.version -e …

MySQL进阶之触发器

MySQL进阶之触发器 目录 MySQL进阶之触发器什么是触发器触发器的使用场景自定义触发器查看触发器删除触发器示例 什么是触发器 触发器是一种特殊的存储过程,它通常与表一起创建、修改和删除 触发器关键字:trigger,是指事先为某张表绑定一段…

业务流程自动化平台在制造业应用案例,助力业务自动化、智能化

捷昌驱动成立于2000年,并于2018年9月在上海证券交易所上市,是一家专注于线性驱动产品研发、生产及销售的科技集团。 公司整合全球资源,为智慧办公、医疗康护、智能家居、工业自动化等关联产业提供驱动及智能控制解决方案,以科技驱…

智慧商城(continue)

文章目录 1.静态页面结构准备和动态渲染2.搜索 - 历史记录管理1. 写好基础静态页面,可以先往里面加一点假数据2. 上面基本的渲染直接利用history渲染就可以了3. 搜索历史基本渲染结束了,开始点击搜索添加历史4. vant内用v-model" ",可以快速拿到搜索框的值5. 往历史记…

2024年第四届工业自动化、机器人与控制工程国际会议 | Ei、Scopus双检索

会议简介 Brief Introduction 2024年第四届工业自动化、机器人与控制工程国际会议(IARCE 2024) 会议时间:2024年7月5 -7日 召开地点:中国成都 大会官网:www.iarce.org 2024年第四届工业自动化、机器人与控制工程国际会…

ADB的配置和使用及刷机root

ADB的配置和使用 ADB即Android Debug Bridge,安卓调试桥,是谷歌为安卓开发者提供的开发工具之一,可以让你的电脑以指令窗口的方式控制手机。可以在安卓开发者网页中的 SDK 平台工具页面下直接下载对应系统的 adb 配置文件,大小只…

2024/2/2

第一章 命名空间 一.选择题 1、编写C程序一般需经过的几个步骤依次是( B ) A. 编辑、调试、编译、连接 B. 编辑、编译、连接、运行 C. 编译、调试、编辑、连接 D. 编译、编辑、连接、运行 2、所谓数据封装就是将一组数据和与这组数据有关操…