事件相机正缓慢而稳定的上升

2020-04-26来源: EEWORLD关键字:事件相机  CMOS

翻译自——EEtimes, Tobi Delbruck

 

在过去的20年里,CMOS图像传感器(CIS)的投资大约有10亿美元,这些美丽的成像仪每年都会带来数十亿美元的市场。随着CIS成为一种商品,神经形态的硅视网膜“事件相机”的发展停滞不前,直到三星和索尼最近将其最先进的图像传感器处理技术推向市场,获得了工业上的价值。

 

首先了解一下事件相机产品特点:

 

清晰:最高500万像素的记录图像,还原细节更清晰;

高效: 由信号触发上传视频/图片,剔除冗余信息,追溯,分析更方便;

量大:事件相机内部存储空间达32G,可存储35~1000个记录

坚固: 工业级设计,更适合于工业恶劣环境;

灵活: 可配合多种传感器灵活使用,独立个体安装灵活;

简单: 即插即用,浏览器访问设置(Sopas Air),无需另装软件;

安全:只有授权方可访问数据,防篡改。

 

我们在2006年ISSCC会议上推出的事件相机采用了350纳米工艺,包括40微米的超大像素。即便如此,CIS像素还是下降了几微米左右。2017年,三星发布了一篇ISSCC论文,使用的是9微米像素、背光VGA动态视觉传感器(DVS),这是基于他们的90-mn CIS芯片。与此同时,insi公司发布了一款巧妙的双强度+ DVS像素的产品,其像素只有7。2 um。

 

See the source image

 

三星和索尼都已经建立了基于堆叠技术的5um以下像素的DVS,在堆叠技术中,背面发光的55纳米光电传感器晶圆被铜撞击到28纳米的读出电路readout wafer上。

 

工业发展也带来了事件读出速度的惊人提高。这些巧妙的设计使DVS像素降至标准的全球快门机器视觉和自动相机像素大小。这意味着DVS有机会在“百万像素竞争”中成为一种可行的大规模生产视觉传感器技术。

 

神经形态硅视网膜的发展是一个很好的例子。硅视网膜事件相机的发展可以追溯到1989年福岛国彦的照相机,以及Carver Mead 和Misha Mahowald在20世纪90年代初在加州理工学院的研究。

 

我作为加州理工学院的研究生加入了这个项目,Mahowald和Mead是我的导师。我们神经形态工程师相信我们可以制造出像生物眼睛一样工作的相机。经过10年的早期工作,我们的“硅视网膜”像素实在是太大了(也就是说太贵了),它们拍出来的照片很糟糕。

 

同样重要的是,它们没有对CIS提供足够的优势。

 

所有这些早期发展都是在独联体不断改善的同时发生的。当我和Patrick Lichtsteiner提出DVS像素电路时,我们在欧洲项目“鱼子酱”(CAVIAR)的工作中出现了某种突破。Anton Civit帮助我制作了第一台USB DVS相机。我们卖了几百个128-x-128像素的DVS相机给神经形态社区的早期采用者,他们不是ASIC的开发者。这种像素架构是所有主要参与者的所有后续代的基础(即使他们在自己的网站上没有这样说)。

 

DVS比以前的硅视网膜和标准相机带来了一个“独特的销售亮点”,因为它结合了稀疏,快速的峰值输出,可靠地响应低对比度的自然场景,同时提供了巨大的动态范围和速度。早期的DVS摄像机允许神经形态研究人员利用这项技术来确定它的潜力。

 

十年后,传统的机器视觉和机器人研究人员也做了同样的事情。如果没有我的学生Patrick Lichtsteiner、Raphael Berner和Christian Brandli,这一切都不会发生。他们现在领导着几家创业公司。另一个关键因素是来自UZH和ETH对基础技术发展的长期支持,还有来自欧洲委员会未来和新兴技术计划的资金。

 

在工业中的应用

 

在工业应用领域,事件相机(EventCam)尤其适合如下的场景:

 

安全区域闯入追溯

 

 

在工业生产的时候,安全扫描仪/安全光幕等等安全产品是作为人身保障的重要因素。由于工厂环境复杂,偶发人员误闯入或物体掉落到安全产品的检测区域内,进而导致报警信号产生,甚至影响正常生产。借助事件相机(EventCam)便可将这报警信号产生的前后的过程记录并保存下来,方便后方管理人员了解报警信号产生原因,改进流程达到提高生产效率。

 

倒包故障记录追溯

 

 

包装输送带上倒包故障让人相当头疼,配合SICK的智能传感器捕捉到倒包故障信号,事件相机(EventCam)记录倒包故障前后情景,为后续工艺分析改善提供有力支持,减少故障提高产能。

 

AGV碰撞记录追溯

 

在AGV/AGC上,事件相机(EventCam)由扫描仪/光电接近等传感器触发,记录保存其停车/碰撞的前后情景,为AGV/AGC行驶提供更有质量的行驶记录支持。

 

机械手装配故障记录

 

 

机械手在装配芯片到工件上时,机械手需要根据工件的尺寸及方向调整它的姿势,以便正确将芯片放到工件上。对于偶有芯片掉落或者装配不正确时候,设备发出报警信号,事件相机(EventCam)借助该信号记录其故障产生前和产生后的情景,便于后方管理人员快速找到和清晰了解故障的原因。即使故障偶然发生,也不会漏掉任何一个故障场景。

 

设备内部运行监控记录

 

 

对于监控设备运行状态,尤其不方便人员观察的场合(如被外壳遮挡的设备内部/有强光伤害人眼等等),事件相机可置于设备内部,帮助人员观察。配合设备的信号,可以轻松追溯/还原关键的情景信息。

 

输送带包裹条码检测监控记录

 

 

输送带上包裹的条码读取,偶会发生读码设备无法读取条码的情况。借助条码阅读器上的报警信号,事件相机(EventCam)可记录无法读取条码的情景,便于工程师了解原因,为后续分析和工艺改善提供支持。

 

无人工厂

 

 

事件相机(EventCam)置于无人工厂的关键位置,借助外部触发信号(如故障/启动等信号),记录和上传其信号发生前后的视频/照片信息,并上传到远端的服务器上。为管理人员对工厂设备工艺/流程/故障等提供快速,真实的场景记录,便于改善生产,提高效率。

 

日益增长的生态系统

 

与CMOS图像传感器类似,事件相机初创公司insi(被索尼收购)、iniVation(负责iniLabs任务)、上海赛睿科技(CelePixel)和高端公司Prophesee也已成立,并出售自己的产品。其他人肯定会效仿。

 

最近,主流的计算机视觉研究人员(主要通过学术合作或我们的神经形态研讨会)介绍了事件相机,并发表了来自事件相机的引人注目的结果。基于事件对亮度变化敏感的DVS在这些社区已经成为“事件相机”的同义词。尽管最初的神经形态定义包含了更广泛的一类视觉传感器,能够模仿生物视网膜的计算能力,但事实就是如此。

 

在过去的30年里,事件相机技术稳步发展。如果COVID-19的影响对研究不是很大的话,我们可能会在未来几年看到这些传感器的大规模生产(消费者可以在商店货架上找到三星的DVS产品)。从设备物理到CMOS电路设计,再到由人工智能驱动的机器人系统,我们一直在不同的层面上玩DVS,从中获得了很多乐趣。

 

现在我们把DVS的开发主要看作是一个工业企业,但是在过去的5年里,正是对稀疏计算的高度关注导致我们在硬件AI加速器中开发了激活稀疏性。在我们的大脑中,这些人工智能加速器只在需要的时候计算。这种方法被神经形态工程师推广了几十年,现在终于在主流电子学中得到了应用。

 

基本的神经形态组织原理,就像卡弗·米德可能说的那样,是只在需要的时候在那里计算。

 


关键字:事件相机  CMOS 编辑:muyan 引用地址:http://news.nvwayi.com/MEMS/ic495472.html 本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:CMOS传感器发展—像素间距扩展赛打响
下一篇:CMOS传感器的发展—叠加和互联技术

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

CMOS传感器的发展—叠加和互联技术
上一篇我们介绍了阻碍CMOS传感器一大主要因素——像素间距,其实它只是影响图像好坏的众多因素之一,还有更多的技术难题摆在我们面前。 叠加和互联 除了像素缩放,CMOS图像传感器正在进行其他创新,如芯片堆叠。供应商也在使用不同的互连技术,如TSV(硅通孔技术)封装技术、混合键合和pixel-to-pixel。 多年来,包括像素阵列和逻辑电路在内的图像传感器都在同一个芯片上。最大的变化发生在2012年,当时索尼推出了一款两模堆叠的图像传感器。芯片堆叠可以使供应商将传感器和处理功能拆分到不同的芯片上。这允许更多的功能在传感器,同时也减少了模具尺寸。 为此,索尼开发了一种基于90nm工艺的像素阵列
发表于 2020-04-26
CMOS传感器的发展—叠加和互联技术
CMOS传感器发展—像素间距扩展赛打响
经过一段时间创纪录的增长,CMOS图像传感器市场开始面临一些新的挑战。 CMOS在智能手机和其他产品中提供相机功能,但现在它们在fab中面临规模化和相关制造问题。和所有的芯片产品一样,在毒爆发期间,图像传感器的增长正在放缓。 这些传感器在200毫米和300毫米晶圆厂的成熟节点上制造,并用于电话、汽车、消费品、工业/医疗系统和安全摄像头领域。如今的智能手机包含两个或多个摄像头,每个摄像头都由一个CMOS图像传感器供电,该传感器将光转换为信号,以生成图像。  智能手机集成了比以往更多的CMOS图像传感器,使系统能够支持高分辨率、功能丰富的相机。例如,三星的新5G智能手机由5个摄像头组成,包括一个
发表于 2020-04-24
CMOS传感器发展—像素间距扩展赛打响
Diodes CMOS频率缓冲器可提供低抖动、低偏差、低功耗三重效果
Diodes 公司 宣布推出符合汽车规格的时钟缓冲器全新系列产品,是专为低功率作业所设计,适用环境温度高达 105°C,可供先进驾驶辅助系统 (ADAS)、信息娱乐系统应用、车用网关使用。 由于车用电子产品愈见精密,使得系统时钟树的结构也愈来愈复杂。频率讯号的数量提升已为现今所需的时钟缓冲器提供低抖动和低偏差功能,同时降低系统功耗。 此时钟缓冲器系列产品采用低功耗 CMOS 制程实作,可在 1.5V 到 3.3V 输入电压范围内正常运作。所有时钟输入皆对齐及同步,并维持低偏差,而 CMO 设计则带来最低相位噪讯,造就极低附加抖动。 系列产品包括 PI6C49CB01Q (一个差分输入、一个单端输出
发表于 2020-04-21
Diodes CMOS频率缓冲器可提供低抖动、低偏差、低功耗三重效果
手机摄像头让光学科技高速成长
华为、三星、小米、OPPO领先发力多摄的贡献,使得销量主力的中低端陆续的搭载四摄。同时,伴随着定制化和大像素需求的上升,摄像头传感器销售额也是逐年的递增。  从传感器出货量来看,全球智能手机摄像头传感器供应链集中化程度非常高。按照地区分布来看,中国大陆约占30%,韩国约占40%。摄像头模组也是随着传感器的增量同步上升,中国大陆在模组制造领域,占据明显优势。 从手机摄像头产业链看,可以分为上游材料及设备提供商、中游摄像头模组组装厂、下游为智能手机制造商。 上游原材料提供商包括:图像传感器(CMOS)、镜头、音圈马达、滤光片等;设备提供商包括:SMT生产线、AOI检测设备、蓝宝石加工设备
发表于 2020-04-21
手机摄像头让光学科技高速成长
CMOS图像传感器爆发在即,国内厂商如何打破国外垄断?
图像传感器作为摄像头模组的核心部件,广泛应用于智能手机、汽车、安防监控、航空航天等领域。我国拥有全球最大的图像传感器市场,然而在高端消费类电子领域的市场份额几乎被索尼和三星占据。随着智能手机采用多摄方案的增加以及IoT、AI、ADAS等技术带动摄像头应用场景的拓展,市场对CIS需求日益旺盛。CMOS图像传感器市场火热作为电子设备的“眼睛”,图像传感器近年来成为市场的焦点,成为半导体行业最炙手可热的领域之一。目前,CCD图像传感器和CMOS图像传感器(CIS)是被普遍采用的两种图像传感器。CCD图像传感器具有量子效率高、噪声低等优点被应用于广播电视和工业监测等领域。随着超大规模集成电路技术和CMOS制造工艺水平的提高,CIS由于尺寸
发表于 2020-04-13
CMOS图像传感器爆发在即,国内厂商如何打破国外垄断?
电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2020 nvwayi.com, Inc. All rights reserved
2019最新白菜网送彩金论坛 棋牌娱乐app送彩金 彩票大赢家 娱乐平台加微信送彩金 永利赛车机器人 网上送彩金的网站 正规官网送彩金 送彩金的网站有那些 送彩金的网站有那些 永利高网上注册送彩金