神经拟态视觉(Neuromorphic vision)传感器是一种基于仿生学原理的摄像头,它可以捕捉到一个场景中的关键信息,降低数据冗余和延迟。这种基于事件驱动的传感器使自主化更接近现实,已经在高速视觉应用中找到用武之地,如工业自动化、消费电子和自动驾驶汽车等领域。
“为什么说基于事件驱动的视觉传感器是神经拟态的呢?”Yole Développement(位于法国里昂)首席分析师Pierre Cambou表示。“由于每个像素都是一个神经元,因而将AI引入像素处理是有道理的。”
沉寂多年的神经拟态视觉传感器行业在最近几个月开始卷土重来。去年11月,三星为其面向移动设备和平板应用的动态视觉传感器(DVS)技术提交了商标申请。 Cambou认为:“这有点出乎意料,因为三星开发DVS技术主要是针对汽车高级驾驶辅助系统的。”
去年12月,索尼不动声色地收购了总部位于苏黎世的Insightness公司,该公司的视觉传感器可以在毫秒级别内进行运动检测,即使传感器本身在移动的场景下也可以检测。今年2月,位于巴黎的Prophesee公司在筹集了额外的2800万美元后,在国际固态电路会议(ISSCC)上宣布与索尼公司共同开发新型一种传感器,即基于事件驱动的堆叠式视觉传感器。
神经拟态感应源起于“硅视网膜”的发展,它模仿人类视网膜,最初由苏黎世联邦理工学院(ETH Zurich)和神经信息学研究所的Misha Mahowald于1991年提出。Mahowald解释说,“这种硅视网膜从图像中减去平均强度水平并仅报告时空变化,从而可以节省带宽。”这一灵感启发了动态视觉传感器(DVS)的概念,并驱使近年来无数的初创公司参与其中。瑞士的iniVation公司就是其中的一员。
位于苏黎世的iniVation公司由事件驱动视觉领域的先行者于2015年创立,现已开发出一个动态视觉平台,集成了高性能机器视觉系统的硬件与软件。其神经拟态DVS芯片(型号为DAVIS346)模仿人类视网膜的特征,只有当局部像素级别的变化发生时才有数据传输,从而实现微秒级时间精度的事件流,这相当于传统的视觉传感器,但数据量却少得多。该公司声称,由于采用了本地处理的理念,该芯片大大降低了功耗(最高降低90%)、数据存储和算力要求,同时还提高了传感器的动态范围(超过120 dB)。
iniVation已经建立了一个有300多家客户的网络,与宾夕法尼亚大学、苏黎世大学和美国国防高级研究计划局的研究人员在IBM TrueNorth类脑芯片上展开了合作。这项研究致力于实现无人机自主飞行。而欧盟的一项计划则着重于可持续发展的智慧城市项目。
构想智能工厂
与此同时,工厂里也正在进行一场无声的革命。自主与自动化携手并进,而机器视觉正是制造业自动化不断发展背后的支撑力量。与简单的传感器不同,机器视觉传感器会生成大量数据,以识别有缺陷的系统、了解其缺陷并进行快速干预。其结果是成本节省和生产率提升。
iniVation声称,其动态视觉平台非常适合工业视觉,它可进行高速3D基础架构扫描,用于预测性维护、高速生产检查、颗粒检测,以及荧光成像和人体运动分析的显微镜。换句话说,它可以高速、高精度和高一致性地执行平常或复杂的重复性任务。
iniVation的CEO Kynan Eng在接受采访时表示:“我们花了不少时间才制定出一个合适的策略。”当其它公司都致力于高速计数时,Eng却认为“高速计数对象并不是很难”,因为传统相机可以达到每秒“捕捉一千帧甚至更多”。如果一个应用不需要立即响应,那“使用我们的传感器将毫无意义。”
至关重要的是延迟,而不是数据吞吐量,“我们的传感器具有快速的响应时间”。例如,“如果您有一个机器人需要不断移动地完成某项任务,那它就必须实时调整其路线。调整得越快,就可以移动得越快,并越快检测到自己的错误。”
“我认为工业视觉是风险相对较低、但市场规模较小的市场,”Eng说道。因此,风投机构对此兴趣不高。但iniVation看到了有机增长的潜力,并从规模经济的角度来思考。通过2019年与三星建立的合作伙伴关系,iniVation已经从制造和销售芯片转向为机器视觉行业提供摄像头。 Yole分析师Cambou指出,“你可以卖100美元的芯片,也可以将芯片封装在摄像头中,卖1,000美元的摄像头。”
通过往系统方向发展,iniVation正在提升其价值链的地位。
“我们意识到,做一家芯片公司对我们没有任何意义,”Eng说。“我们可以筹集到十亿美元的资金,但仍然不够自己开发芯片的开支。有人想知道,为什么我们的摄像头很贵,怎么才能让它更便宜?”通过与三星的合作,我们“解决了这个问题。”
不断提高的质量要求,加速了食品、包装、消费电子、航空航天和汽车行业中的机器视觉发展。Eng说,iniVation’s的目标是进入更大规模的市场。