当“司机”靠近车侧,触发车门把手处开关,进而唤醒人脸识别功能,经由车门上方摄像头抓拍的人脸图像,与云端注册过的车主信息进行比对,车门便可实现自动解锁。

4月17日 ,2019上海国际车展上,上述场景得以在“智能车舱”产品上呈现于媒体面前,该产品由商汤科技SenseTime打造。而包含身份识别、刷脸开门等服务在内,该产品还可实现疲劳检测、分心检测、视线追踪、手势识别、乘客属性分析等7项功能。该产品在颇具亮点的同时,也展示出商汤科技等诸多零部件企业,在提升车辆驾驶性能及人车交互的智能化水平过程中的相应进展。

(通过人脸识别摇下车窗,并解锁车门)

例如,刷脸开门和身份识别的实现,是基于商汤科技领先的人脸识别、活体检测等生物识别技术的优化,结合多样的人机交互方式,该“车舱”可实现车辆权限的智能控制与管理。同时,“车舱”还具备疲劳检测和分心检测功能,可实时监控驾驶员状态,对潜在危险进行快速响应与预警,确保行车安全。

(识别分心状态,并通过语音和文字提示)

同时,“智能车舱”还可提供丰富多样的智能化新玩法、新体验。应用手势识别、视线追踪、乘客属性分析等功能,商汤将基于对驾驶员人脸的识别应用,延伸到手势、眼球视线,创造别具一格的智能人车交互娱乐体验;同时,还可将识别范围扩展后排乘客,实现全舱的智能一体化,让智能车舱更具“未来感”。

活动现场,针对该“车舱”的技术铺垫、未来落地场景,以及企业的业务布局,商汤科技车载行业国内销售总监严威进行了细致阐释,以下为发言实录:

严威:大家知道商汤科技是全球领先的人工智能平台公司,这是我们比较自豪的一点。我们公司2014年成立,核心研发能力、包括对各行业的了解和政策落地,是支撑我们发展到今天的原动力。

商汤在汽车领域从2017年开始积累,汽车是可以集成所有人工智能的最好载体。比如自动驾驶,既需要图象识别,也需要有云计算,还需要语音识别。目前来看,商汤在智能车舱领域拥有最先进的计算机视觉技术,包括智能车舱功能的广度和深度也是行业内做得比较好的。

商汤员工主要分布在上海、北京、深圳,另外在杭州跟成都也建立了分公司。我们的核心是研发,目前共有250名博士来组成核心研发团队。另外,我们有自己原创的深度学习平台SenseParrots,类似于手机安卓、iOS,商汤是中国AI领域原创深度学习平台的代表。

凭借算法的原创性和普适性优势,我们在各个领域推进落地,目前有700多家合作伙伴,比如很多领域的头部企业,像如阿里巴巴、高通都是我们的合作伙伴。另外我们在金融、智慧城市、手机、芯片、医疗也开始做深入布局。

去年9月份在香港,科技部正式宣布将依托商汤集团,建设智能视觉国家新一代人工智能开放创新平台,商汤正式加入AI国家队。在大陆之外,香港、新加坡、东京、京都也都建立了分公司,我们开始逐步走出中国,布局世界。

合作伙伴方面,包括阿里、苏宁,包括手机四大品牌华为、小米、OPPO、VIVO。基本上每个人,在生活的各个方面都能用到商汤。

目前在计算机视觉领域,世界上主流的人工智能平台有三个,一是Coff2,中间是Facebook的Torch,右边是Google TensorFlow,这也是大多数视觉AI企业使用的基础平台。商汤的深度学习平台是自己研发的SenseParrots。基于这一平台开发的算法,不需要后台有大规模的服务器,在端上就能完成轻量级计算,大量布局在手机、汽车、楼宇等垂直场景。

我们在北京、上海、东京设立了超算中心,有超过15000块GPU来支持算法训练。我们有17个GPU的集群,每个集群针对一个垂直算法领域做特定化的训练。最大一个集群的规模接近2000块CPU。超算中心带来的强大算力,是我们支撑人工智能算法不断迭代的核心要素之一。

这是我们的应用层,这一层包括软件层和硬件层。软件层包括底层平台和算法,硬件层包括我们与高通、英伟达等头部企业的合作。这也是我们算力的重要载体。第三层就是云计算,包括我们做智慧城市,同样需要云的配合。云计算层也是应用层实现的架构。

基于这一架构,我们在各个领域都有布局。包括智慧城市领域跟阿里巴巴的配合,智慧医疗领域我们跟医诺合作,智慧零售领域在与苏宁易购合作,自动驾驶领域我们跟本田签了五年协议,正在做L4级别的研发。此外在金融方面也有很多服务的客户。

现在我们人工智能方面一是核心人才,二是平台,三是针对领域做的针对性的落地,最后是合作伙伴生态圈,这是支持商汤可持续发展的一个架构。

我们车载领域在2017年开始投入。而车舱领域在2018年表现出了爆发性的增长。目前来看,疲劳检测是智能车舱中需求最旺盛的功能,包括很多从豪华车开始现在已经逐步下沉到大众品牌,都会有疲劳监测需求。另外是还有人脸识别和身份认证,包括手势识别、危险动作、乘客属性分析、刷脸开门、视线跟踪等等,这些需求都来自客户。而商汤是唯一一家能够整体提供这几项功能的就是商汤。同时,商汤智能车舱的适配性也非常强。我们跟市面上主流的芯片都做过适配,我们的算法是具有普适性的。我们也在做算法的轻量化,从而更好地融入到车载主机中去。

七大功能,我们可以集成到四大模块。第一个模块是权限控制,主要是刷脸开门、身份识别。二是驾驶员监控,涵盖了疲劳检测、分心检测和危险动作的检测,这个用的比较多的是运营车辆、商用车。三是车载互娱,包括手势识别和视线追踪,未来我们对视线追踪的精度做得更高的话,可以做到视线控制。四是乘客属性分析,看懂你的情绪和动作。如果发生一些危险事件的话,我们可以通过肢体冲突或者检测体现预防恶性发生,可以提前向后台报警。这将会用到出租车等运营车辆上。

目前商汤的智能车舱已经在威马EX5上有了落地,跟伟世通也在昨天达成战略合作,共同探索智能车舱市场。未来商汤还会寻找更多OEM和tier1领域的合作伙伴,推动智能车舱落地。

此外,商汤可实现通过AR技术导航,它会有实际场景模拟,该技术也将应用与未来用车,例如停车、寻找店铺。商汤想要做的,就是把你的车把车从功能时代带入智能时代,功能时代的车就是机器,智能就是伙伴,这是我们希望赋予车的新理念。

另外是零售,苏宁是我们的智慧零售合作伙伴。在上海跟南京、深圳的苏宁无人店,您如果是苏宁易购的会员,进店的时候就会有一个欢迎词,比如欢迎某某某女士来购物。最后你也可以用刷脸的方式来支付,全程都是用人脸识别来实现的。

当这些零售业务与车舱结合起来,我们也看到一些尝试,比如移动出行,上海的EV-Card,北京的GO FUN等。除了主要业务的盈利之外,大家还希望做一些尝试,比如广告入驻,在车上安放很多屏,来打广告。但目前遇到的问题是,客户只能无差别投放广告,无法针对特定人群。有了人脸识别技术之后,客户就能够针对识别到的不同人群来推送广告,比如给女士推化妆品广告,提升广告的转化率。这就会成为移动出行客户的新的盈利增长点。这是我们另外核心竞争力之一。

基本就是这些,谢谢大家!

注:“智能车舱”七大功能

刷脸开门:当“司机”靠近车侧时,将触发车门把手处的微动开关,进而唤醒人脸识别功能。此时,系统自动将车门上方摄像头抓拍的人脸,与云端注册过的车主进行比对,确认车主身份并解锁车门。在人脸比对的过程中,系统还将同时启动活体检测,确保解锁的准确性。这一功能不但可解决车主携带钥匙的不便,极大解放双手,同时保障了车辆安全。

身份识别:以人脸识别、活体检测技术为核心,可提供“车载系统-云平台-手机APP”之间的信息互通,以实现车辆权限管理。比如,在共享租车等应用场景中,它可帮助实现对驾驶员及车辆的授权管理。同时,这一功能还可记录、同步车主的个性化需求,辅助进行车内空调、音响、座椅等的智能设置。

疲劳检测、分心检测:通过红外单目摄像头捕捉人脸图像,应用商汤科技的人工智能技术对眼睛的正闭眼状态、打哈欠频率进行综合判别,输出驾驶员正常状态的判定;同时,对司机的头部转交和视线方向进行追踪,以确认驾驶员的注意力是否在路面上。如果司机正处在“疲劳”或者“分心”状态,系统就会发出不同级别的报警信号。在实车道路测试环境下,疲劳检测和分心检测准确率均可达到98%,误报率小于5%。

(通过识别手势动作,完成歌曲收藏)

手势识别:借助IR 摄像头和商汤科技领先的手势识别算法,即可实现用手势调节音量、切换歌曲、控制车窗等,就像科幻般的“隔空操作”。目前,商汤科技已开发超过20种标准动静态手势, 并可支持订制。

视线追踪:通过红外单目摄像头捕捉图像,利用商汤科技的人工智能技术捕捉人的头部和眼睛动态,实时识别驾驶员正在注视的车内区域,如主驾遮阳板、主驾前方、仪表盘、中控显示屏、内后视镜、左右后视镜等,并可根据不同车型灵活配置,满足车辆需求。

(分析驾驶员及全车乘客属性)

乘客属性分析:应用商汤科技的人脸属性检测与物体检测技术,它可在不同光照条件以及各种光照角度下,精准识别车内人员的性别、年龄、车内位置、情绪等,并可根据需求实现定制化的物品检测,如对手机、笔记本电脑等贵重物品的精准检测。未来,这一功能可应用于对后座儿童的特别看护,遗失物体检测与告知等场景。