联发科技Helio P90 以AI之眼还原真实世界

news.imobile.com.cn true http://news.imobile.com.cn/articles/2019/0516/195915.shtml report 9479

5月14日,联发科技在北京举行了“真AI相机 还原真实世界”技术沟通会,沟通会的主角当然是备受期待的Helio P90,但是这次联发科技选择将重点锁定在用户更关注,大家使用中也能更直观感受到的拍照领域。

图源 联发科技

联发科技无线通信事业部营销处处长李俊男表示:“独立AI专核APU提供的强大AI算力,能为消费者带来什么好处呢?最直接的就是拍照,我们比较重视用户体验,不是提供一个很花哨的功能,而是在日常使用上可以用到的。”

AI专核APU设计

为了能提供强大的AI性能基础,Helio P90在规划之初就决定使用AI专核APU设计,并为其开发了先进的AI影像算法。

考虑到手机SoC平台在功耗、发热、频宽等方面的限制,使用AI专核APU的好处就是专事专做,APU高效处理本身擅长AI计算的同时,CPU和GPU等核心并不用保持在高频唤醒状态,用户可以直接感知的就是发热控制和续航表现的明显提升。

数据来源 AI Benchmark

同时,Helio P90 APU的性能本身也是相当出色的,在苏黎世联邦理工学院所推出的AI性能测试AI Benchmark的SoC平台排行榜上,Helio P90至今占据榜首位置。从榜单中也可以看到,Helio P90在AI应用场景中主要使用双DSP+APU专核进行处理,表现出色。

手机影像质量提升难点

在强调一款手机拥有出色拍摄能力的时候,我们经常称其为“手机中的单反”,这当然是大家的一个美好期盼,但是相对于体积、感光元件尺寸、配套镜头组件等都更占优势的单反,手机影像质量的提升是有其固有难点存在的。

资料来源 联发科技

联发科技将这些难点总结为杂讯(噪点)抑制、对比增强、动态范围能力改善等三个主要方面,究其原因,影响最大的还是感光元件尺寸的问题,单反CMOS尺寸是手机的十几到几十倍,单像素所对应的感光元件尺寸也更大,每一个pixel本身接收到的有效光信息更多,频谱更宽,信噪比更高,光电转换等处理的过程也就更容易。

手机方面因为本身形态所限,CMOS尺寸很容易摸到天花板,利用AI算法来实现弯道超车就成了一个更加可行的解决方案。联发科技关于图像算法的研发也从最开始的手工调教算法在过渡到CV(计算机视觉)算法后最终过渡到现在基于AI图像算法。

联发科技 多媒体研发部开发处 副处长  陈颖睿

联发科技多媒体研发部开发处副处长陈颖睿为我们解释道“ Imagiq从过往第一代Helio X20到Helio P90第四代持续在影像质量算法上做持续改善,从最早纯手工打造,到过程当中引入CV技术/人脸侦测/双目深度计算,一路到Helio P90引入基于APU上面所做的进一步突破,让我们的拍照品质能够持续不断的提升”

联发科技AI Camera的提升

作为提升手机拍摄质量的重要环节,联发科技选择通过搭载AI Camera的形式来提供更好的影像品质,AI Camera系统包括APU和ISP的共同作用,在传统ISP专项处理图片信息的基础上,联发科技对更多适宜于AI处理的任务做了二者的结合,能对每张图像进行单独的针对性优化。

图源 联发科技

联发科技将AI Camera工作流程简明分为“侦测→低分辨率→高分辨率”三个步骤,当然,这是便于理解的划分,实际中间还存在光电转化、信息压缩等许多细节,咱们暂且不谈。

侦测阶段

联发科技除了做到远胜于竞品的侦测识别率与准确度以外,还添加了基于AI的ROI(感兴趣区域)侦测。就比如拍照中非常重要的人脸识别,Helio P90能够在各种恶劣环境中保证精准的人脸识别,无论是强背光还是各角度侧脸都能迅速准确识别,而且因为APU和ISP的特性,其速度和功耗都保持在非常理想的水平。

ROI侦测技术则是未来图像及视频拍摄中的一项重点,陈颖睿认为“视频通话场景,用户感兴趣部分就是人脸,而飞机起落,拍宠物跑来跑去(等场景),你关注的物件就不是人脸了,如果你只针对人脸侦测做开发的话,在这些场合就完全失效,所以我们也在平台上面开发人眼感兴趣的ROI Encorder”。

图源 联发科技

通过侦测ROI,在处理图像和视频的时候重点就更加明确,对应区域会得到资源的倾斜,比如视频通话时就可以把有限的带宽分给人脸等更重要的区域,资源传输压缩时也可以做到不同区域不同压缩比。联发科技在去年12月Helio P90发布会上已经有了相应展示,目前在视频直播等应用场景中已经可以带来更好的体验。

低分辨率阶段(AI深度图)

相信在如今手机已经普遍用上多摄模组的情况下,大家对景深辅助摄像头这个概念多少都有一些了解,其作用就是为图像提供更丰富的景深信息,类似的还有包括利用ToF 3D深感镜头等其他一些实现方式,而其作用中真正体现价值的地方就在于深度图的生成,因为深度图作为景深信息的展示不必要全分辨率处理,所以联发科技也将这一步归纳为低分辨率阶段。

Helio P90利用APU结合ISP所做到的,就是在更低能耗的情况下实现更快的运算和更好的质量,比如上图同为抓取的过程中生成的深度图像(图示黑近白远,颜色越浅代表判断为距离越远),可以看到搭载Helio P90的产品所生成的深度图无疑是更准确一些的。

全分辨率阶段

当猜色、反马赛克以及融合深度图等一系列准备阶段都完成后,我们就进入到了全分辨率处理阶段,这一阶段可以理解为将此前获得的所有信息还原成图像本身的一个过程,因为信息量相当大,且流程繁复,这也是复杂度最高的一个阶段,Helio P90的APU+ISP结合应用,在此阶段呈现出的就是我们肉眼可见的图像品质提升了。

样张细节放大对比图 图源 联发科技

样张细节放大对比图 图源 联发科技

以上是两张联发科技展示样张的细节放大对比图,我们可以看到此前说到的优势在画面上都有着具体的呈现,主体被摄人物细节表现清晰且面部光影更加自然,明显是有对应的优化。值得一提的是,Helio P90样张中的人物皮肤表现非常出色,既将噪点都抹去了,也没有对皮肤本身纹理和质感造成损伤,即使在这样的暗光环境中,模特的皮肤看起来更加贴近真实。

我们在现场也有咨询Helio P90 真AI相机作为平台,与各家硬件、各家成像风格的兼容性。联发科技表示,样张所展示的是联发科的成像风格,但在其ISP之中有着丰富的调试弹性,完全可以根据客户的需求做出具体的优化,并不是说搭载Helio P90平台的手机成像都是一个风格,这对于厂商和用户来说应该都是一个不错的消息。

 

其实从AI的优化效果来看,联发科技的方向和形式都是我们更乐于所见的,不同于美颜之类简单粗暴的“美化”,Helio P90的AI相机着重提升的其实是手机成像素质的表现,无论是动态范围还是降噪能力的优化,其目的都在于还原出人眼所能看到的真实世界,我也更愿意把这样的称作是“真AI相机”。

来源: 手机之家

微博评论

之家评论

热门手机排行榜

  1. 1iQOO Pro¥3798
  2. 2荣耀 9X PRO¥2199
  3. 3 OPPO K3¥1599
  4. 4vivo Z5x¥1398
  5. 5荣耀 20 PRO¥3199
  6. 7realme X¥1499
  7. 8一加 6¥3199

© 2002-2016 imobile.com.cn 手机之家 所有权利保留 违法和不良信息举报电话:010-59601436

京ICP备09079639号 京ICP证090349号 电信业务审批[2009]字第281号 京公网安备 11010502030387号