iPhone SE 用单镜头也能拍人像虚化照片,它是怎么做到iPhone 8做不到的事情?

EOS游戏 4个月前 (06-27) 科技 65 1
iPhone SE 用单镜头也能拍人像虚化照片,它是怎么做到iPhone 8做不到的事情? 第1张

用单镜头去实现虚化拍照并不是什么新鲜事,之前的 iPhone XR 以及更早的 Google Pixel 2 都有过类似的尝试。苹果新推出的 iPhone SE 也是如此,但它的镜头零组件过于老旧,主要功劳还是在新演算法上。



 加入T客邦telegram送《任天堂Switch大补丸》 ( https://bit.ly/35gy8ig )  



iPhone SE 用单镜头也能拍人像虚化照片,它是怎么做到iPhone 8做不到的事情? 第2张 从左到右,分别是新 iPhone SE、iPhone 8 和 iPhone XR 的镜头感应器



从 iFixit 的拆解报告可以得知,新款 iPhone SE 中的某些零组件和 iPhone 8 完全相同,甚至达到了可以互换使用的程度——其中就包括了那颗 1200 万像素的广角镜头。



「旧瓶装新酒」的做法对 iPhone SE 而言并不稀奇,倒退回四年前,第一代 iPhone SE 也套用了 5s 的外观和大部分硬体,只是在晶片上保持和 6s 一致,进而让使用者能够以更低的价格获得旗舰机的性能体验。



理论上,照搬相同的镜头硬体,两者的拍照特性应该也不会有太大差异。比如说 iPhone 8 就不支援拍主体清晰、背景模糊的小景深照片,也就是我们常说的「人像模式」。



但查阅苹果的支援页面时你会发现,iPhone 8 所不支援的人像模式,却被新款 iPhone SE 支援了——哪怕两者都只有一颗后置镜头,且规格完全一样。



iPhone SE 用单镜头也能拍人像虚化照片,它是怎么做到iPhone 8做不到的事情? 第3张



正常情况下,手机拍「人像模式」这样的虚化照片都得靠双镜头来完成——好比是人类的双眼,两个位置不同的镜头会获取两张不同角度的画面,然后结合视角差估算出景深,进而实现背景虚化,保持主体清晰。



如今列表上的 Plus 系列,或是近几年的 X、 XS 和 11 等,基本都是靠多镜头系统来完成人像虚化拍摄。



那么 iPhone 的前置单镜头又是怎么解决的?核心在于 Face ID 系统中的红外线点阵投影器,它也可以获取足够精准的深度数据,相当于是一颗「辅助镜头」。



iPhone SE 用单镜头也能拍人像虚化照片,它是怎么做到iPhone 8做不到的事情? 第4张



这么来看,iPhone SE 能拍人像模式照片就很特殊了:一来,它没有多镜头,二来它也没有 Face ID,照理来说,应该在硬体上并不支援人像模式才对。



因此,答案就很明显了,苹果在软体上应该是又有了新的突破。



 



iPhone SE如何用单镜头做出人像虚化效果? 

最近,第三方相机APP Halide 的开发者 Ben Sandofsky 就透露了其中的技术原理,解释为什么新 iPhone SE 采用了和 iPhone 8 一样的单镜头规格,但却可以做到后者所无法实现的人像拍照模式。



他们表示,新 iPhone SE 很可能是「第一款只使用单一的 2D 图像,就可以产生人像虚化效果的 iPhone」。



你可能会反驳,iPhone XR 不也是单镜头拍虚化的吗,难道 SE 不是照搬它的方案?



然而拆解的情况证明, iPhone SE 和 iPhone XR 的镜头并不一致,这也导致两者在技术上存在差异。



iPhone SE 用单镜头也能拍人像虚化照片,它是怎么做到iPhone 8做不到的事情? 第5张 三星 Galaxy S7 系列是首个将 DPAF 技术运用在智慧型手机镜头上的设备



最重要的一点,iPhone XR 的镜头可以使用双像素自动对焦(DPAF)技术来获得一定的深度数据,而不是完全只靠软体来模拟。



简单来说,DPAF 技术相当于将镜头感应器上的像素点,分割成两个更小的并排像素,去捕捉两张角度不同的照片,就像是我们的左右双眼一样。



虽然这产生的视角差不如原生双镜头那么明显,但仍有利于演算法去构建深度讯息。



iPhone SE 用单镜头也能拍人像虚化照片,它是怎么做到iPhone 8做不到的事情? 第6张 Google Pixel 2、3 使用 DPAF 技术获得的两张视差图,肉眼难以感知,但仍可以帮助图像分割演算法做出判断



此前,Google 在 Pixel 2、3 上也运用了这样的技术来实现单镜头虚化。而在 Pixel 4 上,由于该机换成了多镜头规格,视差探测明显比单镜头更精准。



iPhone SE 用单镜头也能拍人像虚化照片,它是怎么做到iPhone 8做不到的事情? 第7张 再来看看 Pixel 4 靠两颗镜头获得的数据,视差更明显,也能收集到更精准的数据



至于新 iPhone SE,由于它的感应器过于老旧,Halide 称它无法依靠感应器来获取视差图,基本只能靠 A13 Bionic 晶片所提供的机器学习演算法,去模拟和产生深度数据图。



一句话解释就是,iPhone SE 的人像虚化拍摄,真的就是完全在靠软体和演算法实现的。



iPhone SE 用单镜头也能拍人像虚化照片,它是怎么做到iPhone 8做不到的事情? 第8张用 iPhone XR 和新 iPhone SE 直接对着这张照片拍摄



Halide 用 iPhone XR 和新 iPhone SE 分别拍摄了一张小狗的照片(并非实拍,只是给「一张照片」拍照),然后对比两张图的深度数据。



他们发现,iPhone XR 仅仅是做了简单的图像分割,将主体抠了出来,但并没有正确辨识出小狗的耳朵。



iPhone SE 用单镜头也能拍人像虚化照片,它是怎么做到iPhone 8做不到的事情? 第9张 深度数据图,左边是 iPhone XR,右边是新 iPhone SE



但在新 iPhone SE 上,配合 A13 晶片所提供的全新演算法,我们则得到了一张完全不同于 XR 的深度图。它不仅正确辨识出了小狗的耳朵和整体轮廓,还针对不同远近的背景做了分层处理。



这种深度图并不是 100% 准确的,Halide 表示,新 iPhone SE 在拍摄非人脸题材的虚化照片时,抠图和虚化的精准度明显没有拍人像时来得精准。



尤其是在一些主体和背景图十分模糊的情况下,此时多镜头的优势会更明显些。



iPhone SE 用单镜头也能拍人像虚化照片,它是怎么做到iPhone 8做不到的事情? 第10张 在这类非人脸题材,且主体和背景没有明显分割的情境下,新 iPhone SE 的虚化就很容易出错



从这张图可以看到,配备了多镜头系统的 iPhone 11 Pro,不仅能将圆木上小植物轮廓完整地勾出来,而且还能对辨识出背景的远近距离,并做出分层处理。



iPhone SE 用单镜头也能拍人像虚化照片,它是怎么做到iPhone 8做不到的事情? 第11张 深度数据图,左边是 iPhone 11 Pro,右边是新 iPhone SE



而在新 iPhone SE 上,尽管同样有分层处理的结果,但被摄主体和背景已经完全融在了一起,后期虚化时自然会比 iPhone 11 Pro 差不少。



iPhone SE 用单镜头也能拍人像虚化照片,它是怎么做到iPhone 8做不到的事情? 第12张 实际的虚化样张,左边是 iPhone 11 Pro,右边是新 iPhone SE



这也是为什么,现在新 iPhone SE 使用 iOS 自带相机应用时,只有在检测到人脸的情况下,才能启用「人像模式」拍虚化照片,其余情况则会出现错误提示,这点和之前的 iPhone XR 一样。



iPhone SE 用单镜头也能拍人像虚化照片,它是怎么做到iPhone 8做不到的事情? 第13张



原因仍然和苹果自己的演算法有关。Halide 提及了一个名为「Portrait Effects Matte」(人像效果遮罩)的技术,主要用于在人像模式拍照中寻找出精确的人物轮廓,包括边缘的发丝、眼镜框等细节,以便对主体和背景进行分割。



但目前来看,这套基于机器学习的分割技术更多是为「拍人」准备的,它的确可以弥补 iPhone XR 、iPhone SE 这类单镜头手机在视差数据上的不足,但如果拍摄对象从人物换成其它物体,演算法也会出现一定概率的判定错误。



至于像 iPhone 11 Pro 这类多镜头手机,就算抠图演算法有侷限性,但还是可以透过镜头硬体直接获得视差数据,所以它们在使用自带相机时,也能将人像模式用在非人脸情境中,效果也不会太差。



iPhone SE 用单镜头也能拍人像虚化照片,它是怎么做到iPhone 8做不到的事情? 第14张 新 iPhone SE 的前置镜头也支援人像模式,对人脸的抠图精度非常高,成像差异只是在散景效果上



当然,官方不支援的东西,第三方开发者还是可以拿来加以改造。如今 Halide 应用就支援 iPhone XR、SE 去拍摄小动物或其它物体的虚化照片,背后也是利用了苹果的人像效果遮罩技术来构建深度图,同时配合自己的后端优化。



iPhone SE 用单镜头也能拍人像虚化照片,它是怎么做到iPhone 8做不到的事情? 第15张 使用 Halide 这样的第三方应用,就可以用新 iPhone SE 拍非人脸题材的虚化照片



总得来看,本次新 iPhone SE 所实现的人像虚化拍照,算是单镜头手机靠软体优化所能做到的极限了。严格意义上,这其实也得归功于那颗 A13 晶片,如果不是它带来了最新的机器学习演算法,单靠一颗过时的镜头,SE 的拍摄体验显然得打个对折。



这也多少证明,智慧型手机发展多镜头系统仍然是有意义的。我们可以用超广角来拓宽取景视野,可以靠潜望式长焦获得无损变焦照片,更别说 ToF、雷射雷达这类「特殊镜头」对 AR 扩增实境的探测帮助,这些都不是单纯靠一个 OTA 升级,或是演算法就能实现的特性。



iPhone SE 用单镜头也能拍人像虚化照片,它是怎么做到iPhone 8做不到的事情? 第16张



当然,一味地吹嘘、比拼镜头数量同样令人厌烦,如果说硬体只是决定了成像的下限,那么一套优秀的演算法,则可以显著拉升成像的上限,甚至是重新压榨出老硬体的价值和潜力。



不知道再等个四年,下一代 iPhone SE 面世时,单镜头还能否在手机行业留有一席之地?



LG Velvet 中阶机亮相,支援 Wacom 手写笔、换算台币售价破 2 万元

LG 终于正式推出新中阶机 LG Velvet,外型就如同先前公布的一样,机背有雨滴造型的镜头配置,还支援 wacom 手写笔,韩国售价 899,800 韩元,换算台币约 22,000 元。 LG 日前透过官方新闻更新,宣布将推出 Velvet 新手机产品线,首款产品就是 LG Velvet,日前正式在韩国亮相。 ▲ LG Velvet 在韩国推出四款颜色,黑、白、绿、橘,其中橘色设计带有渐层感。 LG Velvet 采用 6.8 吋 20.5:9 吋 Full HD+ 水滴萤幕,特别的是此萤幕支援 Wacom 手写笔,额外购入手写笔后就可配对使用,支援 4096 阶感压,安装 Nebo 手写 app 后还支援将手写内容

申博声明:该文看法仅代表作者自己,与本平台无关。转载请注明:iPhone SE 用单镜头也能拍人像虚化照片,它是怎么做到iPhone 8做不到的事情?

网友评论

  • (*)

最新评论

  • 联博开奖 2020-06-27 00:00:02 回复

    www.allbetgaming.com欢迎进入欧博平台(Allbet Gaming):www.aLLbetgame.us,欧博平台开放欧博(Allbet)开户、欧博(Allbet)代理开户、欧博(Allbet)电脑客户端、欧博(Allbet)APP下载等业务。唯美,温馨

    1