法明来自奥菲寺。 　　

　　

　　量子比特|微信官方账号QbitAI 　　

　　

　　真的是买算法送手机！ 　　

　　

　　这不，谷歌又给了“亲儿子”Pixel 6福利，让手机的细节也能细致到头发。 　　

　　

　　看看这个效果，原本模糊的头发轮廓，咻的一声，就变成了丝丝缕缕的样子！ 　　

　　

　　 　　

　　

　　甚至连头发之间的缝隙都可以准确的挑出来。 　　

　　

　　 　　

　　

　　这样就避免了人像模式拍照时人与模糊的背景脱离的情况，人的照片深度更真实。 　　

　　

　　四舍五入，这不就是用单反拍照吗？(手动狗头) 　　

　　

　　Alpha Mask监督学习在介绍最新的方法之前，我们先来了解一下过去手机的人像模式摄影是如何实现的。 　　

　　

　　传统的方法是用二进制对图像进行分割，然后对分离出来的背景进行模糊处理，在视觉上产生深度感，可以突出人物的主体。 　　

　　

　　 　　

　　

　　虽然视觉效果非常明显，但是在细节上的表现不够强烈。 　　

　　

　　于是，谷歌将经常用于电影制作和照片修图的Alpha遮罩,搬到了手机上，并提出了一种新的神经网络，名为“人像抠图”。 　　

　　

　　其中，骨干网是MobileNetV3. 　　

　　

　　这是一个轻量级网络，特点是参数少，计算量小，推理时间短。这在OCR、YOLO v3等任务中很常见。具体结构就这么长： 　　

　　

　　 　　

　　

　　然后使用浅网络和一系列残余块来进一步提高阿尔法掩模的精细度。 　　

　　

　　其中，这种浅层网络更依赖于低层特征，从而可以获得高分辨率的结构特征，并可以预测每个像素的Alpha透明度。 　　

　　

　　这样，模型就可以在初始输入时细化Alpha蒙版，实现了从上面的细节到头发线条的抠图效果。谷歌表示，神经网络人像抠图可以使用Tensorflow Lite在Pixel 6上运行。 　　

　　

　　 　　

　　

　　此外，考虑到使用Alpha蒙版抠图时，太强的背光往往会导致细节处理不佳。 　　

　　

　　谷歌利用体积视频捕捉方案的地形生成了高质量的数据集。 　　

　　

　　这是谷歌在2019年提出的一个系统。它由一个球形笼组成，装有331个可编程LED灯和大约100个用于捕捉体积视频的摄像头。 　　

　　

　　与一般的数据集相比，该方法可以将被摄对象的光照与背景进行匹配，从而呈现出更真实的效果。 　　

　　

　　 　　

　　

　　而且这种方法还可以满足人像摆放在不同场景时光线变化的需要。 　　

　　

　　 　　

　　

　　值得一提的是，Google在该方法中也使用了监督学习的策略。 　　

　　

　　这是因为神经网络在抠图上的准确率和泛化能力有待提高，人工标注的工作量太大。 　　

　　

　　因此，研究人员使用带标签的数据集来训练神经网络，从而提高模型在大量数据中的泛化能力。 　　

　　

　　 　　

　　

　　还有一点就是用算法优化摄影，这其实是谷歌的传统技能。 　　

　　

　　比如Pixel 4，用算法拍星空。 　　

　　

　　 　　

　　

　　不用说，HDR算法引起了公众的热烈讨论。 　　

　　

　　 　　

　　

　　该功能可以在不按快门的情况下启动相机连续拍摄图像，并将缓存最近保存的9张图像。这些照片会和快门按下后的图像一起处理，最终得到一个最优的图像。 　　

　　

　　同时也让Pixel可以在夜间模式下拍照，不会像其他手机一样停留很久。 　　

　　

　　由于提高摄影效果不依赖于硬件，谷歌也将这些功能集成到一个APP中，适用于各种安卓手机。 　　

　　

　　感兴趣的朋友，可以尝试一下或者分享一下经验~ 　　

　　

　　参考链接： 　　

　　

　　https://ai . Google blog . com/2022/01/accurate-alpha-matting-for-portrait . html 　　

　　

　　-完毕- 　　

　　

　　量子Qbitai头数签名 　　

　　

　　关注我们，第一时间获悉前沿科技动态。