在之前的文章中，我们为大家详细分享了华为的计算光学。在硬件基础已经遇到瓶颈的情况下，AI算法作为手机摄影的突破口成为新的方向，具有突破性的意义。从cmos行业核心供应商索尼的新品可以看出，cmos的研发和调整仍在缓慢进行。 　　

　　

　　我们之前已经详细讨论过索尼的2X2 OCL。从2020年开始，很多机型都在使用索尼的这项技术，索尼的很多cmos机型也有这项技术。最早是2020年oppo发布的Find X2系列中的IMX689，让整个手机摄影大放异彩。 　　

　　

　　接下来，我们借用它来分析索尼的"2X2 OCL"。 　　

　　

　　中国索尼于2019年12月10日发布了2x2 On-Chip Lens解决方案。这篇文章看起来不起眼，但背后的技术可能会把手机图像传感器向前推进一大步。这种新的解决方案结合了全像素双核对焦的对焦速度、传统拜耳阵列的分辨率和QuadBayer阵列的弱光拍摄能力。根据索尼的论文，与Bayer阵列、QuadBayer阵列和全像素双核对焦阵列相比，2xOCL在光电效率(QE)、相位对焦速度(PDAF)、HDR和分辨率四项指标上处于领先地位。 　　

　　

　　 　　

　　

　　全像素全向对焦 　　

　　

　　全像素双核对焦，这个词在手机领域并不新鲜。从三星S7采用的IMX260开始，这项技术出色的对焦性能，指哪打哪，征服了当时几乎所有人。然而，随着华为P20系列采用QuadrBayer阵列，高像素成为各手机厂商追逐的对象。从4000万像素到4800万到6400万再到1.08亿，手机厂商追求高像素已经一去不复返了。但目前手机上的Quad Bayer阵列并没有配备全像素双核对焦，在部分像素上又回到了原来的嵌入式相位对焦模式。对焦性能自然不如全屏双核对焦。在Soomal的一系列拍摄体验中，我们也可以看到该系列机器的对焦体验弱于上一代全像素双核对焦机型。 　　

　　

　　精心制作的佳能双像素CMOS自动对焦技术-上图 　　

　　

　　谈谈佳能双像素CMOS自动对焦技术-以上 　　

　　

　　佳能双像素CMOS自动对焦技术详细说明-以上 　　

　　

　　谈谈佳能双像素CMOS自动对焦技术-以上 　　

　　

　　DP对焦的核心是每个像素集成两个独立的光电二极管，分别接收镜头两侧的光信号，完成相位差检测，然后将两侧的信号聚合成一个像点输出。每一个被聚焦的像素都能获得完整的光信号，参与成像，数量不再受限。所有像素都可以被聚焦和成像。70D的2020万有效像素的CMOS集成了4030万光电二极管，所以DP对焦的中文官方名称是“全像素”双核CMOS AF。 　　

　　

　　后来索尼和三星的全像素双核对焦都继承了类似的思路。每个滤波器下有两个独立的光电二极管来完成相位检测。所有像素都可以被聚焦和成像。这种传感器，配合手机的高速数据读取和处理，取得了比佳能更好的效果。它采用了全像素双核对焦机，可以“指哪打哪”。 　　

　　

　　传统OCL和2x2 OCL之间的结构比较 　　

　　

　　传统OCL与2x2 OCL的结构比较 　　

　　

　　传统OCL和2x2 OCL的结构对比 　　

　　

　　这一次索尼采用了全像素双核对焦和全像素双核对焦的思路。2x2 On Chip Lens，如上图所示，顾名思义，一个微透镜下有2x2和四个像素，这样所有的像素都可以参与相位检测。 　　

　　

　　全像素焦点检测 　　

　　

　　全像素焦点检测 　　

　　

　　更有趣的是，在传统的全像素双核对焦中，对焦点相当于传统单反上的“一字对焦点”，而在2x2 OCL方案中，横的可以检测横的，竖的可以检测竖的，斜的可以检测斜的。换句话说，相当于所有的对焦点都是传统单反上的“米字对焦点”。全像素全米字对焦，索尼说全方位对焦没问题，所以国内宣传口径叫“全像素全向对焦”。 　　

　　

　　高分辨率输出 　　

　　

　　如何实现高分辨率输出？索尼说了一句话：利用自己的信号处理功能，改变排列，实现高分辨率摄影。索尼还顺便配了一张图。 　　

hao.com/pic/img.php?k=420nm是什么光,420nm是什么颜色的光6.jpg">

　　

普通的Quad Bayer排列，就是四个像素一组，8个绿色、4个红色、4个蓝色。但如果我们换个角度看看呢？

　　

　　

如上图所示，如果我们把不同色彩之间相邻的四个单元拉出来，刚好就是传统Bayer阵列的四个格子，RGGB。只要我们上、下各错开一个像素，那么每四个单元格里，都是传统Bayer阵列的RGGB像素排列，只是位置稍有不同。当然了，传感器解马赛克算法远没有这么简单，这里只是一个猜想示例。

　　

索尼半导体强大的性能在这里又一次体现了，从IMX586开始，索尼的Quadbayer阵列是一个原色滤镜对应一个光电二极管和一套电路，换句话说，每个像素都能输出数据，这个才是排列变换的基础。

　　

更高的光电效率

　　

这个可能是这块传感器最不值得一提的技术。索尼工程师在论文中表示，由于高像素传感器的微透镜太小，采用更大的微透镜可以提升光电量子效率（QE, Quantum Efficiency）。但是单个微透镜下头有四个像素，这样会造成不同像素之间的互调失真（Crosstalk），所以索尼又秀了一把半导体技术，把微透镜稍微位移了一下（OCLs Shift），同时又加强了像素间的隔离（DTI）。

　　

　　

透镜带来的失真

　　

　　

DTI使用技术的差别

　　

对焦性能的提升

　　

对焦性能的提升

　　

索尼论文中的结果非常理想，在低于1lux的光线上也能做到优良的对焦效率的同时，QE效率比普通的Quad Bayer高7%以上。

　　

所以，我们不可以略微地总结一下，索尼最新的全像素2x2 OCL解决方案提供了手机领域最强的对焦性能，除此以外，还有更高的解析度、更好的弱光拍摄能力。这是索尼工程人员在总结大量实际经验，并对市场进行大量调研，最后研发出的成功产品。

　　

接下来，我们看看华为与索尼联合调校的RYYB。

　　

要完成这个探讨，需要辨析以下几个步骤：

　　

第一个问题，从成像到人眼，经历了多少个过程？

　　

如下最主要是四个过程，分别是相机的捕捉，图片的存储，屏幕的显示，人眼的观察。理论上在进入人眼之前，包括rgb，其他任何的颜色的排列组合都允许，只要保证人眼看到的跟直接看自然景物相同感受即可。

　　

　　

第二个问题随之而来，人眼是什么原理？跟RGB什么关系？

　　

这个答案经常被忽视，人眼的神经细胞也分为三类，分别感受红绿蓝。所以对于显示设备（显示器，屏幕）来说，应该也是红绿蓝编码最高效，最准确。所以，屏幕采用rgb，是最无法质疑的。

　　

第三个问题，轮到了图片，图片一定rgb吗？

　　

如果有人能推理下来，图片可以不用rgb，只要最终转化成rgb的时候准确即可，恭喜你智商+1。图片确实可以用其他编码，比如cmyk，只要编码前让屏幕的前处理设备（如显卡或者操作系统）转化即可。

　　

第四个问题，终于到了相机，图片不必rgb，相机也不必，不过RYYB相对rgb优越在哪里？

　　

说是rgb，每一个颜色对应一个色传感器，实际上经常是两个g是rggb，一方面因为绿光阳光中最强的成分，一方面3个不好排（对就是这么无奈），这些理论上会什么区别。那么ryyb，比rggb高级吗？首先澄清网上有的文章说什么ryyb是颜色减法，rgb是颜色加法，纯粹胡扯，都一样的，色传感器分辨颜色都是一样，用微滤光片。黄色有什么特殊呢，下面这张图就是：

　　

　　

也就是说黄色是红色+绿色。所以实际上黄色的光实际上包含了红色，和绿色，那么如果我们把每一个像素当做8位（256））处理，里面就含了4位红和4位绿。白色像素如果也是8位，那里面就含了个8/3的红绿蓝。那么按这个标准好办了我们评估一下实际的颜色数。

　　

首先，从能传达的颜色数角度：rggb,ryyb,rgbw都是32位，总信息并没有变。

　　

然后，从红绿蓝的各自位数：

　　

上述表格是红绿蓝传感器的能力

　　

那么我们想要的答案快要出来了，ryyb实际上相当于是只是偏向于采集红光。并没看出多高级。

　　

之后，这个方案为什么号称增大进光量40%？

　　

这里首先我们澄清，如果实际的颜色偏绿偏蓝，实际上ryyb传感器的实际分辨能力是下降的，甚至对阳光的分辨都是偏低的，下面个的阳光的组成：

　　

　　

我们要假设，在暗光情况下每个像素都不能采集到饱和的颜色（255），比如一个很暗的颜色rgb=（n,n,n）。这样实际上我们要把焦点转移到微滤光片上了。由于黄色实际上是通过红光和绿光，一个黄光传感器感受到的强度就是2n，同样用以前的方法列一个表。

　　

　　

所以说从感受到的总强度（按红绿蓝相等）上ryyb与rgbw相当，比rggb大50%。但是ryyb极度偏科，对于红绿蓝颜色均衡的图像，成像质量理论更差。但如果只有红色，ryyb比rggb强3倍。

　　

最后总结：既然与以前的rgbw没区别，为什么还吹这么大牛，iso40万怎么来的。这就涉及到前面的假设rgb都相同（n,n,n），其实在弱光下是不严谨的。我们都知道在弱光，尤其是晚上，眼睛看到的黑色，但在红外摄像机下面还是能看到更清楚的人像。增大红色其实相当于增加了红外能力。那么自然如果有人抬杠-谁说手机的红色传感器有红“外”能力，答案是确实有一部分这个大家自行百度。

　　

好了答案终于出来了，ryyb相对于rgbw来说，对于普通颜色均衡的景物，成像能力一样但是更偏科，对于传统rggb，增大进光50%（华为的40%是基于其他的方法来评价）。但是对于夜景和极弱光，ryyb>rgbw，相当于一台24位红光相机。

　　

震惊的补遗：苹果的手机为什么成像一直好，我个人在使用中有一个发现，或许整个业界并没有重视，那就是苹果手机是红外过滤的！大家用一束眼睛看不到的光（900nm左右），用苹果的手机拍不到，其他手机能拍到。这与华为现在的做法相反！为什么苹果这么做，因为红外光波长长，而且由于普遍的黑体辐射，可以延伸到很大频段，其折射率会改变，影响成像准确度。

　　

在论坛中，无数人都在咨询同样的问题，传感器上的这三种颜色有何作用？工作原理是什么？为什么要把绿色（G）换成黄色（Y）？换了以后，为何进光量会提升？

　　

　　

接下来，我们逐一分析：

　　

1.Image Sensor上的颜色滤波器CFA

　　

Image sensor若不加颜色滤波器，拍出来的照片就是黑白的，比如P9上的黑白sensor。

　　

　　

上图是最典型的RGB Color Filter Array（CFA），1976年由柯达的拜耳发明。下面灰色的色块就是一个个感光PD部分，光子在这里转换成电信号；上面R/G/B（红/绿/蓝）三种颜色的马赛克色块就是颜色滤波器，白光透过RGB颜色滤波器后，分别滤出红/绿/蓝光，在灰色PD部分被吸收。

　　

RGB Bayer Pattern下，每一个Pixel上只采集一个颜色通道的信息，其他2种颜色信息是缺失的，通过插值算法，利用相邻其他颜色像素的信息，把其缺失的2个颜色信息猜测出来，这样，每一个像素都有了全部的颜色信息。

　　

这个“去马赛克”的过程叫Demosaic，也是整个ISP通路中最重要的模块之一。简而言之，CFA和Demosaic，是彩色照片的物理和算法基础。

　　

2.RGB Bayer的主流地位

　　

数码相机诞生起，RGB Bayer Pattern就一直是image sensor CFA的主流选择，过去三十多年间诞生过各种不同排布的CFA，比如CMY, RGBE, CYGM, CYGW, RGBW, Pseudo-random等等，始终未能撼动RGB Bayer Pattern的地位。RGGB在颜色还原，Demosaicing过程复杂度，与后端大部分的RGB存储格式的兼容性上，找到了很好的平衡点。

　　

　　

　　

颜色还原的困难，这与人类的色弱现象有共通之处。正常人的三种颜色感知细胞（S, M, L）的峰值响应在420nm, 534nm, 564nm，色弱人群的M和L细胞光谱响应会更得靠近，重叠增加，导致颜色区分能力变弱，比如同一束光线，对正常人眼M/L通道的刺激值为100比70，对色弱人群的M/L通道刺激值比例变成了100/95，差异变小，颜色区分困难。有些色盲患者缺失了某一种细胞，三基色变成了二基色，能识别的颜色种类大大减小。Image sensor的RGB颜色体系近似对应人类眼球的S, M, L三通道体系。

　　

好在数字图像处理可以解决这个问题。RYB（红黄蓝）与RGB体系在数学模型上无质的区别，只是数值上存在差异，RYYB Pattern可以通过与传统RGGB 3x3基本类似的线性矩阵，转换成RGB。因此，通过算法上的处理，RYB依旧能精确还原颜色。

　　

3.RYB的优势

　　

Y的光谱响应更宽，覆盖更多光谱，能捕获更多的光子，进光量可以提升30%-40%左右，在暗光场景中对Luminance信噪比提升显著，夜拍效果更胜一筹。

　　

　　

为了更好体现超感光传感器的性能优势，华为采用了神经网络Demosaic算法（CNN-DM）和全新的色彩和亮度算法管理模块，并整合进Kirin ISP Pipeline图像处理的通路当中。在这其中，DM模块在CNN-DM模型网络经过大量的数据训练后，进一步提升日常的拍照细节和夜景下的颜色；同时，CNN算法在单独的NPU上运行加速，有效提升了神经网络算法的运行性能。

　　

由此可见，一颗定制的CMOS并非是单纯费用多少的问题。

　　

好了，本片文章为大家梳理了索尼的2X2 OCL详细原理，还希望大家关注我，并点赞、评论&转发。因为大家的支持，我是不断努力创作的原动力。

　　

我是六六科技人，我们说车谈科技。

　　

我们下期见！