Google 所打造的 Pixel 系列手机仅搭载单一镜头，以软件搭配硬件创造各种拍摄的可能性。Google 官方 24 日邀请到史丹佛大学电脑科学荣誉退休教授、同时也是 Google 杰出工程师的 Marc Levoy 来台，深入讲解 Pixel 手机深入运用机器学习等技术搭配硬件，开发出更高水准的功能。
观察手机相机系统的发展趋势，其中 Pixel 手机采用的是以软件定义（Software-defined）为主的相机系统，在图像计算上不再单靠硬件功能，更运用计算摄影（Computational Photography）整合连拍的帧数。此外，导入机器学习技术取代传统算法，并在机器学习的训练过程中获得更多数据，有助于提升拍照的准确度。
一般手机相机进行拍照时需遵守的基本原则，包括整体执行必须很迅速，深入来说像是即时观景器（Live Viewfinder）大于 15fps、快门延迟时间小于 150 毫秒、照片成像时间小于 5 秒；还有相机的预设模式绝不能失败，必须具有可靠的曝光、对焦以及白平衡，并且避免鬼影或视觉残影等状况发生。Pixel 手机不仅符合这些基本原则，更深入运用机器学习等技术搭配硬件，开发出更高水准的功能表现。
HDR+
手机相机应用程序的 HDR（High Dynamic Range Imaging，高动态范围成像）功能相当常见，典型的作法是采取包围曝光（Exposure Bracketing），将曝光时间短的影像所捕捉的亮处细节，以及曝光时间长的影像所捕捉到的暗处细节结合成为最终影像。
但手持时难免会晃动到手机，使得拍照影像的曝光程度不同，因此 Google 不使用包围曝光的作法。Pixel 手机相机应用的 HDR+ 功能是透过捕捉相同曝光程度下的连拍影像，同时避免亮处过度曝光，再进行校准与合并；采用色调映射 (Tonemap）增强阴影并降低亮处，虽牺牲整体色调、保留局部对比度，但使照片呈现更符合人们的视觉。
▲ 左图为没有开启 HDR+ 的影像，右图为开启 HDR+ 的影像。（Source：Google AI Blog）
肖像模式
肖像模式是将拍照重点集中在眼前的人物或物体上，使其从模糊的背景中凸显出来。目前大多数的智能手机采用合成浅景深（Synthetic Shallow Depth of Field）呈现照片背景模糊的效果，作法细节是利用双镜头相机在相似的焦点下捕捉 2 个影像，运用立体匹配（Stereo Matching）算法计算深度图（Depth Map），在照片场景中选择一个平面保持其锐利影像，并且模糊距离该平面更近或更远的影像，如同失焦的感觉。
然而仅搭载单一镜头的 Pixel 2 / Pixel 3 / Pixel 3a 系列手机，则是透过机器学习技术分割拍照影像中的人物，或在拍摄物体时运用 Dual Pixel 的硬件技术预估深度图，以达到景深效果。
针对人物的肖像模式来说，Pixel 手机运用卷积神经网络（Convolutional Neural Network，CNN）预估影像中人物的每一个像素，背后是利用超过 100 万张标签过人物照片进行机器学习模型训练，并使用数学计算中的 Edge-aware Bilateral Solver 进行细化，让人物分割的影像边缘更加锐利。接着根据人物与背景的距离按比例模糊化，同时将人物所在位置前后一段距离的影像也保持锐利。
而物体并非人物，故无法使用机器学习的方式，而是透过拥有 Dual Pixel 的后置镜头完成。Dual Pixel 作法即是已运用在部分单反相机上的相位对焦（Phase Detection Auto-focus，PDAF）来判断景深距离。Pixel 3 系列的肖像模式更进一步优化，Google 训练机器学习借由红色、绿色、蓝色 3 色的左右输入直接计算深度图。
（Source：Google AI Blog）
高解析变焦
自 Pixel 3 系列推出高解析变焦（Super Res Zoom）功能，虽然背后并无搭载人工智能与机器学习的技术，但它可将多层影像合成更高像素的照片。
影像是由一个个像素所组成，每一个影像拥有红色、绿色、蓝色 3 种颜色资讯。高解析变焦以像素移位（Pixel Shifting）为基本原理，透过连续拍摄多帧照片，以弥补缺失的颜色资讯并合成出更高分辨率的照片，照片中三分之二的颜色资讯是重建出来的。不仅提升照片细节的呈现，分辨率与许多搭载 2x 光学变焦镜头的智能手机所拍的照片不相上下。
而当 Pixel 手机放置在三脚架上、不受手震影响时，仍可借由强制开启光学影像稳定（Optical Image Stabilization）制造镜头“摇晃”来模拟手震，如下图所示，此画面的摇晃幅度非常微小，并不会干扰拍摄的照片。
（Source：Google AI Blog）
夜视模式
最后，Pixel 3 / Pixel 3a 系列其一主打功能夜视模式（Night Sight），背后技术是在按下快门后，观景器将会静止不动几秒钟，同时高速捕捉最多 15 帧画面，接着结合高解析变焦（针对 Pixel 3 系列）或 HDR+（针对 Pixel 1 / Pixel 2 / Pixel 3a 系列）功能，并透过学习式白平衡（Learning-based White Balancing）调整影像，仍可保持景物最真实的色调。
▲ 使用夜视模式。（Source：Google Blog）
Marc Levoy 表示 Google 具备软件开发与机器学习的优势，在发展 Pixel 手机相机技术的过程中，Google 愿意公开、对外分享技术成果，不仅有助于驱动产业创新，也借此机会吸引更多人才加入 Google AI 研究团队。
（首图为 Google 杰出工程师 Marc Levoy；首图来源：科技新报）
延伸阅读：
- Google 推出中阶新机 Pixel 3a / 3a XL，台湾仍列首发名单、即日起线上开卖
- Google 正式启动 Pixel 2 内的隐藏芯片，进一步提升拍照能力
- 透过 AI 自学习，Google 让 Pixel 3 的人像模式更优秀
- Pixel 夜视模式：协助你在低光源环境拍出绝美相片
- Google 发文详解 Pixel 3 中的 Super Res Zoom 技术
