小米AI相机2.0详细技术解构，下代突破传统技术，多层自定义优化

2024-11-26 257

凭借著多镜头组合的优势，智能手机的拍照效果已经无限接近于入门传统单反相机。然而，真正让智能手机实现拍照技术飞跃的，还是要归功于 AI 技术的加持。作为在 AI 拍照领域有着较大领先优势的小米，近期在新近发布的全新版本 MIUI 12 中，已经将其 AI 相机升级至 2.0 版本。目前，AI 相机 2.0 版本已经适配小米10 系列以及小米10 青春版智能手机，此外根据小米官方的爆料，小米AI 相机2.0 还将持续地向更多机型适配，小米用家可以期待期待。

据悉，小米介绍称，传统的 AI 相机的做法，通常分成两个部分，一是识别，二是后制处理。前者通过神经网络来“认知”当前拍摄的场景，后者根据不同的场景，使用一些传统的方式来针对特定场景做一些优化，比如加一些特殊的滤镜。所谓“AI”，其实只有前面的识别部分跟 AI 挂钩。

这种方式最大的问题是只能针对特定的几个预设好的场景来做优化，并且针对同一个场景，只能采用一样的模板来处理，而没有针对当前的色彩，光影等做一些更有针对性的局部优化，效果会大打折扣。

AI 相机 2.0 详细技术详解：

1.为了解决传统 AI 相机只能使用固定模板、针对预设场景优化的问题，相机算法团队开创性的将传统的场景感知拓展成为全方位的色彩、对比度、光影等内容感知。

2.小米还使用了深度神经网络对整个画面进行全局和局部的分析，获取到最优的画面效果，并且实时地对画质进行增强。所以，新一代的 AI 相机能够对所有的场景进行有针对性的画质提升，让同样的一片草地，在不同的光照，角度，甚至背景下，新的 AI 相机都会有不一样的优化效果。

3.小米把识别+处理技术合二为一，一站式的实现了 AI 修图师的效果。为了实现上述功能，小米在拍摄的数据生成、AI 的训练过程和处理速度进行了突破。

在数据生成方面，AI 相机 2.0 的目标是能够产生美的图片，这就包括要对原图做噪声，亮度，颜色，对比度，动态范围等多个维度进行调整。对于深度学习而言，这样的训练集很难获取。除了和团队中的设计师合作PS 了数万张手机拍张数据之外，小米也收集了很多网络上的高分图片作为目标，使用 GAN 网络（ two path GAN，跟 cycle GAN 比较类似，能够保证生成网络生成的图片跟原图片的内容保持一致，仅仅去优化一些我们希望对原图进行优化的维度。）进行训练。

在 AI 的训练过程中，小米使用的 loss 主要有 consistency loss，similarity loss， total variance loss ， adversarial loss，通过不同的 weight 来控制生成网络的优化方向和能力，从训练机制、帧间一致性处理、开关模块这三个方面进行升级。

而在处理速度上，2.0 的算法速度需要面对一个最大的技术挑战是计算量，针对图像像素处理的深度神经网络的计算量极高，对手机的计算能力是一个很大的考验，而小米目前向更高的像素进行进发，这对算法的速度要求更严峻。不过在小米团队的不懈努力下，AI 相机 2.0 给出的答卷是相当惊人的。