微软AI自动打码与谷歌AI去马赛克技术大比拼：隐私保护与图像还原的较量

hwyzw

    有时出于隐私等原因，我们需要对图片和图像进行马赛克，有时又觉得马赛克很碍事。马赛克和反马赛克似乎是一场永无休止的战斗。微软在一月底推出了自动视频编码技术。用户只需选择视频中的一个角色，AI即可自动识别并跟踪视频中角色的所有面孔并对其进行模糊处理。近日，大脑（ Brain）团队发布了一款名为 Pixel Super 的 AI 系统，该系统可以在像素混沌处理后提高照片的分辨率。通俗地说，就是可以去除马赛克。

    有兴趣的读者可以尝试使用谷歌的AI来清除微软AI创建的马赛克。不过，在玩这个“以子矛攻敌盾”的游戏之前，不妨先看一下谷歌的解码AI。 “超能力”在哪里？

    谷歌上传到预印本网站arXiv的论文详细介绍了该算法的原理和效果。下图中，右栏是名人照片未经模糊处理的原图，左栏是分辨率仅为8x8像素的编码照片。中间是谷歌AI解码处理后的效果，分辨率为32x32像素，提升了16倍。

    左起：马赛克版、 AI 还原版、原图

    通常，马赛克很难去除。这是因为在编码过程中，原始图像的信息会发生不可逆的丢失。根据奈奎斯特采样定理，如果采样频率低于原始数据频率的两倍，将不可避免地发生不可逆的数据丢失。

   

    过去，最常见的马赛克去除方法是插值法。我们可以把每个像素想象成一​​个特定颜色的小网格，而这些特定颜色可以用特定的数值来表示。一张图片就是由无数这样的小网格组成的。最常见的马赛克方法是取周围数字的平均值作为该区域的数字。

    所谓插值，就是扩大平均面积。例如，如果区域放大200%，则编码区域中的一个小网格将被四个2x2网格替代。剩下的任务是重新填充这 4 个网格的颜色。我们可以通过对周围几个网格的颜色进行加权平均来填充每个网格。周围的网格越多，恢复的效果就越好。当然，这种解码方式最终的效果并不理想。

    2016年，德克萨斯大学的一个团队推出了一款名为Torch的反马赛克，但Torch的原理是识别而不是恢复。也就是说，Torch可以匹配出与马赛克图像匹配或相似的原始图像。

     Brain的算法思想与Torch一脉相承，但在技术上又更进了一步。开发者利用深度学习让机器“联想”，用“猜测”为马赛克色块添加细节，提高像素倍数，从而获得更清晰的画面。与其说是“还原”，不如说AI依靠其强大的学习和计算能力，对原始图像进行了“脑补”。

    这种“脑补”基于两个核心工具。第一个工具调整网络（ ）是CNN（卷积神经网络），通过向系统展示大量人物面部照片来训练，让系统能够记忆和学习代表性的面部特征。另一种工具，优先网络（prior），是一种让系统根据之前的训练猜测哪些细节可以作为高分辨率照片的特征，并根据概率优先的原则，从所有可能的原始图像。详细信息，填写高分辨率照片。

    用于训练机器恢复卧室照片的示例示例

   

    目前，系统“还原”的人脸照片混淆率为10%。在“还原”场景图像方面，系统可能表现更好，混淆率为28%。混淆率达到50%就意味着完全恢复，可以与真品混淆。

    “恢复”的人脸混淆率为10%，“恢复”的场景混淆率为28%。

    从应用角度来看，该系统最大的突破在于可以让8x8像素的模糊画面变得更加清晰。虽然距离通过人脸识别验证人的身份还有很长的路要走，但通过“还原”来区分图片中物体的位置还是很有用的。确定事物的大概面貌并确认现场是否有人就足够了，这将为刑事侦查带来更大的帮助。

    秀水楼台，先到先得，可能会先将这项技术应用到自家SNS社交网站“+”的图片上传上，即用户上传照片时，会进行低像素压缩，识别图片中的关键信息，然后启动这项人工智能技术，可以通过提高图像的分辨率来“恢复”图像。这种方法可以帮助用户节省流量。