Google大脑工程师详解：深度学习技术能带来哪些新产品？
那么，“深度学习的最新进展能带来哪些产品上的突破?”
Quora上就有这样一个问题，而Google Brain的研究工程师Eric Jiang也给出一个最高赞的答案。下面就是Jiang的回答，大周末的，让我们一起来涨涨姿势：
Deep Learning是指包含以下特征的一类机器学习技术：
· 大规模神经网络(包含百万级的自由变量);
· 高性能计算(上千个并行处理器);
· 大数据(例如百万级的彩色图像、棋谱等)
目前，深度学习技术已经在众多领域达到了先进水平，例如视觉、声音、机器人、自然语言处理。深度学习最近的进展吸收了统计学习[1， 2]、增强学习和数值优化的思想。关于这个领域的概况，见参考文献[9， 10]。
我下面列出一些借助目前的深度学习技术才可能实现的产品类别，排名不分先后：
定制化数据压缩、压缩感知、数据驱动的传感器校准、离线AI、人机交互、游戏、艺术助手、非结构化数据挖掘、语音合成。
定制化数据压缩
假设你在设计一个视频直播应用，希望用一套有损编码方案来减少需要向互联网上传的包。
你可以用H.264这样现成的编码解码器，但是H.264并不是最理想的解决方案，因为它是为通用视频校准的，也就是从猫咪视频到故事片都能用。改用为FaceTime视频而校准的编解码器可能会更好，因为当我们利用了“屏幕中间总是有张脸”这一点，能省下更多流量。
然而，设计一个这样的编码方案是有难度的。我们要怎样说明脸在什么位置，视频对象有多少根眉毛、眼睛是什么颜色、下巴是什么形状等等特征?如果头发挡住了眉毛怎么办?图像中没有脸或者有多个人的脸怎么办?
这时候，深度学习就派上用场了。自动编码器是一种神经网络，只是它的输出和输入数据一样而已。学习这个“恒等映射(identity mapping)”之所以重要，是因为这个自动编码器的隐藏层神经网络比输入层要小。这个“信息瓶颈”迫使自动编码器在隐藏层中学习一种数据的压缩表示(compressed representation)，这种压缩表示还将被神经网络的其它层解码回原始形态。
通过端到端的训练，自动编码器等深度学习技术可以适应你数据的细微差别。不同于主成分分析法(PCA)，编解码步骤不受(线性)仿射变换的限制。PCA学习的是一种“编码线性变换”，自动编码器学习的是“编码程序”。
这让神经网络更加强大，能用于更复杂的、特定领域的压缩，从在Facebook上存大量自拍到加载速度更快的YouTube视频，科学数据压缩再到降低你个人iTunes资料库所占的空间，都能用上这种技术。设想一下，假如你的iTunes资料库为了让你的音乐少占一点空间，它可能专门学习一种“乡村歌曲编码器”哦!
压缩感知
压缩感知和有损压缩的解码方面紧密相关。很多有趣的信号都有特定的结构，也就是说，信号的分布并不完全是任意的。这说明实际上，我们不需要为了获取信号的完美重建而在奈奎斯特极限采样，只要我们的解码算法可以正确地找出它的结构。
深度学习适用于这个任务，因为我们不需要人工标注特征就能用神经网络来学习稀疏结构。以下是一些产品应用：
超分辨率算法(waifu2X)，就是美剧CSI迈阿密里“增强”按钮的真实版;
使用WiFi无线电波干扰可以透视墙壁另一侧的人(MIT Wi-Vi);
基于不完全观察(例如2D图像、部分遮挡的图像)解译3D结构;
声纳、激光雷达信息的更精确重现。
数据驱动的传感器校准
好的传感器和测量装置通常依赖于昂贵、精密的部件。
我们以数码相机为例。数码相机假设镜头中的玻璃镜片遵循一种精密的几何结构，拍照时，内置的处理器负责用光线通过透镜的等式，来计算出最终的图像。
如果透镜有刮痕、弯曲、变形，就打破了相机原本的假设，图像的质量也不会好。
再举一个例子。为了便于计算，我们目前用在MRI和心电图中的解码模型会假设头盖骨是一个正球体。这在一定程度上是可行的，但有时，检测出的肿瘤位置会有几毫米的误差。
更精确的摄影和MRI成像技术应该对几何误差进行补偿，无论这些误差来自潜在错误源还是制造缺陷。
幸运的是，深度学习给了我们借助数据校准解码算法的能力。
不同于“均码”的解码模型(例如卡尔曼滤波器)，我们可以针对每个受体或者测量仪器进行调整，从而表示出更复杂的偏差。如果相机镜头有刮痕，我们可以训练解码软件对变化了的几何形态进行补偿。也就是说，我们不再需要以极高的精度制造和排列传感器，也就节约了大量资金。
某些情况下，我们可以在完全去除了硬件的情况下，让算法去进行补偿。哥伦比亚大学的计算摄影学实验室开发了一种没有镜片的相机，也就是软件定义成像(software-defined imaging)
离线AI
能在不联网的情况下运行AI算法，对要求低延迟(例如机器人、自动驾驶汽车)或者没有稳定网络连接(如旅行方面)的应用来说至关重要。
深度学习在这方面尤其合适。训练阶段结束后，神经网络的前馈环节运行得非常快，另外，把大型神经网络一直缩小到可以在智能手机上运行也很简单，虽然准确率上会有所损失。
Google在Google Translate应用的离线拍照翻译功能上已经这么做了。
评论