新闻中心

EEPW首页 > 智能计算 > 设计应用 > AI讲座:自编码器——神奇的ML瑞士刀

AI讲座:自编码器——神奇的ML瑞士刀

作者:高焕堂(铭传大学、长庚大学 教授,台北)时间:2021-09-22来源:电子产品世界收藏


本文引用地址:http://www.eepw.com.cn/article/202109/428387.htm

1   神奇的

在之前各期里,所举的范例模型都是基于逻辑回归(Logistic regression)的线性分类器(Linear classifier)。其训练方法是采取监督式学习(Supervised Learning)模式。在本期里, 将进一步介绍非监督式学习(Unsupervised Learning)模式,并以小而美的(Autoencoder,简称:AE)为例。是一种小而美的ML 模型,它的用途非常多,所以有“ML 瑞士刀”之称。例如,Pawer Sobel 就称之为:深度学习瑞士刀。

1632279751409129.png

他在该文章里写道:“当谈到在一个充满问题的世界中生存时,有一种演算法可能像瑞士刀一样通用,它是一种自动编码器。”

2   复习:分类器(Classifier)

首先来复习您已经熟悉的逻辑回归(分类器)模型。例如,有一群鸭和鸡,我们收集了它们的两项特征是:头冠大小与脚蹼大小。如下图所示:

1632279800798832.png

这是监督式学习模式,我们给予目标值(T),也就是贴上分类标签(Label)。也就是,在Z 空间里设定了两个目标值,如下:

1632279834599418.png

接下来,就可按下“学习”,ML 模型就寻找出最棒的W&B 来表达上述的对应关系。于是,输出很棒的预测值(Z):

1632279856575350.png

可以看出,已经寻找出很棒的W&B 了,预测值(Z)非常接近于目标值(T)了,呈现出的理想的空间对应关系:

1632282053589159.png

这是一个简单的分类模型。

3   增添一个新分类器

刚才的分类器(取名为分类器-1)已经输出了预测值(Z)。接下来,我们做一项巧妙的组合:设计一个新的分类器(取名为分类器-2),并且拿这个Z 值做为新模型的输入值(ZX),如下图:

1632282164376172.png

这是一个简单的分类模型,其公式是:ZX * Wr +Br = ZY。接下来,就可按下“学习”,这回归模型寻找出Wr&Br 得出一条回归线,并输出其预测值(Z):

1632282183774509.png

于是,我们共有两段空间对应关系:1)分类器-1的空间对应;2)分类器-2 的空间对应。现在,将两者连接起来,形成下述的整合对应关系:

1632282200379555.png

其中,值得留意的是:这两段的空间对应是独立训练(学习)的。然而,现在的ML 是可以多层一起学习的,也就是通称的深度学习(Deep learning)。

4   组合成为深度学习模型

刚才的分类器-1 和分类器-2 都是单层的神经网络。现在将两个模型融合为一,成为一个多层的神经网络。使用Excel 来呈现其数据关联,如下图:

1632282224132862.png

此时,中间层通称为隐藏层(Hidden layer)。上图里的Wh 和Bh 就是隐藏层的权重和位移;而Wo 和Bo则是输出层的权重和位移。由于是监督式学习模式,所以在Y 空间里设定了两个目标值(也就是上图中的标签),如下图所示:

1632292150862259.png

接下来,按下“学习”,这个多层模型就开始学习,寻找出最好的Wh&Bh,以及最好的Wo&Bo,并且,输出其预测值(Y):

1632292267158642.png

其空间对应关系如下图所示:

1632292311793065.png

在这个模型里,我们贴上了标签,所以是监督式学习模式。

5   设计出自编码器(Autoencoder)

上一小节的多层分类模型,是人为的贴上分类标签,所以属于监督式学习。反之,如果不需要人去贴标签,就称为非监督式学习了。于是,想一想:如果没有人去贴标签,那么这个模型又如何学习呢?于是,ML 专家们就想到一个方法,就是:用输入值(X)来作为Y 空间的目标值(T),如下图:

1632292330846042.png

其中,目标值(T)就等于输入值(X)。由于人们不必去烦恼各笔资料该贴上什么标签了。因此这个新模型,就属于非监督式学习了。由于用自己的输入值当作目标值,所以又称为自编码器(Autoencoder)。此时,X 空间与Y 空间的对应关系如下:

1632292344767244.png

接下来,按下“学习”,这个多层模型就开始学习,寻找出最好的Wh&Bh,以及最好的Wo&Bo,并且,输出其预测值(Y):

1632292359524832.png

此时的空间对应关系是:

1632292382763846.png

这就是神奇的AE(Autoencoder)模型。它的结构很简单,而用途却非常多,所以被称之为:小而美的神奇ML 瑞士刀。到底他有哪些神奇之处呢?在下一期里,将会为您详细解说。

(本文来源于《电子产品世界》杂志2021年9月期)



评论


相关推荐

技术专区

关闭