本文是 (可直接点击下面链接)

王川: 深度学习有多深? 学了究竟有几分? (五)

的续篇.

    (1)

计算速度和数据规模的大幅度提高,也引导出更多算法上的改进.

在网络构架上,一些算法更多地借鉴人脑认知的成功经验: 多提高效率, 少做无用功. 多闭目养神,少乱说乱动. 多关注主要矛盾, 少关心细枝末节.

2003年纽约大学神经科学中心的 Peter Lennie 在论文中指出,人脑的神经元,一般最多 1-4%的比例, 可以同时处于激活状态. 比例更高时, 大脑则无法提供相应的能量需求.

神经网络的模型中,通过所谓激励函数 (activation function), 根据上一层神经元输入值来计算输出值.

最典型的传统激励函数,sigmoid function, 输出值在 0 和 1 之间, 也就意味着神经元平均下来, 每时每刻都在使用一半的力量.

这种高强度能量需求,对于普通生物体而言,是无法持续的.

一个有意思的比方是鳄鱼.真实生活中的鳄鱼, 和动物世界的纪录片中纵身一跃, 凶猛捕食的形象大相径庭.

鳄鱼90%的时间是一动不动的, (一个近距离观察者常会把它误认为是石雕.) 剩下5%的时间用于求偶交配, 5%的时间用于觅食.

鳄鱼的低能耗绿色生活方式,使它成为两栖动物界的寿星.虽然野生鳄鱼的平均寿命缺乏严格科学的统计,但是被捕获后人工饲养的鳄鱼中,有不少个体,记录在案的寿命超过了七十岁.

    (2)

2011 年, 加拿大的蒙特利尔大学学者 Xavier Glorot 和 Yoshua Bengio 发表论文, "Deep Sparse Rectifier Neural Networks". (深而稀疏的修正神经网络).

论文的算法中使用一种称为"修正线性单元" (REctified Linear Unit, 又称 RELU) 的激励函数. 用数学公式表达: rectifier (x) = max (0, x ).

对于 RELU 而言, 如果输入为负值, 输出为零. 否则输入和输出相等.

换而言之,对于特定的输入, 统计上有一半神经元是没有反应,保持沉默的.

使用 RELU 的含有三个隐层的神经网络模型,被用来测试于四个不同的经典的图像识别问题. 和使用别的激励函数的模型相比, RELU 不仅识别错误率普遍更低,而且其有效性,对于神经网络是否进行"预先训练"过并不敏感.

RELU 的优势还有下面三点:

1. 传统的激励函数,计算时要用指数或者三角函数,计算量要比简单的RELU 至少高两个数量级.

2. RELU 的导数是常数, 非零即一, 不存在传统激励函数在反向传播计算中的"梯度消失问题".

3. 由于统计上,约一半的神经元在计算过程中输出为零,使用 RELU 的模型计算效率更高,而且自然而然的形成了所谓 "稀疏表征" (sparse representation), 用少量的神经元可以高效, 灵活,稳健地表达抽象复杂的概念.
   

(未完待续)

===================================

点击下面链接可看到本公众号的说明和历史文章的链接

王川： 如何从我的公众号 investguru 里面获得最大的收获

在投资和事业发展的路上如何集思广益，举重若轻？欢迎加入王川的投资俱乐部，这是一个凝聚来自世界四大洲各行各业精英的高端社区，年费三千四百美元。有意入会者请和王川（微信号: 9935070) 直接联系。我和其他会员，会和你深度交流更多投资和商业的经验教训。

作者简介：王川，投资人，中科大少年班校友，现居加州硅谷。个人微信号9935070,公众号 investguru ,新浪微博“硅谷王川"，知乎专栏 "兵无常势". 文章表达个人观点仅供参考，不构成对所述资产投资建议，投资有风险，入市须谨慎.

(<王川自选集> 第一卷电子书，现可在百度云盘上免费下载，网址是  

总共收录我过去一年五十多篇原创的财经科技评论文章，近三百页，欢迎下载传阅！)

长按下面二维码订阅本公众号. 订阅后输入'目录‘两字看看你错过了多少好文章!