自（zì）2012年以来，随着欣顿（Hinton）、乐昆 （LeCun）和吴（wú）恩达（Andrew Ng）对深度学习的研（yán）究，使其在机器学习方面的应用取得了显著（zhe）成就，深（shēn）度学习成为计算机科学的（de）一个新（xīn）兴领域。谷歌（gē）、脸谱（pǔ）、百度、腾（téng）讯（xùn）等互（hù）联网公司（sī）纷（fēn）纷投（tóu）入巨资研究深度学习，并兴起了基于深度学习的创业大潮。然（rán）而，对深度学（xué）习原理（lǐ）的（de）困惑（huò）。对其应（yīng）用的（de）质疑也一直存在。在（zài）ImageNet目标检（jiǎn）测中（zhōng），人（rén）脸识别率已达99.5%，甚至超越人（rén）眼的识别准确率（lǜ），在此情况下，深度学习（xí）何以为继？又该如何提升？深度学习是处于热潮的初（chū）始？还是强弩之末（mò）？是一直所（suǒ）向披靡？还是很（hěn）快走向终点（diǎn）？作为（wéi）沉寂了20余年（nián）的（de）神经网络领域，深度学习到底还能走（zǒu）多远？
神经网络与人（rén）脑（nǎo）的区别：
目前，深度学习在几个主（zhǔ）要领（lǐng）域（yù）都获得了突（tū）破：在语音识别领域（yù），深度学习用（yòng）深（shēn）层模型替换声学模型中的（de）混合高斯模型，错误率降低了30%；在图（tú）像识别领域，通过构造深度卷积神经网络，将Top5错误率由26%降低至15%，又通过加大加深网络结构，进一步降低到11%；在自然语（yǔ）言（yán）处理领域，深度学习与其他（tā）方法（fǎ）水平相当，但免去了繁琐的特（tè）征（zhēng）提取步骤。深度（dù）学习是（shì）最接近（jìn）人（rén）类大脑的智能学习方法。
然而，与人脑相（xiàng）比，深度学习目前在处理问题的能力上还有不小的差距。当前（qián）的深层网络在（zài）结构、功能（néng）、机制上都（dōu）与人脑有较大差距。从结（jié）构上（shàng）看（kàn），人（rén）脑有（yǒu）1000亿左右的神经（jīng）元（yuán），这些神（shén）经元形成了（le）1000到1万层的连接。而目前的深层网络（luò）通常（cháng）只有几（jǐ）百万个神经元，层数不超过10，因此深（shēn）层（céng）网络的规（guī）模远小（xiǎo）于人脑。另外（wài），人脑是（shì）高度结构化的（de），每一个部分（fèn）执行（háng）一个特定的功（gōng）能，而且（qiě）不同部分之间会协作，但深层网络在高度结构化方面目（mù）前还（hái）没有太多考虑。从功能上看，人脑善于（yú）处理各种问题（tí），能够完成复杂任务（wù）。而当前深层网（wǎng）络的功能单一，基本是（shì）用处理（lǐ）识别与分类问题，没有综合处理问题的能力。从机制上看，人（rén）脑（nǎo）的数据存储与处理机制更为复（fù）杂。人脑（nǎo）中的数（shù）据以知识的形式组织起来，存储与应用密切相联，而当前计算机的（de）数据存储方式远远没有做（zuò）到这一点。人的感知器官并非（fēi）感知（zhī）器，而是（shì）依（yī）靠大（dà）量的反（fǎn）馈搜寻有（yǒu）用的信息。另（lìng）外人脑具有知识反馈机（jī）制，在深层（céng）网络中（zhōng）并未得（dé）到体现。而研究者的研究对（duì）象从一个函（hán）数变成了一个过程，难度骤然（rán）增大。
人脑的学习能力是通过先（xiān）天（tiān）进化和后天学（xué）习得（dé）到的。先天进化可以理解为物种在长时间学习大量（liàng）知（zhī）识后演变（biàn）得到的结果，后天学习包括对新接触（chù）知识（shí）的总结与演绎。而深度（dù）学习的网络结构是由人来设计的，网（wǎng）络参（cān）数（shù）是从训练数（shù）据集（jí）中学习得到的。就（jiù）数据量而言，人脑在先（xiān）天进化与后天学（xué）习中所接触（chù）的数据（jù）量（liàng）远大于深层网（wǎng）络（luò）。
深度（dù）学习的局（jú）限（xiàn）性（xìng）：
随着（zhe）大数据的出（chū）现和大（dà）规（guī）模计算能力的提升，深度学习已然（rán）成为非常活跃的计算（suàn）机研（yán）究领域。然而，在不（bú）断的（de）研（yán）究中，深（shēn）度（dù）学习（xí）的局限性（xìng）也日（rì）益突显。
缺乏理论支持，对于深度（dù）学习架构，存在（zài）一（yī）系列的疑问：卷积神经网络为什么是一个好（hǎo）的架（jià）构？深度学（xué）习（xí）的结构需要多（duō）少隐层？在一（yī）个大的卷积网络中（zhōng）到（dào）底需要多少（shǎo）有效的参（cān）数？虽然（rán）深度（dù）学习在很多实际应用中取得了（le）突出的成效，但这些问题一直困（kùn）扰（rǎo）着深度（dù）学习的研究人员。深度学习方法常常被视为（wéi）黑盒，大（dà）多数的结论都由（yóu）经验而非（fēi）理（lǐ）论来确认。不论是为了构建更好的深度学习系统，还是为了提供更（gèng）好的解释，深度学习都需要（yào）更（gèng）完善的理论支撑。
缺乏短时（shí）记忆能（néng）力，人类（lèi）大脑有惊人（rén）的记忆功能，不仅能够识别个（gè）体案例，也能分（fèn）析输入（rù）信息之间的整体（tǐ）逻辑序列。这些信息（xī）序列包含有大量的内容，信息（xī）彼（bǐ）此（cǐ）间有着复杂的时间关联性。例如在自然语言理解的许（xǔ）多任（rèn）务（如问答系统）中需要一种方法（fǎ）来临时（shí）存（cún）储分隔的片（piàn）段，正（zhèng）确解释视频中的事件，并能够回答有关问题，需要记住视频（pín）中发生事件的抽象（xiàng）表示。而包括递（dì）归神经网络在内的深度学习系统，却（què）不能很好地存（cún）储多个时间序列上的记忆（yì）。近年来，研究人员提出了在神经网络中增加独（dú）立的（de）记（jì）忆模块，如（rú）长短时记忆（Long Short-Term Memory，LSTM）、记（jì）忆网（wǎng）络（memory networks）、神经（jīng）图灵机（neural Turing machines）和Stack增强递归神经网络（stack-augmented recurrent neural network），虽然有一定的成果，但（dàn）仍需扩展（zhǎn）更多新思路。
缺（quē）乏（fá）执行无（wú）监督学（xué）习的（de）能力，无监督（dū）学习在人类和动物（wù）的学习中（zhōng）占据（jù）主导地位，我们通过观察能够（gòu）发现世界的内在结构，而不是被告知每一个客观事物的名称。虽然无监督（dū）学习可以帮助特定的深度网络（luò）进行（háng）“预训练”，但最（zuì）终能够应用于实（shí）践的绝大部分深度学习（xí）方法都是纯（chún）粹的有监（jiān）督学习。因为（wéi）无标记（jì）数据（jù）远远多于标记（jì）数据，因此无监督学习（xí）具有巨大的（de）研究潜力。找到合适（shì）的无监督学习算法，对深度学（xué）习的发展至关重要。

深度学习未来的发（fā）展方向：
深度学习在（zài）人脸识别、目（mù）标检（jiǎn）测等领域都取得了很大进展，识（shí）别准（zhǔn）确（què）率（lǜ）甚至超（chāo）过人类（lèi），但这并不代表深度学习的发（fā）展已走到尽（jìn）头（tóu）。以下几个方面的研究对深度学习的继续（xù）发展具有重大意义。
1. 开发深（shēn）度学习的演绎（yì）能力：人（rén）类在学习的过程中，除了对已有知（zhī）识的归纳总结，还伴随对知识的演（yǎn）绎（yì）推理，如对定（dìng）理进行推论等。当前（qián）的深度学（xué）习还停留在对数据（jù）的归纳上。如果（guǒ）深层网络对数（shù）据（jù）的归纳能（néng）力达到（dào）饱和（hé），提升其演绎推理（lǐ）能力将是深度（dù）学习继续发展的突破（pò）口。
2. 提（tí）升综合处理问题的能力：当前的深度学（xué）习主要用于（yú）处理单一问题，但一套模型往（wǎng）往不（bú）能通（tōng）用于多（duō）个（gè）问题，如（rú）人脸识别（bié）、语音识别等（děng）。但人脑可以实现这一功能（néng），比（bǐ）如视觉皮层可以辅（fǔ）助听（tīng）觉等。因此，提升深层网络综合处理问题的能力对于人工（gōng）智能的实（shí）现具有重要意义。
3. 减少对硬件的依赖：随（suí）着GPU及高（gāo）性能并行计算的发展，硬件（jiàn）设备的数据（jù）处理能力得到（dào）巨大提升。但过（guò）度依赖硬件会造成深度学习偏离人的思维，而陷入计算机思（sī）维。与计算机相比，人脑的计（jì）算速度极慢，但（dàn）功耗极低（dī），且能够完（wán）成复杂的（de）任（rèn）务。学习人脑，使用相对弱的硬件来实现强大的（de）功能（néng），是使深度学习向人工智能发（fā）展（zhǎn）的关键。
综上所述，深度学习通过建立（lì）类（lèi）似于人脑的分层（céng）模型结构，对输（shū）入数据逐层提取从（cóng）底层（céng）到（dào）高层的特征（zhēng），从而建立（lì）从底层信号到高层语义（yì）的映射关系。但在（zài）规模、功能、机（jī）制、设计等方（fāng）面，当前深度学习所采用的深（shēn）层网络与（yǔ）人脑存在很大差异。虽（suī）然深度学习在很多方面取得（dé）了巨大成功，但（dàn）仍（réng）存在一（yī）些缺陷。当前（qián）的深度学习框架（jià）缺乏理论支撑，不能很好地（dì）存储（chǔ）时间序（xù）列上的记忆，缺少对无标记数据的学习能力。这些（xiē）缺陷限制了深度学习的进（jìn）一步发展。深度（dù）学习作为计（jì）算机科（kē）学（xué）的（de）新兴领域，还有很长的路要走。深度学习掀起了机器学习的（de）新浪潮，在（zài）语音图像的智（zhì）能（néng）识别与理解等（děng）方面取（qǔ）得（dé）了（le）很大进（jìn）展。但深度学习还面临着一系列（liè）难题（tí），在对知（zhī）识的演绎能力、对问题的综（zōng）合处理（lǐ）能力等方（fāng）面还有很大的提升空间，在深（shēn）层网络的设计规则上也需（xū）要进一步探索。