相当于能够把知识点串联起来，通过自主研究，把内容研究的更深刻。同时在学习中形成自己的观点，能够把这类问题总结出来，并且能够用自己的话讲解清楚。那么，这三位同学里，小李同学就属于在学习中深度学习，不流于表面。能够通过不断的总结，归纳，整理，试验，自我反馈，并且最后能够输出自己的观点。怎么学习深度学习？如何锻炼自己深度学习的能力？我认为需要做到以下四点：高效的沟通能力 深度学习并不代表你闭门造车，可以通过合作的方式，找到问题的答案。
那么高效的沟通能力需要你能够耐心的聆听别人的观点，同样也能够高效的表达出自己的观点。那么这样的沟通，能够让你们接触到更多的思路。同样也为你的深度学习，提供了思路来源。自主能力 所有的深度学习，代表你自己要有足够的自我管控能力。比如上网课的时候，如果拿起手机去刷朋友圈，这节课你就没办法去做到有效学习，更何况深度学习那。
另外深度学习，要求你能够自主去学习，通过自己主动总结归纳去学习，甚至能够输出优质内容，才叫深度学习。求知思维能力 能够在学习中获得归属感和成就感，从而驱动你去不断的学习。比如你通过学习，能够持续在自己感兴趣领域拿奖。这样就能让你的内驱力更强劲，从而让你的求知欲望更加强烈。内容掌控能力 深度学习代表你能够熟练的应用自己学习的内容。
这里不仅要求对自己学习的内容很熟悉，还要能够去应用，避免出现纸上谈兵的情况。也就是一定要通过实践，把自己学习的内容应用在实际上。写在最后深度学习概念很高大上，其实就是代表你学习不能流于其表，要学到本质。另外如何深度学习那，可以通过老师提供的4种方式去锻炼一下，当然还有很多方法去锻炼，比如通过番茄法时间管理，让自己进入深度学习的状态。
深度强化学习领域近期有什么新进展？
深度强化学习是近年来人工智能领域内最受关注的研究方向之一，并已在游戏和机器人控制等领域取得了很多耀眼的成果。DeepMind 的工程师 Joyce Xu 近日发表了一篇博客文章，介绍了深度强化学习领域的一些近期进展，其中涉及到分层式强化学习、记忆、注意机制、世界模型和想象等方向。我觉得，深度强化学习最让人喜欢的一点是它确实实在难以有效，这一点不同于监督学习。
用神经网络来解决一个计算机视觉问题可能能达到 80% 的效果；而如果用神经网络来处理强化学习问题，你可能就只能眼睁睁地看着它失败——而且你每次尝试时遭受的失败都各不相同。强化学习领域内的很多最大的挑战都围绕着两大问题：如何有效地与环境交互（比如探索与利用、样本效率），以及如何有效地从经历中学习（比如长期信用分配、稀疏奖励信号）。
在这篇文章中，我希望探讨深度强化学习领域内试图解决这些挑战的几个近期研究方向，并且还会将其与人类认知进行优雅简洁的对比。具体而言，我将谈到：分层式强化学习记忆和预测建模将无模型方法与基于模型的方法组合到一起本文首先将简要介绍两个代表性的深度强化学习算法——DQN 和 A3C，以为后文提供能够作为参考的直观知识，然后我们会深入探讨几篇近期的论文和研究突破。
DQN 和 A3C/A2C声明：我假设读者已经对强化学习有一定的基本了解了（因此这里不会提供有关这些算法的深度教程），但就算你对强化学习算法的工作方式并不完全了解，你应该也能阅读后文的内容。DeepMind 的 DQN（深度 Q 网络）是将深度学习应用于强化学习的最早期突破性成功之一。其中使用了一个神经网络来学习用于经典 Atari 游戏的 Q 函数，比如《乒乓球》和《打砖块》，从而让模型可以直接根据原始像素输入得出应该采取的动作。
从算法上看，DQN 直接源自经典的 Q 学习技术。在 Q 学习中，一个状态-动作对的 Q 值（即 quality 值）是通过基于经历的迭代式更新来估计的。从本质上讲，对于某个状态下我们可采取的每个动作，我们都可以使用收到的即时奖励和对新状态的价值估计来更新原来的状态-动作对的价值估计：DQN 的训练是最小化时间差分误差（TD-error）的 MSE（均方误差），如上所示。
DQN 使用了两个关键策略来使 Q 学习适用于深度神经网络，而且这两个策略也在后续的深度强化学习研究中得到了成功的应用。这两个策略为：经历重放（experience replay），其中每个状态/动作转换元组 (s, a, r, s』) 都存储在一个记忆「重放」缓存冲，并会被随机采样以用于训练网络，从而可实现对训练数据的重复使用和去除连续轨迹样本中的相关性。
