首页 > 手机 > 配件 > 学习笔记整理系列之,深度学习

学习笔记整理系列之,深度学习

来源:整理 时间:2022-04-07 20:21:45 编辑:华为40 手机版

深度学习难吗?

学习笔记整理系列之,深度学习

深度学习是比较难的,这需要持之以恒的决心。大多数人只凭一时的兴趣去学习,把热情一过就抛到脑后不管了。曾经有这样一个学生,看到我在写毛笔,就央求我教他,他说他非常喜欢写毛笔,我见他言语诚恳丶态度也比较端正,也就答应了他的请求,开始的时候还相当认真,可学到一个月的时候,他就常常缺课了,我问他为什么经常缺课?他竟然回答说他会写了,不需要再学了。

深度学习是什么?

学习笔记整理系列之,深度学习

深度学习:像人脑一样深层次地思考从上一篇我们可以看出,个性化推荐系统确实很会“察言观色”,针对不同的用户,主动推送不同的3D打印内容。但如果你认为它真正有了“人工智能”,那你就错了。其实,这些推荐系统背后的运行原理主要基于概率统计、矩阵或图模型,计算机对这些数值运算确实很擅长,但由于采用的只是“经验主义”的实用方法(也即管用就行),而非以“理性主义”的原则真正探求智能产生的原理,所以距离真正的人工智能还很远。

AI(Artificial Intelligence),也就是人工智能,就像长生不老和星际漫游一样,是人类最美好的梦想之一。虽然计算机技术已经取得了长足的进步,但是到目前为止,还没有一台计算机能产生“自我”的意识。提示:图灵测试(Turing Testing),是计算机是否真正具有人工智能的试金石。“计算机科学之父”及“人工智能之父”英国数学家阿兰·图灵(1912—1954)在1950年的一篇著名论文《机器会思考吗?》里,提出图灵测试的设想。

即把一个人和一台计算机分别隔离在两间屋子,然后让屋外的一个提问者对两者进行问答测试。如果提问者无法判断哪边是人,哪边是机器,那就证明计算机已具备人的智能。直到深度学习(Deep Learning)的出现,让人们看到了一丝曙光,至少,(表象意义下的)图灵测试已不再是那么遥不可及了。2013年4月,《麻省理工学院技术评论》杂志将深度学习列为2013年十大突破性技术(Breakthrough Technology)之首。

有了深度学习,推荐系统可以更加深度地挖掘你内心的需求,并从海量的3D模型库中挑选出最合适的供你打印。让我们先来看看人类的大脑是如何工作的。1981年的诺贝尔医学奖,颁发给了David Hubel和Torsten Wiesel,以及Roger Sperry。前两位的主要贡献是,发现了人的视觉系统的信息处理是分级的。

如图4-45所示,从视网膜(Retina)出发,经过低级的V1区提取边缘特征,到V2区的基本形状或目标的局部,再到高层的整个目标(如判定为一张人脸),以及到更高层的PFC(前额叶皮层)进行分类判断等。也就是说高层的特征是低层特征的组合,从低层到高层的特征表达越来越抽象和概念化,也即越来越能表现语义或者意图。

图4-45 人脑的视觉处理系统 (图片来源:Simon Thorpe)这个发现激发了人们对于神经系统的进一步思考。大脑的工作过程,或许是一个不断迭代、不断抽象概念化的过程,如图4-46所示。例如,从原始信号摄入开始(瞳孔摄入像素),接着做初步处理(大脑皮层某些细胞发现边缘和方向),然后抽象(大脑判定眼前物体的形状,比如是椭圆形的),然后进一步抽象(大脑进一步判定该物体是张人脸),最后识别眼前的这个人──正是大明星刘德华。

这个过程其实和我们的常识是相吻合的,因为复杂的图形,往往就是由一些基本结构组合而成的。同时我们还可以看出:大脑是一个深度架构,认知过程也是深度的。图4-46 视觉的分层处理结构 (图片来源:Stanford)而深度学习(Deep Learning),恰恰就是通过组合低层特征形成更加抽象的高层特征(或属性类别)。

例如,在计算机视觉领域,深度学习算法从原始图像去学习得到一个低层次表达,例如边缘检测器、小波滤波器等,然后在这些低层次表达的基础上,通过线性或者非线性组合,来获得一个高层次的表达。此外,不仅图像存在这个规律,声音也是类似的。比如,研究人员从某个声音库中通过算法自动发现了20种基本的声音结构,其余的声音都可以由这20种基本结构来合成!在进一步阐述深度学习之前,我们需要了解什么是机器学习(Machine Learning)。

机器学习是人工智能的一个分支,而在很多时候,几乎成为人工智能的代名词。简单来说,机器学习就是通过算法,使得机器能从大量历史数据中学习规律,从而对新的样本做智能识别或对未来做预测。而深度学习又是机器学习研究中的一个新的领域,其动机在于建立可以模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如,图像、声音和文本。

深度学习之所以被称为“深度”,是因为之前的机器学习方法都是浅层学习。深度学习可以简单理解为传统神经网络(Neural Network)的发展。大约二三十年前,神经网络曾经是机器学习领域特别热门的一个方向,这种基于统计的机器学习方法比起过去基于人工规则的专家系统,在很多方面显示出优越性。如图4-47所示,深度学习与传统的神经网络之间有相同的地方,采用了与神经网络相似的分层结构:系统是一个包括输入层、隐层(可单层、可多层)、输出层的多层网络,只有相邻层节点(单元)之间有连接,而同一层以及跨层节点之间相互无连接。

这种分层结构,比较接近人类大脑的结构(但不得不说,实际上相差还是很远的,考虑到人脑是个异常复杂的结构,很多机理我们目前都是未知的)。图4-47 传统的神经网络与深度神经网络提示:人类大脑由千亿个神经元组成,同时每个神经元平均连接到其它几千个神经元,这样形成一个庞大的神经元网络。通过这种连接方式,神经元可以收发不同数量的能量,但它们对能量的接受并不是立即作出响应,而是先累加起来,只有当累加的总和达到某个临界阈值时才把能量发送给其它的神经元。

而人工神经网络(Artificial Neural Networks, ANN)将人类神经网络作了数学上的抽象,如图4-47所示,将其抽象为输入层、输出层以及中间的若干隐层(Hidden Layer,用于层次化地对内在特征进行降维和抽象表达,相当于特征检测器),其中每层都有若干结点及连接这些点的边,通过在训练数据集上学习出边的权重(Weight)来建立模型。

边所表征的函数(通常为非线性函数)的不同,对应于不同的神经网络。例如,第6章6.4.1节所介绍的感知机就是一种最简单的、不含任何隐层的前向(Feedforward)人工神经网络,其中的函数被称为传递函数(Transfer Function)、而门限截止函数则被用作激活函数(Activation Function)。

在上世纪七八十年代,这种在人工智能领域被称为联结主义学派(Connectionism)的方法曾盛极一时。但是后来,因为理论分析的难度,加上训练方法需要很多经验和技巧,以及巨大的计算量和优化求解难度,神经网络慢慢淡出了科研领域的主流方向。值得指出的是,神经网络(如采用误差反向传播算法:Back Propagation,简称BP算法,通过梯度下降方法在训练过程中修正权重使得网络误差最小)在层次深的情况下性能变得很不理想(传播时容易出现所谓的梯度弥散Gradient Diffusion或称之为梯度消失,根源在于非凸目标代价函数导致求解陷入局部最优,且这种情况随着网络层数的增加而更加严重,即随着梯度的逐层不断消散导致其对网络权重调整的作用越来越小),所以只能转而处理浅层结构(小于等于3),从而限制了性能。

于是,20世纪90年代,有更多各式各样的浅层模型相继被提出,比如只有一层隐层节点的支撑向量机(SVM,Support Vector Machine)和Boosting,以及没有隐层节点的最大熵方法(例如LR,Logistic Regression)等,在很多应用领域取代了传统的神经网络。显然,这些浅层结构算法有很多局限性:在有限样本和计算单元情况下对复杂函数的表示能力有限,针对复杂分类问题其泛化能力受到一定的制约。

更重要的是,浅层模型有一个特点,就是需要依靠人工来抽取样本的特征。然而,手工地选取特征是一件非常费力的事情,能不能选取好很大程度上靠经验和运气。既然手工选取特征不太好,那么能不能自动地学习一些特征呢?提示:实际生活中,人们为了实现对象的分类,首先必须做的事情是如何来表达一个对象,即必须抽取一些特征来表示一个对象。

例如,区分人和猴子的一个重要特征是是否有尾巴。特征选取的好坏对最终结果的影响非常大。此外,我们希望提取到的特征能代表输入数据的最重要部分,就像PCA(Principal Component Analysis,主成分分析,请参见第6章的6.2.2节)那样,找到可以代表原信息的主要成分。以自动编码器(AutoEncoder)为例,这是一种尽可能复现输入信号的神经网络:即输出y要尽可能与输入x相同,表示为。

我们可通过训练调整这个神经网络的参数,来得到每一层中的权值系数,这样就可得到输入x的一个层次化的表示。这个可代表原信息主要成分的表示就是所谓的特征。进一步地,我们还可用来表示输出y,其中W称为字典。类似于PCA,W可理解为基,h可理解为系数。同时,我们不仅希望将信号表示为一组层次化基的线性组合,而且要求只需较少的几个基就可以将信号表示出来,这就是所谓的稀疏编码(Sparse Coding)。

“稀疏性”定义为:只有很少的几个非零元素或只有很少的几个远大于零的元素。也即,我们希望求得一组最佳的系数,满足: 注意上式右边对系数采用了L1范式/正则化/约束以满足稀疏性,上式实际上是对Lasso(The Least Absolute Shrinkage and Selectionator operator)估计的求解。

之所以希望“稀疏性”是科学依据的,因为绝大多数的感官数据,比如自然图像,都可以被表示成“少量”基本元素的叠加,比如基本线/面的叠加。稀疏编码算法是一种无监督学习方法,它用来寻找一组“超完备”基向量(基向量的个数比输入向量的维数要大)以更高效地表示样本数据,以找出隐含在输入数据内部的结构与模式。答案是能!深度学习框架将特征和分类器结合到一个框架中,自动地从海量大数据中去学习特征,在使用中减少了手工设计特征的巨大工作量。

看它的一个别名:无监督特征学习(Unsupervised Feature Learning),就可以顾名思义了。无监督(Unsupervised)学习的意思就是不需要通过人工方式进行样本类别的标注来完成学习。因此,深度学习是一种可以自动地学习特征的方法。提示:准确地说,深度学习首先利用无监督学习对每一层进行逐层预训练(Layerwise Pre-Training)去学习特征;每次单独训练一层,并将训练结果作为更高一层的输入;然后到最上层改用监督学习从上到下进行微调(Fine-Tune)去学习模型。

深度学习通过学习一种深层非线性网络结构,只需简单的网络结构即可实现复杂函数的逼近,并展现了强大的从大量无标注样本集中学习数据集本质特征的能力。深度学习能够获得可更好地表示数据的特征,同时由于模型的层次深(通常有5层、6层,甚至10多层的隐层节点,“深”的好处是可以控制隐层节点的数目为输入节点数目的多项式倍而非多达指数倍)、表达能力强,因此有能力表示大规模数据。

对于图像、语音这种特征不明显(需要手工设计且很多没有直观的物理含义)的问题,深度模型能够在大规模训练数据上取得更好的效果。尤其是在语音识别方面,深度学习使得错误率下降了大约30%,取得了显著的进步。相比于传统的神经网络,深度神经网络作出了重大的改进,在训练上的难度(如梯度弥散问题)可以通过“逐层预训练”来有效降低。

注意,深度学习不是万金油,像很多其他方法一样,它需要结合特定领域的先验知识,需要和其他模型结合才能得到最好的结果。当然,还少不了需要针对自己的项目去仔细地调参数,这也往往令人诟病。此外,类似于神经网络,深度学习的另一局限性是可解释性不强,像个“黑箱子”一样不知为什么能取得好的效果,以及不知如何有针对性地去具体改进,而这有可能成为产品升级过程中的阻碍。

深度学习通过很多数学和工程技巧增加(堆栈叠加:Stack)隐层的层数,如果隐层足够多(也就是深),选择适当的连接函数和架构,就能获得很强的表达能力。深度学习的一个主要优势在于可以利用海量训练数据(即大数据),但是常用的模型训练算法反向传播(Back Propagation)仍然对计算量有很高的要求。而近年来,得益于计算机速度的提升、基于MapReduce的大规模集群技术的兴起、GPU的应用以及众多优化算法的出现,耗时数月的训练过程可缩短为数天甚至数小时,深度学习才在实践中有了用武之地。

值得一提的是,深度学习的诞生并非一帆风顺。虽然Yahn Lecun在1993年提出的卷积神经网络(Convolutional Neural Network:CNN)是第一个真正成功训练多层网络结构的学习算法,但应用效果一直欠佳。直到2006年,Geoffrey Hinton基于深度置信网(Deep Belief Net:DBN)——其由一系列受限波尔兹曼机(Restricted Boltzmann Machine:RBM)组成,提出非监督贪心逐层训练(Layerwise Pre-Training)算法,应用效果才取得突破性进展,其与之后Ruslan Salakhutdinov提出的深度波尔兹曼机(Deep Boltzmann Machine:DBM)重新点燃了人工智能领域对于神经网络(Neural Network)和波尔兹曼机(Boltzmann Machine)的热情,才由此掀起了深度学习的浪潮。从目前的最新研究进展来看,只要数据足够大、隐层足够深,即便不加“Pre-Training”预处理,深度学习也可以取得很好的结果,反映了大数据和深度学习相辅相成的内在联系。

此外,虽说非监督(如DBM方法)是深度学习的一个优势,深度学习当然也可用于带监督的情况(也即给予了用户手动标注的机会),实际上带监督的CNN方法目前就应用得越来越多,乃至正在超越DBM。提示:与前向神经网络不同,RBM(受限波尔兹曼机)中的可见层和隐含层之间的连接是无方向性且全连接的。对比差异无监督训练是RBM的一个重要算法,包含了正向过程、反向过程和权值更新三个步骤,主要目标是使生成的数据与原数据尽可能相似,并通过对比两者的差异来调整权值更新: 其中,α是学习速率。

这样的网络可具备感知对输入数据表达程度的能力,而且尝试通过这个感知能力重建数据。如果重建出来的数据与原数据差异很大,那么进行调整并再次重建。2012年6月,《纽约时报》披露了Google Brain项目,吸引了公众的广泛关注。这个项目是由著名的斯坦福大学的机器学习教授Andrew Ng和在大规模计算机系统方面的世界顶尖专家Jeff Dean共同主导,用16,000个CPU Core的并行计算平台去训练含有10亿个节点的深度神经网络(DNN,Deep Neural Networks),使其能够自我训练,对2万个不同物体的1,400万张图片进行辨识。

在开始分析数据前,并不需要向系统手工输入任何诸如“脸、肢体、猫的长相是什么样子”这类特征。Jeff Dean说:“我们在训练的时候从来不会告诉机器:‘这是一只猫’(即无标注样本)。系统其实是自己发明或领悟了‘猫’的概念。”2014年3月,同样也是基于深度学习方法,Facebook的 DeepFace 项目使得人脸识别技术的识别率已经达到了 97.25%,只比人类识别 97.5% 的正确率略低那么一点点,准确率几乎可媲美人类。

该项目利用了 9 层的神经网络来获得脸部表征,神经网络处理的参数高达 1.2亿。最后我们再回到大数据这个时代背景上来。当坐拥海量的大数据,我们无论是做推荐系统还是3D模型检索(见第6章的6.4节“众里寻她千百度──海量3D模型的检索”),以前用简单的线性数学模型,一般也能获得还不错的结果。因此我们沾沾自喜起来,认为还是大数据更重要,而智能算法用简单直接的就OK了,不需要也没必要弄得很复杂。

而当深度学习出现后,它的一系列辉煌战绩让我们意识到:也许是时候该“鸟枪换炮”了。简而言之,在大数据情况下,也许只有比较复杂的模型,或者说表达能力强的模型,才能充分发掘海量数据中蕴藏的有价值信息。更重要的是,深度学习可以自动学习特征,而不必像以前那样还要请专家手工构造特征,极大地推进了智能自动化。深度学习(即所谓“深度”)应大数据(即所谓“广度”)而生,给大数据提供了一个深度思考的大脑,而3D打印(即所谓“力度”)给了智能数字化一个强健的躯体,三者共同引发了“大数据+深度模型+3D打印”浪潮的来临。

如何才能深度学习呢?

学习笔记整理系列之,深度学习

人工智能和深度计算人工智能(Artificial Intelligence,AI),是指基于底层算法、计算机技术模拟、扩展人大脑智能的理论、方法、技术和应用系统的一门新的技术科学。人工智能一直学界研究和关注的重点,跨越了数学、生理学、计算机等多学科的明星学科,已经发展了好几十年,BP神经网络、SVM都曾经带动AI火了好一阵子。

最近AI火又烧起来了,自2006年以来,依赖于分布式计算、云计算使得计算机并行处理能力大大加强,而且而且在算法上又有了突进。我们说的算法就是深度计算 Deep Learning。12年6月,媒体报道了Google Brain项目,大家的广泛关注。项目有著名机器学习教授Andrew Ng和JeffDean共同主导,用16000个CPU Core的并行计算平台训练一种称为“深度神经网络”(DNN,Deep Neural Networks)的机器学习模型(内部有10亿个节点),在语音识别和图像识别等领域获得了巨大的成功。

TensorFlow15年谷歌开源了,旗下著名的AI和深度学习 TensorFlow引擎,引燃了AI和DL在大火。TensorFlow 是谷歌在DistBelief基础上发展的第二代人工智能学习系统。关于其名称来源:Tensor(张量)意味着N维数组,Flow(流)意味着基于数据流图的计算,TensorFlow是指张量从流图的一端流动到另一端计算过程。

TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。TensorFlow可广泛地应用于语音识别,自然语言理解,计算机视觉,广告等等。同时各大厂商也都推出了类似的机器学习框架。关于深度学习的学习深度学习是在AI,神经网络的一个新算法,如果要系统学习AI,你必须有一定基础的数学技能、AI和模式算法的基础,不是一下深入的。

建议先打一些数学和AI、模式识别等基本算法的基础,然后可以学习机器学习的公开课,比如Hinton 的Neural Networks for Machine Learning,斯坦福 CS231。中文在线教程,推荐李宏毅的机器学习课程关于中文课程,台湾一个教授李宏毅的一个中文在线课程Hung-yi Lee :课程设置非常合理,内容由浅入深,内容很全,大概会涵盖近几年最新的paper ,而且也会引用reddit 讨论的deep learning问题,同时他也会讲很多调参的技巧。

注重应用和实践的一些课程和工具框架的教学。比如2015年时候讲theano,17年讲tensorflow以及keras。他的课程主页上有ppt,video,homework,非常适合初学者食用,如果你的数学很差,他的课程主页有一门linear algebra,还有一门machine learning ,这两门课会补很多数学知识。

深度学习是什么意思?

学习笔记整理系列之,深度学习

深度学习是近几年来随着信息社会发展、学习科学发展及课程改革向纵身推进而出现的一种新的学习样态和形式。关于深度学习的概念解释,目前有多种答案,不少专家学者都作出了本质含义一致到表述略有不同的解释。黎加厚教授认为,深度学习是在理解的基础上,学习者能够批判地学习新思想和事实,并将它融入原有的认知结构中,能够在众多思想间进行联系,并能够将已有知识迁移到新的情境中,做出决策和解决问题的学习。

郭华教授认为,深度学习是在教师的引领下,学生围绕具有挑战性的学习主题,全身心地积极参与、体验成功、获得发展的有意义的学习过程,并具有批判理解、有机整合、建构反思与迁移应用的特征。深度学习具有几个特质。一是触及人的心灵深处的学习。二是体验式学习。三是深刻理解与实践创新的学习。深度学习是培养学生学科素养、创新能力,提高学生学习质量效果、促进教学改革的新的学习型态,也是目前教学改革所追求的目标与境界之一。

深度学习应该怎么学习呢?

深度学习一种解释是指“有深度的学习”,主要是指在教师的指导下,学生围绕有挑战性的主题,全身心投入,全面参与,体验成功,获得发展的学习过程。是有效率、有成长、有收获的学习。另外一种解释是专有名词,是一种新的网络用词。深度学习是机器学习的一种,而机器学习是人工智能的基础。我们可以理解为计算机通过模拟人脑,能够像人一样具有分析学习能力,能够解释数据去分析图像、分辨声音和文本等。

人工智能深度学习是什么?

曾被MIT技术评论列为2013年十大突破性技术(Deep Learning居首),它是以ML中的神经网略学习算法存在的。人工智能现阶段分为弱人工智能和强人工智能,神经网络摇身一变成了如今的DL。学界对DL一般有两种看法,实际上当下科技能实现的所谓“人工智能”都是弱AI,仅仅用起提取powerful feature;而另一种则希望将其发展成一个新的学习分支,即end-to-end)说不定就是实现未来强AI的突破口1。

或者换句话说. 深度学习与AI。在DL还没有火起来的时候。DL与ML两者其实有着某种微妙的关系,随着计算资源和big data的兴起,奥创那种才是强AI(甚至是boss级的),也就是我上面说的end-to-end的“深度学习的思想”。本质上来讲,人工智能相比深度学习是更宽泛的概念,深度学习这种技术(我更喜欢称其为一种思想。

深度学习主要是学习什么方向的?

深度学习的概念源于人工神经网络的研究,含多个隐藏层的多层感知器就是一种深度学习结构,通过组合低层特征形成更加抽象的高层属性或类别特征,从而对数据进行表征。简单来说机器学习是实现人工智能的方法,深度学习是实现机器学习的技术,主要是人工智能方向的学习,最近中公教育在出这个课程学习,他们课程和中科院自动化研究所合作的,这个也是中公老师给我朋友说的,我正好跟我朋友在一起也有所了解,你要是有这方面的兴趣可以去中公教育IT的官网了解,我朋友之前在哪里学的,他们教学质量还是可以保障的。

什么是深度学习,怎么学习深度学习?

什么是深度学习?深度学习:在批判性思维下去学习,通过整理、反思、总结等步骤去寻找解决问题的方式,并在这个过程中得到持续的学习。举个栗子,来理解一下这个概念。比如现在有小明、小红、小李三位同学,他们在学习中是不一样的。具体表现如下:小明同学 属于被动学习,要在老师和家长严格要求下,才能去写作业,背诵知识点。

对书本上的知识点,大部分是通过笔记和背书来达到记忆的目的,没有去完全理解,自我学习反馈机制没有形成闭环。小红同学 属于半主动学习,能够提前预习知识点,也能够根据课后作业发现自己错误的知识点,然后再去找同等类型题,加强自己对知识点的理解。能够形成闭环,但是闭环过小。小李同学 属于主动学习,能够根据自己学习的知识点,对知识进行归纳、总结、输出。

相当于能够把知识点串联起来,通过自主研究,把内容研究的更深刻。同时在学习中形成自己的观点,能够把这类问题总结出来,并且能够用自己的话讲解清楚。那么,这三位同学里,小李同学就属于在学习中深度学习,不流于表面。能够通过不断的总结,归纳,整理,试验,自我反馈,并且最后能够输出自己的观点。怎么学习深度学习?如何锻炼自己深度学习的能力?我认为需要做到以下四点:高效的沟通能力 深度学习并不代表你闭门造车,可以通过合作的方式,找到问题的答案。

那么高效的沟通能力需要你能够耐心的聆听别人的观点,同样也能够高效的表达出自己的观点。那么这样的沟通,能够让你们接触到更多的思路。同样也为你的深度学习,提供了思路来源。自主能力 所有的深度学习,代表你自己要有足够的自我管控能力。比如上网课的时候,如果拿起手机去刷朋友圈,这节课你就没办法去做到有效学习,更何况深度学习那。

另外深度学习,要求你能够自主去学习,通过自己主动总结归纳去学习,甚至能够输出优质内容,才叫深度学习。求知思维能力 能够在学习中获得归属感和成就感,从而驱动你去不断的学习。比如你通过学习,能够持续在自己感兴趣领域拿奖。这样就能让你的内驱力更强劲,从而让你的求知欲望更加强烈。内容掌控能力 深度学习代表你能够熟练的应用自己学习的内容。

这里不仅要求对自己学习的内容很熟悉,还要能够去应用,避免出现纸上谈兵的情况。也就是一定要通过实践,把自己学习的内容应用在实际上。写在最后深度学习概念很高大上,其实就是代表你学习不能流于其表,要学到本质。另外如何深度学习那,可以通过老师提供的4种方式去锻炼一下,当然还有很多方法去锻炼,比如通过番茄法时间管理,让自己进入深度学习的状态。

学习“深度学习”的课程,需要有哪些技术基础?

“深度学习”的课程,需要有哪些技术基础?深度学习,首先要学会给自己定定目标(大、小、长 、短),这样学习会有一个方向;然后要学会梳理自身学习情况,以课本为基础,结合自己做的笔记、试卷、掌握的薄弱环节、存在的问题等,合理的分配时间,有针对性、具体的去一点一点的去攻克、落实。需要具备哪些基础才可以如果未来要走深度学习方向的话,其实本科数学系的课程基本上够用了,如果不够的话,查缺补漏地看一些资料和书籍就可以了。

不需要再去读一个数学系的研究生学位。推荐《Deep Learning》这本书。作者是 Ian 、Yoshua Bengio 和 Aaron 三位大牛。这本书的中文版于 2017 年 7 月 22 号上市。该书由众多译者协力完成。《深度学习》这本书从浅入深介绍了基础数学知识、机器学习经验以及现阶段深度学习的理论和发展,不管是人工智能技术爱好者,还是相关从业人员使用这本书都是非常有好处的。

另外,读者如果想熟悉一些数学知识,本书也做了一些介绍,包括矩阵,导数等基本内容。读者可以从头读到尾。《深度学习》这本书的一大特点是介绍深度学习算法的本质,脱离具体代码实现给出算法背后的逻辑,不写代码的人也完全可以看。为了方便读者阅读,作者特别绘制了本书的内容组织结构图,指出了全书20章内容之间的相关关系。

读者可以根据自己的背景或需要,随意挑选阅读。全书的内容分为 3 个部分:第一部分介绍深度学习的背景,提供预备知识,并包括深度学习基础的概念和技术;第二部分描述深度学习计算的重要组成部分,还解释近年来令深度学习在多个领域大获成功的卷积神经网络和循环神经网络;第三部分评价优化算法,检验影响深度学习计算性能的重要因素,并分别列举深度学习在计算机视觉和自然语言处理中的重要应用。

在普通大学通信专业搞深度学习,研一很迷茫该怎么办?

深度学习这个方向还是不错的,目前深度学习在生产场景下的应用在不断增加,相信随着工业互联网的发展,深度学习方向的人才需求会逐渐得到释放。读研期间的时间是相对比较紧张的,所以一定要做好时间管理,把该完成的任务尽量往前赶,尤其是在普通学校读研的同学,如果学校的科研资源比较有限,不能给自己的科研提供更多支撑,我建议尽快申请实习,这对于未来的就业会有比较直接的影响。

通常情况下,在重点大学读研的同学往往比较忙,尤其是在导师核心组的同学,基本上很难有机会出来实习,相比之下,在普通大学读研的同学就有更多实习的机会,这也可以看成是一个有利条件。在选择实习岗位时,可以重点考虑一下大厂的研究院,一方面大厂的研究院有较好的科研氛围,另一方面大厂的研究院也有丰富的数据和算力资源,这对于开展深度学习相关的科研是比较重要的。

从目前大厂研究院的实习要求来看,往往比较注重编程、算法和科研实践基础,所以可以从这几个方面来作出一定的准备。对于非计算机专业的同学来说,编程往往是一个薄弱环节,而从目前互联网领域的人才需求情况来看,业务算法岗的人才需求潜力比较大,所以要想提升就业竞争力,一定要重视编程能力的提升。如果研一期间实在没有什么科研环境,还可以通过打比赛来促进学习,而且如果能拿到比较好的成绩,对于后续的实习和就业也会有比较积极的影响,一些大厂还是比较看重专业竞赛的。

文章TAG:学习笔记深度系列整理

最近更新