事实工作中，应当怎么做和教科书讲的结论相抵牾，这时候要怎么办呢？莫非教科书中的结论出错了？
若是盼望认识机械进修，或曾经决议投身机械进修，您会第一时间找到种种课本开展充电，与此同时正在心中默许：书里讲的是牛人大神的一生聪慧，是精确无误的行动指南，认真进修就可以取得快速提拔。但实际情况是，您极可能曾经正在走弯路。
高新科技生长很快，数据正在指数级增加，环境还正在指数级转变，是以良多时分教科书会跟不上时期的生长。有时，即便是写教科书的人，还不见得皆明确结论背后的“所以然”，是以有些结论就会降后于时期。针对这个题目，第四范式创始人、首席执行官戴文渊克日就正在公司内部分享上，向大师引见了机械进修课本中的七个典范题目。戴文渊是ACM天下冠军（2000年），“迁徙进修”环球领军人物，正在迁徙进修范畴单篇论文援用数至今仍排名天下第三。曾任百度凤巢计谋的技能负责人、华为诺亚方舟实验室主任科学家。
本文按照演讲实录收拾整顿，略有删减。
有时我们会发觉，正在事实工作中，该当怎么做和教科书讲的结论相冲突，这时候要怎么办呢？岂非教科书中的结论出错了？事实上，有时的确如斯。所以本日我就想和大师分享一下机械进修课本中的一些典范题目，盼望对大师往后的工作和进修有所匡助。
题目一：神经网络不适宜超越3层
这是最著名错误判断，而今的教科书几近曾经不再有如许的结论，但若是看15年、20年前的机械进修教科书，会有一个很风趣的结论：神经网络不能跨越三层。这和我们而今说的深度进修是冲突的，深度进修而今大师比拼的是不是神经网络能不能跨越三层，反而是能不能做出一百层、一千层或更多。
那为何之前的教科书上会写神经网络没有能凌驾三层，这就要从神经网络的汗青提及。五十年代有位科学家叫Marvin Minksy，他是一名生物学家，数学又很好，所以他正在研讨神经元的时分就正在想能没有能用数学模型往描绘生物的神经元，是以就设计了感知机。感知机就像一个神经细胞，它能像神经细胞一样连起来，构成神经网络，就像大脑的神经网络。其实正在60年代最先的时分，是有很深的神经网络，但那时颠末大批实验发觉，没有凌驾三层的神经网络结果没有错，因而可能到80年代时就得出结论：神经网络没有宜凌驾三层。
那为何而今这条结论又被推翻了呢？事实上这条结论是有前提条件的，即在数据量没有大的情况下，神经网络没有宜跨越三层。而由2000年入手下手，人人发觉伴随着数据增长，深度神经网络的施展阐发优秀，所以渐渐地走向深度进修。实际这里真正精确的道理是Valiant引理，它能够理解为“模子庞杂度（比方专家系统的规矩数目）要和数据量成正比”。数据量越大，模子就越庞杂。上个世纪由于数据量小，所以神经网络的层数没有能太深，而今数据量大，所以神经网络的层数就要做深。这也诠释了为何其时教科书会有那样的结论，而而今伴随着深度进修的盛行，人人曾经没有再见以为这句话是对的。
题目两：决策树不能超过五层
假如有同砚看教科书上先容决策树，会有一个说法便是决策树要减枝，决策树假如没有减枝结果没有好。另有教科书会报告决策树没有能跨越五层，跨越五层的决策树结果没有好。这个结论和神经网络结论一样，神经网络没有能跨越三层还是由于事先数据量没有大，决策树没有能跨越五层还是由于上个世纪数据量没有够大，两叉树决策树假如深度是N的话，复杂度大概是2的N次方，所以没有跨越五层复杂度还便是三十多。假如数据量到达一百万的时辰，决策树能到达十几两十层的范围，假如数据量到了一百亿的时辰决策树还许要到三十几层。
目前，我们夸大更深的决策树，这大概和教科书讲的相冲突。冲突的原因是目前全部场景下数据量增大，所以要做更深的决策树。自然，我们还不一定在所有的场景里都有很大数据量，若是逢到了数据量小的场景，我们还要晓得决策树是要做浅的。最基础而言，便是看有几多数据，能写出多庞大的模子。
题目三：特点挑选不能超过一千个
有些教科书会零丁开个章节来说特性挑选，告知我们正在拿到数据后，要先删除一些不重要的特性，乃至有的教科书说明，特性数不能超过一千，不然模子结果欠好。但实际这个结论也是有前提条件的，若是数据量少，是不能够充裕支持良多特性，但若是数据量大，结论就会不一样。这也便是为何我们干LogisticRegression会有几十亿个特性，而不全是限定正在几百个特性。
曩昔传统数据剖析软件，如SAS，之所以只有几百个特点，是由于它诞生于上世纪七十年代，它面对的问题是正在详细场景下没有太多可以用数据，大概只有几百上千个样本。是以，正在设计体系时，就只需求针对几百个特点设计，不需求几十亿个特点，由于上千个样本没法支持几十亿特点。但现正在，伴随着数据量提升，特点量还需求提升。所以我以为，正在大数据环境下，全部机械进修教科书里关于特点挑选的章节曾经降后于时期，需求按照新的情势从新撰写；当然正在小数据场景下，它仍旧具有价值。
题目四：集成进修取得最好进修效果
第四个叫干集成进修，这个手艺正在各类数据发掘角逐中稀奇有效，好比近年KDD CUP的冠军几近皆是采纳集成进修。什么是集成进修？它没有是干一个模子，反而是干许多（比方一千个）没有一样的模子，让每一个模子投票，投票的成果便是终究的成果。假如没有思索资源限定情形，这类形式是成果最好的。这也是为何KDDCUP选手们皆挑选集成进修的方法，为了寻求末了成果，没有正在乎投入几，正在这类条件下，集成进修便是最好的方法。
但正在实际中，企业干机械进修寻求的这不是用无限的资源干尽量好的结果，反而是若何充分利用有限资源，取得最好结果。假定企业只有两台机械，若何用这两台机械取得最好的结果呢？假如采取集成进修，用两台机械跑五个模子，就要把两台机械分红五份，每一个模子只会用0.4台机械往跑，因而跑的数据量就有限。那假如换种方法，不消集成进修，就用一个模子往跑，就能跑5倍的数据。一般5倍的数据量能比集成进修有更好的结果。正在工业界比较少会使用集成进修，重要是由于工业界绝大多数的场景全是资源受限，资源受限时最好的方法是想办法放进往更多的数据。集成进修由于跑更多的模子招致只会放更少的数据，一般这类结果都市变差。
题目五：正样本和背样本平衡采样到1：1
第五个叫干平衡采样，绝大多数的教科书都邑讲到。它是指若是我们练习一个模子，正样本和背样本很不均匀，比如正在正样本和背样本1：100的情况下，就要对正、背样本干平衡采样，把它酿成1：1的比例，如许才是最好的。但实在这个结论不一定对，由于统计进修里最基础的一条道理便是练习场景和测试场景的分布要一样，所以这个结论只正在一个场景下建立，那是利用模子的场景中正、背样本是1:1，那这个结论便是对的。
准确的干法是，运用场景是1：100，那练习荟萃最好还是1：100。平衡采样没有一定皆是对的，大皆情形下没有采样反而才是准确的。由于大大皆时分，我们直接把练习荟萃和测试荟萃干随机拆分，大概依照时候拆分，两者的分布便是同等的，那个时分没有采样是最好的。自然有时分，我们还会发觉干背样本采样会有更好的结果，好比范式正在为某股份制银行卡中央干生意业务反狡诈时，就干了背样本采样，那就是由于当我们把一切样本皆放进去后，发觉测算资源没有够，所以只能干采样。正样本取背样本大概是1：1000大概1：10000，若是对正样本干采样，损失信息量会比较大，所以我们挑选对背样本采样，好比干1：1000的采样，再把背样本以1000的加权加回去。正在资源受限时这么干，会尽还许低落信息量的损失。但若是仅仅是为了把它干平衡而干背样本采样，通常是没有对的。和前面几个问题没有同，背样本采样并没有是因环境改动而结论变革，事实上就没有应该干背样本采样。
题目六：穿插考证是最好的测试要领
下一个题目叫干穿插考证，是指假定要将一份数据拆分红练习集和测试集，这个时辰如何评价出它的偏差？穿插考证是把荟萃拆成五份，与四份干练习集、一份干测试集，而且每一次挑选分歧的那一份干测试级，最终测出五个后果再干均匀，这被认为是最好的测试要领。
穿插考证确实是一个还不错的考证的要领，但正在实际利用场景下，它常常是不是最好的一种体式格局。由于平常来讲，我们用机械进修干的事情是展望，绝大多数情况下我们是用此刻或已往的数据干一个模子来展望将来。而拿已往的锻炼展望将来的最好测试要领是不是穿插考证，由于穿插考证是依照买卖或按人拆分的。最好的是要领其实是依照时候拆分，例如评价的时候选取一个时候点，用正在这个时候点之前的数据干锻炼，展望正在这个时候点以后的，这是最接近实在利用场景的评价成果。
穿插考证大概只适用于和时候属性不相关的场景，比方人脸辨认，但我们面对更多的使用场景，无论是风险、营销或反狡诈，全是在用过往的数据练习后展望将来，最好那样场景的评价方式并不是穿插考证，反而是依照时候往拆分。
题目七：过拟合必然欠好
末了一个叫过拟合，这也是一个计议稀奇多的话题。从前，平常我们会说假如模子干的太庞杂了就会过拟合，如PPT右侧所示，而最好的体式格局应该是图中中央的状况——拟合的刚刚好，图中右边的模子underfitting，没有练习完整。但现正在来看，大多的现实场景全是正在拿已往展望将来，过拟合纷歧定是欠好的，照旧要看详细场景。假如这个场景是已往见过的状况比较多，新的状况比较少的时辰，过拟合反倒是好的。
打个例如，假如期末考试题便是平常的功课，那我们把平常的功课皆背一遍便是最好的体例，而这便是过拟合。假如期末考试不考平常功课，满是新题，那末这个时间就不能只背平常的功课，还要充实明白这门课的常识，控制若何推明白题的技能。所以过拟合黑白与否，完整取决于场景。假如运用场景依托死记硬背就可以搞定，那过拟合反倒是好的。事实上正在我们的设计内里，良多时间我们会倾向于往过拟合靠一点，可能做新题会差一点，然则关于死记硬背的送分题会做的很好。正在拿过去展望将来的运用场景下，有的时间过拟合不一定欠好，要根据实际情况来看。
本日取人人分享了教科书中的一些典范题目。其实在事实工业利用中，我们不容易完整依照教科书中的方法往实践。我们还会设计很深的模子、很深的决策树、良多的特性、会过拟合一点，我们更夸大按工夫拆分，不夸大平衡采样。应对教科书中的结论，我们需求学会的是依据事实场景做出相应灵敏分辨。