总共有14个类目：

词向量、RNN语言模型、ctr预估、文本分类、LTR、结构化语义模型、NER、序列到序列学习、阅读理解、自动问答、图像分类、目标检测、OCR、ASR。

这些类目，做一下划分有如下几大类：

1、NLP ：词向量、RNN语言模型、文本分类、结构化语义模型、NER、序列到序列学习、阅读理解、自动问答
2、图像：图像分类、目标检测、OCR
3、 语音：ASR
4、 商业：ctr预估、LTR

看出来了么?从搜索技术发展起来而集技术大成的百度，对NLP的研究确实是非常深入的。而随着业务线的扩充，图像和语音的业务也有了长足的发展(比如语音搜索、以图搜图、所投资得作业帮的OCR等)，至于ctr预估是其广告业务的核心，LTR也是网页搜索等的技术命脉。

当然，需要说明的是，上面的分类不是完全严谨，比如序列到序列学习其实也可以用到ASR中嘛，毕竟语音和文本都大致是二维的信息流，所有其实是有想通的地方所在。

既然如此，限于篇幅，我想在这篇小文中只关注那些最重要的信息，所谓最重要，就是说百度有最大的投入、最好的产出和产品化的那些业务，亦即：

LTR、ctr预估、序列到序列学习的古诗生成、以及deepspeech等。这样一些信息，可以说只此一家，别无分店，值得我们好好研究下。

1、LTR

所谓LTR，就是learning to rank，基于点击数据等的排序学习，是百度搜索的核心价值。

一个简单的例子，当用户搜索“刘德华”这个query的时候，他想看到的是作为演员的刘德华、是作为歌手的他、还是有八卦新闻的他、亦或是他的图片?每个人的需求是不一样的，单纯的规则系统，很难满足大部分人的需求。且不要说，这还是热门query呢，如果碰到那些冷门query，本来能搜到(召回)的结果就不多，用规则的方式根本无法覆盖到千万用户的额需求(准确)。所以LTR就是为了解决这样的问题应运而生。以及，在推荐和广告的排序系统中，LTR都发挥了举足轻重的作用。

文中也提到了pointwise、pairwise、listwise等几种不同的方式，当然没有提到得是，pointwise的标注较困难，常用有五档打分的方式，但是复用性较好;而pairwise的方式标注则容易很多。以及，标注的效果等也需要有很多手段来控制。再以及，用户的点击，也是另外一种形式的(弱)标注。这些都是很重要的学问。

总的来说，paddle在这里，给出了，pairwise的ranknet以及listwise的lambdarank的具体实现，有代码、有数据集，可以看到效果，甚至于自己的数据按格式规整，也可以原封不动的使用现成的模型。这么说来，LTR其实也不是大厂专属了啊，现在做垂直行业的搜索、推荐的团队那么多，在和规则搏斗的同时，确实也可以试试这个LTR的方案，把人力解放出来，并迎接更好的效果。

2、ctr预估

ctr是click-through rate的简写，ctr预估就是点击率预估，是百度技术的另一大核心。场景是这样的：无论百度、腾讯、阿里、头条等本质上都是一个广告公司(腾讯游戏除外)。通过分析用户的行为，展示出能满足用户需求的信息，就是广告的本质，也就是ctr预估的目的所在。

即优化用户的点击率是这些公司的目标，因为只有用户点击了广告，才说明广告信息是和用户需求相匹配的;也只有用户点击了广告，公司才能有收益。且不说广告行业涉及的专业知识和技术非常之广，仅算法相关就包括搜索、排序、反作弊、用户画像、NLP等等，而其中的明珠就是ctr预估。

最早的ctr预估是基于logistic regression的，把所有特征通过分段、组合得到高维的稀疏特征，然后用LR并行化的求解，得到ctr的预估。而特征工程的团队当时在百度应该就有几十人。

LR的优势在于，可解释性、容易并行化等，文中也提到了，DNN后来逐步从解决某些模块的预测，到不断发挥更大作用的阶段。

这里的代码展示了wide&deep learning model的实现，融合了适用于学习特征的DNN和适用于大规模稀疏特征的LR两者的优点。仍然，有数据可以用来做实验，也可以按格式准备数据服务于自己的业务。

3、古诗生成

这个是挺好玩的一件事，最早是百度内部hackathon的一个项目，所谓的看图写诗，在手机百度上似乎有过产品化。是一个比AlphaGo更早的AI项目展示。结合了图像识别对图像信息的提取，和nlp技术对古诗的建模和生成。

不知道当时有没有使用lstm的方案，但是现在用lstm来做这件事已经非常成熟了。外国有同行按耐不住看不到《冰与火之歌》的寂寞，用这个方案生成了最新的一卷故事，我们炎黄子孙，也可以来试试古诗的生成，等闲唬一唬人还是完全可以的。

5、 deepspeech

在deepspeech系列论文出来的时候，还是让做语音的同事们比较激动的。做语音识别或者叫ASR，是一个门槛比较高的事，大量的语料要收集、大规模的机器要用来训练、非常专业的人才才能做这件事，小作坊还是比较难的。http://proceedings.mlr.press/v48/amodei16.pdf对整体的架构和效果有了比较好的论述。

我们搞算法特别是深度学习的，都知道一个词叫炼丹，而一个好的架构和方法往往来自于大公司，也是有上面提到的这些原因的。得窥论文奥秘，并且能看到具体的实现，还是让人很高兴的一件事呀。

② 命令行的方式

可以看到得是，提供了非常多且灵活的命令行控制参数：细致到线程数、机器数、GPU还是CPU模式、轮数、是否批处理、集束搜索的方式、异步还是同步、参数稀疏性的检查、随机数的方式等等。

当然，直接使用默认的方式也很方便，不过既然有了这么多个性化的选项，其实一个有经验的开发者可以做得定制也就很多了，这也越发让我觉得paddle是一个面向工业界实际应用的平台，既能满足新手的使用，在新手向老手的转变过程中，也能提供更多的选择。

③ 分布式训练

fabric集群、openmpi集群、kubernetes单机和分布式、AWS上的分布式。

前面很多的讨论都是基于单机的版本，个人爱好者或者小公司解决实际问题的需要，如何使用PaddlePaddle来满足业务需要。当数据变多，或者公司业务变大，到单机无法处理得时候怎么办?

我们都知道数据量大了以后，算法有数据并行和模型并行之分，hadoop比较善于解决的是能数据并行的问题，而一旦涉及到了模型并行的问题，怎么解决数据的调度、死节点的控制、迭代的速度等等问题就一拥而上了。作为一个还主要在算法而非架构层面研究的人，我们大都希望，框架能解决我们的问题。

好了，PaddlePaddle作为一个框架，解决了这些问题，实验也表明了它的有效性。不要多问，拿去用就好啦：)

作为一个大的框架，PaddlePaddle其实有很多值得深入了解的地方，这里只抽其中我比较感兴趣的几点加以介绍，剩下的留给感兴趣的你吧。

三、 PaddlePaddle的劣势

PaddlePaddle相关的功能很多，我们在第一节看到了从大牛到开发者的推荐;在第二节也一起看了一下它与众不同的能力。但是现实是，PaddlePaddle的使用范围和氛围都还有很大的提升空间。仔细思考一下其中的缘由，也不难理解：

1、PaddlePaddle和TensorFlow有相近的功能但出现迟

通过对比，我们可以看到在基本的图像识别、文本分类等业务上，TensorFlow已经可以较好的完成任务了，虽说从benchmark的比较来看，PaddlePaddle能以更小的显存和更快的速度完成任务，但是TensorFlow的先发优势对于用户的获取还是至关重要的，毕竟我们很多是用人生苦短而又不差钱的机器学习研究者嘛：)，学习和迁移成本是使用PaddlePaddle的较大成本(虽然学习成本一点也不高)，而机器成本在较小的业务下也可以当做不存在;

2、社区环境和氛围的不足

即使在一个公司内的开发人员，也讲求大家要使用相近的技术栈，否则互相沟通得成本较大，而从全局来看，一个较好的社区环境也会不断贡献架构开发者、应用开发者和业务使用者，短短一年多的时间还是没有建立其一个很好的机制来发展这个社区。

3、重技术而轻产品

我们一直说百度技术做得最好，腾讯产品最强，阿里的运营不错。做技术的人比较单纯，大多深信“酒香不怕巷子深”。但是既然是开源项目，那就不只是自己用就得了，如果想要让更多的人来使用它，结合前面是说得1、2两点，既然外部环境不利，那最好自己能把产品做到更方便、更易用，这样才能改变逆势。不得不说，如第二节所述，随着paddle的文档和模型的补全，随着一些竞赛的组织，它开始有自己的特色和环境的改善。

四、 实际业务的使用

上面说了很多务虚的，那么这节就来说说paddle在实际业务中的使用：

1、大搜、凤巢和IDL的使用

PaddlePaddle的前身是百度于2013年自主研发的深度学习平台，且一直为百度内部工程师研发使用。全球各大科技巨头开源的深度学习平台都极具各自技术特点，对于百度，由于其自身在搜索、图像识别、语音语义识别理解、情感分析、机器翻译、用户画像推荐等多领域的业务和技术方向，PaddlePaddle则表现更加全面，是一个相对全功能的深度学习框架。

2016年，PaddlePaddle已在百度30多项主要产品和服务之中发挥着巨大的作用，如外卖的预估出餐时间、预判网盘故障时间点、精准推荐用户所需信息、海量图像识别分类、字符识别(OCR)、病毒和垃圾信息检测、机器翻译和自动驾驶等领域。以外卖行业为例，外卖员等待商家出餐的时间耗时严重，百度将不同时段商家的客流量、菜品的制作时间和订单量等数据交给了PaddlePaddle，经过对海量数据的深度学习处理，百度外卖的内部系统可以预估每个商家菜品出餐时间，及时告知外卖员，提高了送餐效率，系统也可以更加合理地规划取餐和送餐的路线。

2、个人开发者

案例链接：

“AI桃子选美机”，好吧，这个名字的画面感太强了。但是，从另一方面也说明，这个平台的易用性。以前的机器学习可以用一句话解释为“养在深闺人未识”，现在的趋势则是，进入门槛的不断降低，越来越多的人可以很方便的使用开源的工具，结合自己的业务支持，很方便和高效的完成实际的任务。我是很期待其他新的产品的，毕竟，我最常说得一句话是“机器学习的生命力在于和业务结合”。

五、 展望

写到这里，又回想起差不多十年前，我调opencv的那些个晚上。哦，现在多方便啊，我可以把我的精力更多的专注于算法、产品与管理;我可以投入更多的时间去看新的论文、了解新的业务、尝试新的体验。

从小的方面来说，算法和平台的迭代和发展，让我作为一个算法开发和管理者，能够更高效的工作，有了更充裕的时间来满足个人的好奇心和追求。

从大的方面来说，算法、平台和业务的迭代和发展，也带给了我们每个人一个不一样的世界。

愿机器学习走入寻常百姓家，让我们的工作和生活越来越好。