1.AI地图

  1. 人工智能的地图,x轴是不同模式,由符号学到概率模型 到机器学习,Y轴是我想做的东西,最底下的是感知,我得了解这是什么东西,然后做推理,形成自己的知识,最后做规划。最底层的就是感知,就是我能够看到这个物体,比如这个屏幕等,做推理是基于我现在看到的东西,会发现什么事情,第三个知识是比较难的事情,根据我看到的数据和现象,来形成我的知识,我能进行比较长远一点的规划,也就是我的未来怎么做。
  2. 这里对几个比较大的领域做了一点规划,第一是自然语言处理,自然语言处理在过去取得了比较大的进步,但是还是停留在比较简单的感知上面,比如自然语言处理应用比较多的是机器翻译,如中文翻译成英文,就是几秒的事情,很多是潜意识里面感知的问题,所以人在几秒内能够反应过来的范围都属于感知的范围。
  3. 计算机视觉能够稍微往前走一点,我在图片里面能够做一些推理。
  4. 自然语言处理最初是符号学,首先语言是一个符号,接下来发展为概率模型和机器学习。
  5. 计算机视觉因为图片里面都是一些像素,很难用符号学来解释,所以计算机视觉大部分是用概率模型或机器视觉。
  6. 深度学习是机器学习的一种,他能做机器视觉,也能做自然语言处理,也能做强化学习。
  7. 过去8年里,从Alexnet开始,最热的方向就是机器视觉和自然语言处理。

2.深度学习应用的突破

1.图像分类

  • Imagenet是一个比较大的图片分类数据集,包含1000类物体的图片,大概有1000万张图片。

  • 这张图展示的是从10年到17年,Y轴是错误率。每个点表示每个paper的错误率,10年的错误率还是挺高的,最好的是26%左右,

2012年有一个比较大的下降,这也是深度学习的开始,在接下来的五年里面,深度学习已经把图像分类的误差降到非常低。17年几乎所有的团队都能把误差降到5%以内。基本上可以达到人类在图片识别上的精度。在图片分类这个工作,深度学习已经做的非常好了。

2.物体检测与分割

  • 物体检测:我们不仅仅想知道这个图片里面的内容,我们还想知道是什么,在什么位置。
  • 物体分割:想知道每个像素是属于飞机,还是属于某个人,是更深层次的应用。

3.样式迁移

  • 样式图片内容图片合成一张,类似一个滤镜,可以任意切换风格。

4.人脸合成

  • 人脸合成的图片都是假的,通过随机树开始合成的一些照片,人类难以分辨出这些图片是真还是假。

5.文字生成图片

  • baby 萝卜遛狗的图片
  • 牛油果椅子。

6.文字生成

  • 如何来开一个比较有效的董事会议。
  • SQL语言,编程,这也是非常强大的语言生成模型。

7.无人驾驶

8.案例研究—广告点击

  • 问题:给你一个用户输入,如何给你一些广告。
  • 这个问题可以分成三个阶段,第一输入一个关键词时,给你一些广告,接下来就是机器学习的模型,给你一个广告后,客户的点击概率是什么样子,p为人会点击这个广告的概率,根据点击率和广告主付你多少钱,然后一乘,点击率乘以竞价,会得到一个数字,把它作为一个排序,排名高的我会拍到前面,排名低的我会舍去。
  • 这是广告点击的三个步骤,1.触发广告,2.预测一个点击率3.最后得到一个排序

  • 里面最重要的一个就是预测点击率,首先看到广告时要进行特征提取,包括广告主产品描述产品图片等信息,把这些特征放到模型之后,就可以预测出点击率的数据。主要包括两个步骤,特征提取模型预测
  • 我们可以把过去所有的广告展现用户点击数据存下来,因为我知道用户有没有点,所以我是有真实的用户点击行为,把它作为训练数据,放到一个模型里面进行训练.

  • 一个完整的故事是这样的,我有些领域专家,模型控制用户展现,用户点击数据用反过来训练新的模型。
  • 数据科学家拿到数据进行模型训练。
  • AI专家主要提升模型精度和性能。
  • 一个机器学习领域里面有三类人,领域专家【对应用有非常深的了解,知道一些机器学习的事情,更多是了解机器学习的给我的产品带来什么样的影响】,数据科学家【数学科学家会把原始数据转化成计算机能够理解的数据,然后训练模型】和AI专家【关注某几个点,然后进一步提升】。每个人既可以是领域专家,也可以是数据科学家。

3.QA

1.机器学习在图像分割领域为什么有效,有没有定论?

  • 模型的可解释性是深度学习和机器学习比较关注的地方,因为它们是一个黑盒,你训练一个模型,你也不知道它为什么效果好,或者不好。对于深度学习来讲,其可解释性做的并不好,对于机器学习来说,对于一些简单的模型,我们有一些简单的理解,对于比较复杂的模型,我们基本是放弃其可解释性的研究。
  • 有效性和可解释性是两个概念。为什么有效,当然我可以给出很多解释, 但是可解释性是另外一个概念,人是不是能够理解这个模型,它为什么能够工作,它什么时候不工作,以及在什么时候出现偏差,这是可解释性要理解的问题。一个模型在一个什么样的问题上有应用,会有一些解释,什么样的模型会考虑空间信息,什么样的模型会考虑时间的信息,什么样的模型泛化性能好一些,这是是不是工作的可解释性,但是更一般的,目前还没有太多的进展。

2.领域专家什么意思?

我想去做农业上的物体识别,我想去看一下今年的收成怎么样?我用一个无人机,去把图片拍下来,然后就会看到树的一些图片,作为数据科学家,我不懂二月份树要长成什么样子,领域专家会告诉你,这个树长多少叶子是比较好的,数据科学家就会把领域专家的一些需求翻译成能够做的一些任务,所以说领域专家是提需求的一些人,是甲方,数据科学家是乙方。

3.MXnet要装GPU版本,必须要卸载CPU版本吗?

需要。该课程是基于pytorch,会有一些不一样。

4.深度学习不能用数学规范表述,只能直觉上理解是吗?

这个不一定,深度学习模型是可以用数学来表述的,接下来也是会介绍很多数学的东西,但是用数学来解释,它为什么工作,为什么不工作,这是目前做的不好的一个地方。

5.符号学可以与机器学习融合起来吗?

这个确实是可以的,符号学在深度学习目前有一些新的进展,比如符号学就是做一些符号学的推理,目前图神经网络可以做一些复杂的推理过程,模型够复杂的情况下,确实可以做一些推理的工作。

6.数据科学家和AI专家的区别在哪里?

  • 没有太多区别,数据科学家,给一个数据,我赶紧出一个模型,能工作就很好了,我关心的是如何把一个领域专家问题,抽象为实际的业务问题,变成机器学习能够完成的一个任务,训练一个还不错的模型,AI专家有可能也是数据科学家,我不仅能够把模型训练出来能用,而且能够把模型做的精度很高,资深数据科学家你可以认为是AI专家。
  • 数据科学家是有两条路,一条是不断开发新的领域,比如说机器学习在农业上的应用,在医疗上的应用,这是往广的方向上走,往深的方向上走的话,可以成为AI的专家。在某一块,我可以成功这一块了解最多的人。

7.Mac是不是支持Pytorch

可以支持Pytorch,只能用CPU,简单的任务是可以做的,负责的任务是比较难一些。

8.自然语言仅仅在感知层面似乎不太合适,因为语言的理解和产出,不仅仅是感知,也涉及语言知识,也涉及到规划,比如机器对话,下一步要做些什么。

语言是一个很复杂的过程,自然语言处理,我们做的还很一般,虽然能做一些感知,不如深度学习在机器视觉的领域做的应用好一些,地图是一个大致的分类,不用特别纠结。

9.如何寻找自己领域的paper的经验。

后面会讲。

10.无人驾驶,误判率在下降,但是误判的影响非常严重。

  • uncertainty或者roubustness,我的数据在数据发生偏移或者极端情况下,我会不会做出很不好的答案。解决方法之一就是把不同的模型融合到一起,通过多个模型来进行投票。在竞赛中,我们会提到如何通过多个模型来提升模型精度。