主动学习 Active Learning - a survey

机器学习 专栏收录该内容
28 篇文章 0 订阅

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

知识点解释

1. 分析机器学习算法的可学习性时,通常有 realizable-assumption 和 non-realizable-assumption。前者表示假设空间中存在 ERM 为零的最优模型,后者表示假设空间中不存在。显然后者更符合真实情况。
2. PAC 理论用严格的形式化语言描述了上述两种情况的 sample complexity,详见 https://www.cs.bgu.ac.il/~inabd171/wiki.files/lecture10_handouts.pdf ,当然这里的采样指的是随机采样。在上述的抽样复杂度公式中,均假设的有限假设空间,所以用的项 |H|,对于更 general 的无限假设空间,应用其他项代替,即假设空间的 VC 维,准确来说,应该用 VC(H) 代替 log(|H|)。
3. VC 维,针对假设空间而言,或者说和这一类模型有关,而和具体使用的学习算法、样本分布均无关。例如,二维线性分类器的 VC 维为3,神经网络的 VC 维通常为 NlogN 或者 N^2,N 为网络参数的数量。从 2 中的 sample complexity 公式就知道,模型越复杂,VC 维越大,需要的样本越多。
4. 公式 m>=M(a,b)表明,只要训练样本数高于 M,任意 ERM 算法可以实现这个性能。这个公式与抽样复杂度的上界公式互补。公式 m<=M(a,b)表明,存在ERM算法,可以以样本数量 M 实现这个性能。所以,前面的下界也是抽样复杂度的上界。
6. AC 中部分文献理论研究了 realizable-case 和 non-realizable-case 情况下,AC 采样策略的 sample complexity。
7. version space V 是 hypothesis space H 的一个与训练数据 consistent 的子集,即对所有训练数据均能完美预测(拟合)的假设所构成的集合,这些假设均能完美解释目前观测到的数据。
8. expected generalization error = bias + variance + noise。 noise 是标注与真实标签之间的误差,只关乎数据的表征和问题的难度,与训练模型和训练数据无关。bias 反映选用的 model class 的拟合能力与真实目标model 之间差异的造成的误差,当限定了 model class,不同参数的 model 的 bias 是一致的。只有 variance 和训练集的变化扰动有关。
  • 1
    点赞
  • 0
    评论
  • 1
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: Age of Ai 设计师:meimeiellie 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值