论文地址:http://120.52.51.18/papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf 本文所包含代码GitHub地址:https://github.com/shankezh/DL_HotNet_Tensorflow 如果对机器学习有兴趣,不仅仅
DenseNet:比ResNet更优的CNN模型 前言 在计算机视觉领域,卷积神经网络(CNN)已经成为最主流的方法,比如最近的GoogLenet,VGG-19,Incepetion等模型。CNN史上的一个里程碑事件是ResNet模型的出现,ResNet可以训练出更深的CNN模型,从而实现更高的准确度。ResNet模型的核心是通过建立前面层与后面层之间的“短路连接”(shortcuts,s
本次博客还是继续之前的约束优化问题,介绍求解线性规划的另一种方法——内点法(叫做内点法的原因是优化命题解的迭代过程是从约束域内部出发,沿着中心路径逐步走到边界),包含障碍函数法和原始对偶法。PS:实际应用时考虑求解效率和精度问题,通常首选的是原始对偶法。 参考自: S. Boyd, L. Vandenberghe, Convex Optimization 2. CMU 10-72
在强化学习(四)用蒙特卡罗法(MC)求解中,我们讲到了使用蒙特卡罗法来求解强化学习问题的方法,虽然蒙特卡罗法很灵活,不需要环境的状态转化概率模型,但是它需要所有的采样序列都是经历完整的状态序列。如果我们没有完整的状态序列,那么就无法使用蒙特卡罗法求解了。本文我们就来讨论可以不使用完整状态序列求解强化学习问题的方法:时序差分(Temporal-Difference, T
在强化学习(三)用动态规划(DP)求解中,我们讨论了用动态规划来求解强化学习预测问题和控制问题的方法。但是由于动态规划法需要在每一次回溯更新某一个状态的价值时,回溯到该状态的所有可能的后续状态。导致对于复杂问题计算量很大。同时很多时候,我们连环境的状态转化模型P都无法知道,这时动态规划法根本没法使用。这时候我们如何求解强化学习问题呢?本文要讨论的蒙特卡罗(Monte-Calo, MC)就是一种可行
论文地址:(V2)https://arxiv.org/abs/1502.03167v2 本文所包含代码GitHub地址:https://github.com/shankezh/DL_HotNet_Tensorflow 如果对机器学习有兴趣,不仅仅满足将深度学习模型当黑盒模型使用的,想了解为何机器学习可以训练拟合最佳模型,可以看我过往的博客,使用数学知识推导了机器学习中比较经典的案例,并且使用了
先从最简单的例子开始,假设我们有一组样本(如下图的一个个黑色的圆点),只有一个特征,如下图,横轴是特征值,纵轴是label。比如横轴是房屋面积,纵轴是房屋价格. 现在我们要做什么呢?我们试图找到一条直线y=ax+b,可以尽量好的拟合这些点. 你可能要问了,为啥是直线,不是曲线,不是折线?因为我们的前提就是我们假设数据是有线性关系的啊!一方面,这种假设方便我们用数学知识推导出a,b. 另一方
深度学习中的正则化策略综述(附Python代码) 本文翻译自An Overview of Regularization Techniques in Deep Learning (with Python code),原作者保留版权。 引言 数据科学专家面临的最常见问题之一是如何避免过拟合。 你是否遇到过模型在训练数据上表现特别好,却无法预测测试数据的情形? 或者你在公共排行榜比赛中刚开
本篇博客还是继续约束优化,介绍约束优化中的一种特殊情况——线性规划,根据一个实例来展示单纯形法(Simplex method)的流程。文中例子来源 https://people.richland.edu/james/ictcm/2006/simplex.htmlpeople.richland.edu/james/ictcm/2006/simplex.html 给大家总结几句单纯形法的要点
ISO26262 是 IEC61508 对 E/E 系统在道路车辆方面的功能安全要求的具体应用。 ——提供了汽车生命周期(管理,研发,生产,运行,服务,拆解)和生命周期中必要的改装活动。 ——提供了决定风险等级的具体风险评估方法(汽车安全综合等级,ASILs)。 ——使用 ASILs方法来确定获得可接受的残余风险的必要安全要求。 ——提供了确保获得足够的和可接受的安全等级的有效性和确定性措
论文地址:(V3)https://arxiv.org/abs/1512.00567 本文所包含代码GitHub地址:https://github.com/shankezh/DL_HotNet_Tensorflow 如果对机器学习有兴趣,不仅仅满足将深度学习模型当黑盒模型使用的,想了解为何机器学习可以训练拟合最佳模型,可以看我过往的博客,使用数学知识推导了机器学习中比较经典的案例,并且使用了py
在强化学习(二)马尔科夫决策过程(MDP)中,我们讨论了用马尔科夫假设来简化强化学习模型的复杂度,这一篇我们在马尔科夫假设和贝尔曼方程的基础上讨论使用动态规划(Dynamic Programming, DP)来求解强化学习的问题。 动态规划这一篇对应Sutton书的第四章和UCL强化学习课程的第三讲。 1. 动态规划和强化学习问题的联系 对于动态规划,相信大家都很熟悉,很多使用算法的
这篇其实应该作为机器学习的第一篇笔记的,但是在刚开始学习的时候,我还没有用博客记录笔记的打算.所以也就想到哪写到哪了. 你在网上搜索机器学习系列文章的话,大部分都是以KNN(k nearest neighbors)作为第一篇入门的,因为这个算法实在是太简单了.简单到其实没啥可说的. 问题:已知正方形和三角形两种分类,现在来了个圆,问:应该归到正方形更合适还是三角形更合适? 算法的思想很朴
你知道如何计算CNN感受野吗?这里有一份详细指南 本文翻译自: A guide to receptive field arithmetic for Convolutional Neural Networksmedium.com/mlreview/a-guide-to-receptive-field-arithmetic-for-convolutional-neural-networks-
之前谈的都是无约束优化问题,这次转入约束优化方法。首先介绍一下什么是约束优化 其中, 是目标函数, 是等式约束的index, 是不等式约束的index。 可行集:所有满足约束的点组成的集合 有效集:激活集为可行集中满足等式约束的点 约束优化问题的求解比无约束优化要困难得多,这篇博客主要介绍一些特殊形式的约束优化以及非线性约束优化问题的常见解法。 参数变换化简约束
引言 首先给出Actors Critic算法的梯度更新公式: 在这个式子中,更新时采用的样本均来自于当前参数θ,且更新公式也是基于当前参数的函数,一旦采样的样本分布发生了变化,上式便不起作用。因此 1、参数想要得到很好地更新,就必须采样大量样本; 2、在此基础上,由于强化学习中训练数据为机器人与环境交互得到的,数据之间存在较强的相关性,会造成训练不稳定。 因此为了解决这个问题,人们通
每一种机器学习算法都可以看做是一种看待数据的视角. 就像我们看待一个问题,一个观点一样.每一种视角必然有他合理的地方,也有他片面的地方.对机器学习而言,也是一样.所以为了提高我们对数据的了解程度,我们要尽可能地从多个视角考察我们的数据. 这样对新的test data,不管是分类还是回归,我们才可能有更高的预测准确率. 实际上上述过程,就是所谓的ensemble。 集成学习 机器学习中
论文地址:https://arxiv.org/pdf/1506.02640.pdf 本文所包含代码GitHub地址:https://github.com/shankezh/DL_HotNet_Tensorflow 如果对机器学习有兴趣,不仅仅满足将深度学习模型当黑盒模型使用的,想了解为何机器学习可以训练拟合最佳模型,可以看我过往的博客,使用数学知识推导了机器学习中比较经典的案例,并且使用了py
在强化学习(一)模型基础中,我们讲到了强化学习模型的8个基本要素。但是仅凭这些要素还是无法使用强化学习来帮助我们解决问题的, 在讲到模型训练前,模型的简化也很重要,这一篇主要就是讲如何利用马尔科夫决策过程(Markov Decision Process,以下简称MDP)来简化强化学习的建模。 MDP这一篇对应Sutton书的第三章和UCL强化学习课程的第二讲。 1. 强化学习引入MDP
最近内容看的挺少,但是遇到仍是一大堆不懂的知识点,感觉有很多坑要弥补。这节给自己稍微复习记录一下SVD降维算法,该算法在推荐上有一定的应用。其实挺想吐槽一下网上的一些博客,虽然人家也是给自己做个记录,不过对于本渣渣,实在理解能力有限,细节上的处理仍是不懂,希望今后我的记录不会出现类似问题。 线性代数相关知识: 任意一个M*N的矩阵A(M行*N列,M>N),可以被写成三个矩阵的乘积:
第三方账号登入
看不清?点击更换
第三方账号登入
QQ 微博 微信