CenterNet笔记
Baseline & MotivationCenterNet以CornerNet为baseline, CornerNet产生2个heatmaps(左上和右下Corner), 每个heatmap表达每个不同类别的keypoint的位置, 并赋予它们confience score, heatma
...
在centos中给jupyter安装IRkernel
环境：
os: centos7
R: 3.4.2
jupyter: 4.4.0
坑预告
R中无法安装git2r, devtools
IRkernel::installspec()找不到jupyter
安装准备确保下面这些工具已经被安装在系统中1yum install gcc gcc-c++ gc
...
梯度求解学习小结2
问题在梯度求解学习小结1中，学习了如何求解损失对打分的梯度，尤其是平均损失对打分矩阵的梯度。对于基于batch随机梯度下降的求解方法而言，需要求的是平均损失对每一层网络参数W和b的梯度。又因为层与层之间，梯度通过激活值传到，因此也需要求平均损失对每一层输入值(是前一层的激活值)X的梯度。因此本小节将
...
梯度求解学习小结1
问题在机器学习中，设计合理、有效的目标函数是为人所津津乐道的技能（本小学生尚无此功力）。倘若设计出来的目标函数连自己都不会求解(优化)那就很尴尬了。像我这种小学生瞎鼓捣出来的目标函数,想知道究竟能不能work,不求解一下写成代码在数据集上跑一跑又如何知晓？
纵观求解方法，有贪心的，动态规划的，蒙特卡
...
Numpy广播机制小结
广播numpy中数组的广播机制可以参考Array Broadcasting in numpy。numpy数组间的基础运算是element-by-element的，如a+b的结果就是a与b数组对应位相加，必须满足a.shape == b.shape。这要求维数相同，且各维度的长度相同。当运算中的2个数
...
正则化对假设空间的影响
正则项的引入可以降低模型的复杂度，增强模型的泛化能力，对于这一点我的理解比较模糊，直到学习到了正则项的贝叶斯解释才逐渐清晰。最终的推理逻辑是：
给优化目标加入正则项等价于给模型参数引入先验；
这种先验限制模型参数的置信空间，达到了限制模型假设空间的作用；
模型假设空间小了，表达能力削弱后不容易学习
...
从梯度提升到GBDT
梯度提升(Gradient boosting)对于任意的可微的损失函数，我们可以在迭代的过程中求出梯度，再以弱学习器去拟合负梯度来完成梯度提升算法。在boosting与平方损失中，我们发现前向分步拟合算法每次迭代中，当前的残差就是经验损失相对于当前预测函数值的负梯度。需要注意:对于其他非平方损失的可
...
boosting与平方损失
Boosting在另一篇博客中(boosting与指数损失)介绍了关于Boosting的一些简单内容。
boosting的过程是不断地修改数据集，在此之上应用弱学习器，由此产生一个弱学习器序列$b(x;\gamma_m), m = 1, 2, ..., M$。最后通过加权的多数表决来合并每个弱学习
...
boosting与指数损失——Adaboost
boosting-不平等的委员会boosting提升方法的动机是合并许多“弱”学习器输出以产生有效的“委员会”。从这一角度看，boosting与同为ensamble集成方法的bagging袋装方法非常相似。其实这种相似是非常表面的，boosting与bagging有着本质的区别。
boosting的
...
加法模型感想
因为太简单太常见，加法模型往往容易被忽略，但它却蕴含着非常根本的建模思想。针对于某个案例，如果世间存在一个真实模型f(x),加法模型可以看做是它的一阶泰勒近似。
在时间序列分析里，时间序列通过加法分解为季节分量，趋势和误差项：$Y_t=S_t+T_t+\varepsilon$。其中$Y_t$为季
...