Javascript 侵入机器学习?

      大家可能都听说过 “亚特伍德定律” 这个笑话,大意是说任何能够由 JavaScript 所编写的内容最终都会由 JavaScript 进行编写。现在 Javascript 要侵入机器学习了嘛?一些工程师已经开始用 Javascript 编写机器学习的代码了。

继续阅读

发表在 算法荟萃, 编程开发 | 标签为 | 一条评论

AlphaGo 是如何把 CNN 接到搜索的?

      现在最热的话题莫过于李世石和 AlphaGo 的围棋大战。虽然我也想蹭下这个热点,但我不懂深度学习,不懂强化学习,更不懂围棋的。因此认真看 AlphaGo 的论文和田渊栋大牛的知乎文章,写一些简明笔记分享给大家。希望没有什么基础的童鞋也能看懂。 继续阅读

发表在 算法荟萃 | 标签为 , | 一条评论

深度学习框架大战正在进行,谁将夺取“深度学习工业标准”的荣耀?

      随着深度学习研究热潮的持续发酵,各种开源 深度学习框架 层出不穷,其中包括:Caffe、CNTK、MXNet、Neon、TensorFlow、Theano 和 Torch (著名开源深度学习框架 Keras 相当于是 TensorFlow 和 Theano 的简化接口,这里就不并列了)。 继续阅读

发表在 大局洞察 | 标签为 , | 3条评论

遗传算法系列之五:多目标遗传算法和遗传编程

      在遗传算法深入研究的阶段,人们提出将各种将遗传算法应用到更广泛领域,从而产生了一些有趣的后续工作。这些后续工作中,多目标遗传算法和遗传编程由于它们重要性而获得了独立命名。这篇博客就来介绍这两个工作。 继续阅读

发表在 算法荟萃, 遗传算法 | 标签为 | 2条评论

PCA模型加先验

      大清牛人曰:ML派坐落美利坚合众山中,百年来武学奇才辈出,隐然成江湖第一大名门正派,门内有三套入门武功,曰:图模型加圈,神经网加层,优化目标加正则。有童谣为证:熟练 ML 入门功,不会作文也会诌。今天就介绍一个 PCA 加先验的工作。 继续阅读

发表在 算法荟萃 | 留下评论

朴素贝叶斯分类器本质上是线性分类器

      朴素贝叶斯分类器是一种应用贝叶斯定理的分类器。线性分类器是通过特征的线性组合来做出分类决定的分类器。本质上,朴素贝叶斯分类器是一种线性分类器。 继续阅读

发表在 算法荟萃 | 标签为 | 3条评论

遗传算法系列之四:遗传算法的变种

      这篇博客介绍遗传算法变种。我们认为,遗传算法的变种可以分为两个类别:有效性变种和应用性变种。有效性变种用于提高遗传算法的性能。应用性变种是遗传算法适用于不同问题形成的,用于扩展遗传算法的应用范围。

继续阅读

发表在 算法荟萃, 遗传算法 | 标签为 | 一条评论

遗传算法系列之三:数学摆摆手,“很惭愧,只做了一点微小的工作”

      遗传算法是一个模拟生物进化的算法,并不是从数学推导出来的。但还是有人探究遗传算法的数学基础呢?在介绍遗传算法数学基础之前,先定义一些符号:
继续阅读

发表在 算法荟萃, 遗传算法 | 标签为 | 一条评论

遗传算法系列之二:“欺骗”深度学习的遗传算法

      这篇博客主要介绍不同问题的遗传算法。 继续阅读

发表在 算法荟萃, 遗传算法 | 标签为 | 2条评论

遗传算法系列之一:遗传算法简介

      最近博主在写毕业论文,没时间看资料,只能炒一些冷饭了——拿本科接触的东西写博客了。因此开始写遗传算法系列,这篇博客作为开端介绍遗传算法的基本知识。遗传算法的数学基础和变种将在后面介绍。
继续阅读

发表在 算法荟萃, 遗传算法 | 标签为 | 8条评论

平庸的岁月——写在2015年末

      我是一枚普通的技术人员,从小到现在生活波澜不惊,也没有什么拿得出手的成果。和大部分人一样,我遵循着小学->初中->高中->大学->研究生的上学之路。中规中矩不出格。既不天赋异禀,也没有努力超过常人。因此现在还是一个浑浑噩噩碌碌无为的平庸之人。
继续阅读

2条评论

几乎必然收敛和依概率收敛

      我最近在看书,觉得几乎必然收敛 (almost surely convergence) 和 依概率收敛 (convergence in probability) 有些生涩难懂。在阅读了一些资料之后发现,几乎必然收敛和依概率收敛难懂是有原因的。原因就在于我们心中的概率观念来自经典概率论,而不是来自基于测度论的现代概率论。一旦带入现代概率论框架,几乎必然收敛和依概率收敛就变得明晰起来。 继续阅读

发表在 数学基础 | 9条评论

假设检验原理三: F 检验

      这篇博客介绍第三个重要检验——F检验。 继续阅读

发表在 假设检验, 数学基础 | 标签为 | 留下评论

假设检验原理二:卡方检验

      假设检验原理一介绍了t检验,这篇博客则介绍另一个重要检验——卡方检验。卡方检验用于检验观测到的数据是否服从特定多项分布。
继续阅读

发表在 假设检验, 数学基础 | 标签为 | 2条评论

假设检验原理一: T 检验

      最近在撸毕业论文,撸得很不爽。还是写写博客比较爽。因此在撸毕业论文的间隙,把三大统计假设检验原理性的知识整理一下。先写 T 检验的相关,后续博文会介绍卡方检验和 F 检验。

继续阅读

发表在 假设检验, 数学基础 | 标签为 | 3条评论

前端和后端分工的三种模式

      最近在捣腾前端的东西,学习了一下前端知识。因这方面的知识太浅薄了,这篇简陋的博客就当抛砖引玉。 继续阅读

发表在 编程开发 | 标签为 , | 9条评论

典型关联分析(Canonical Correlation Analysis)

一.CCA的引入

      在一般的线性回归中,我们寻找n维特征向量自变量和应变量之间的线性关系。那么如果应变量也是多维的情况下,我们怎么寻找它们之间的线性关系呢?形式化地描述这个问题: \pmb{X}d \times n的矩阵,其中每一行代表n个特征的数据(或者说n元变量);同理\pmb{Y}d \times m的矩阵,每一行代表一个m个特征的数据;寻找\pmb{X}\pmb{Y}之间的线性关系。为了后面的阅读方便,用下标表示行,用上标表示列。比如用\pmb{x}_i表示矩阵\pmb{X}的第i行,即第i个变量实例;\pmb{x}^j表示矩阵\pmb{X}的第j列,即第j个特征。

继续阅读

发表在 算法荟萃 | 标签为 | 留下评论

愿平常

      如果可以,能不能留在广州。不要那些所谓的梦想,不要那些所谓的前程。只关心眼前的生活。

继续阅读

3条评论

曾经的远方

      童稚年华,我经常躺在草垛上,对着远处的连绵山峦好奇山的另一边是什么。妈妈告诉我,山的那一边是海,是草原,是大都市。而爸爸告诉我,山的另一边是北京,是天安门,是万里长城。山的另一边是到不了远方。那里果实结满了树枝,鲜花铺满了大地,是美好的地方。带着对远方的憧憬,我相信我未来的生活和梦想会在美好的远方。”我要读书到北京去”,邻家经常讲故事给我听的婆婆问我,读书读到哪里去时,我便如是回答。
继续阅读

留下评论

一种古老的矩阵分解:QR分解

      最近的研究涉及到了矩阵的QR分解和Rank Revealing QR分解,因此看了一些相关文献。本来想把QR分解和RRQR分解的相关的内容都整理下的。但是后面发现,RRQR实在是太复杂和琐碎,一时半会讲不清楚,只能把QR分解相关内容整理下了。
继续阅读

发表在 算法荟萃 | 3条评论

从投影和概率的角度看最小二乘法

      输入一组向量  \pmb{x} = [x_1,x_2,...,x_d] , 用线性模型预测输出变量y。
\begin{eqnarray}
\hat{y} = \pmb{w}^{T}\pmb{x}
\end{eqnarray}
其中 \pmb{w} 是权重, 是线性模型的参数。 继续阅读

留下评论

平均值和数学期望有多近

      一组独立同分布的随机变量,若是变化范围有限,它们的平均值应该很接近它们的数学期望。尤其随机变量个数比较多的情况下,这种现象更加明显。一个鲜明的例子是掷硬币:假设硬币以概率p掷成正面。如果我们掷n(n是一个比较大的数)次硬币,其中有m次为正面,则我们相信 \frac{m}{n} \approx p 。假设一组随机变量 X_1, ..., X_n ,对应n次掷硬币的结果, 正面为1,负面为0。这组随机变量是独立同分布的,变化范围有限(要么为0要么为1),而且期望为p。它们的平均值等于正面次数除于总次数,也就是 \frac{1}{n}\sum_{i=1}^{n}x_i = \frac{m}{n} 。因此,我们相信 \frac{m}{n} \approx p ,其实上是相信这组变量的平均值,很接近它们的数学期望。

      那么问题来了,挖掘机,哦不。一组变化有限的独立同分布随机变量的平均值和期望有多接近呢?换句话说,我们很关心下面的公式会长什么。假设一组独立同分布的随机变量 X_1, ..., X_n ,若有 X_i \in [0,1] ,
\begin{eqnarray}
p(\sum_{i=1}^nX_i-E[X] \ge \epsilon) \le ?
\end{eqnarray}

继续阅读

发表在 数学基础 | 留下评论

一张图的故事——概率分布之间的关系(下)

      填自己挖的坑, 继续介绍概率分布之间的关系。下从Beta分布开始介绍。
继续阅读

发表在 数学基础 | 标签为 | 2条评论

一张图的故事——概率分布之间的关系(上)

      概率分布之间的关系是个有趣的话题。若要一张图简要概述概率分布之间的关系,下图是经典。本文将从上到下,从左到右解释这张图。本来要全部写完才发布的。不过考虑到明天就回家了,家里没有网肯定写不了,所以先发布一部分,剩余部分国庆之后补上。另外求该图的原始出处。
继续阅读

发表在 数学基础 | 标签为 | 5条评论

EM算法原理和应用

      EM算法是带隐变量概率模型的推断算法。今天我们介绍 EM 算法的原理和应用。我们先介绍推导出 EM 算法的一般方法,再介绍另一种 EM 算法推导方法,最后将 EM 算法应用于高斯混合模型。 继续阅读

发表在 算法荟萃 | 标签为 | 13条评论