为什么 CNN 能自动提取图像特征

1.介绍

      在大部分传统机器学习场景里,我们先经过特征工程等方法得到特征表示,然后选用一个机器学习算法进行训练。在训练过程中,表示事物的特征是固定的。 继续阅读

发表在 算法荟萃 | 标签为 | 3条评论

无法进入的领域: 树模型的失落

      广告和推荐系统都是工业级的大系统,对现在的人工智能有很重要的意义。如果人工智能的几个创新点(人脸识别、对话机器人和无人驾驶等)失败,人工智能的核冬天的惨象也不会重现于世。靠着广告和推荐系统的收益,人工智能社区就能全身而退,重新回到 “世界上最聪明的一群人,每天研究的是如何让人更多的点广告” 。同时广告和推荐系统还是机器学习工业应用的制高点,机器学习最前沿的进步都会被尝试于广告和推荐系统上。对于这样一个制高点,不同的算法都想在里面占一席之地。

      
      随着 SVM 为代表的统计机器学习退出舞台中心,深度学习(深度的神经网络)又成为机器学习的中心, 现在是广告和推荐系统的主流方法。但是在深度学习光耀之外,还有一个机器学习流派一直占有重要作用,也力图进入广告和推荐系统领域但失败而归:树模型。 继续阅读

发表在 算法荟萃 | 标签为 | 6条评论

普通程序员怎么理解日志系统

      当我们在做系统开发时,日志系统是绕不开的话题。作为日志系统的最终使用者,我们会接触不同的日志系统,比如 log4j、 logback 和 slf4j 等等,还会接触到日志系统的各种概念,比如 Formatter、Appender 和 Priority 等。这些日志系统有什么区别,这些概念又该怎么理解呢? 继续阅读

发表在 编程开发 | 标签为 | 一条评论

换一个表述的威力——虚拟对弈的新生

      目前,游戏 AI 领域方兴未艾,出现了大量的新方法新构思。棋牌游戏中的牌类游戏 AI,比如德州、扑克和斗地主等,也在博弈论方法的基础上,发展出了新的思想和方法。今天就介绍其中古老的虚拟对弈 (Fictitious Play, FP) 算法在机器学习大行时代的新变化。 继续阅读

发表在 游戏人工智能, 算法荟萃 | 标签为 , , | 留下评论

多 Agent 强化学习综述

这是来自我们组同事谢思发同学的文章。谢思发同学硕士毕业于厦门大学,于 2016 年加入腾讯互动娱乐数据挖掘团队,从事用户画像、知识图谱和社交网络方面的工作。

继续阅读

发表在 强化学习, 数学基础, 算法荟萃 | 标签为 , | 留下评论

从先进走向普遍的广告和推荐系统方法之一: 在线学习

      广告和推荐系统作为机器学习领域的“摇钱树”,一直受到广泛的关注。在这 5 年,或者说 10 年的维度上,广告和推荐系统发生了改头换面的变化。传统的方法已经远去,一时先进的新兴的方法广泛走向千家万户。今天介绍的在线学习,就已经从先进走向了千家万户。
继续阅读

发表在 算法荟萃, 编程开发 | 标签为 , , , , | 2条评论

动手写一个 DQN 的棋牌 AI

      深度强化学习是学术界研制游戏 AI 的主流算法。这篇文章我们将用深度强化学习早期代表算法 DQN 算法探索棋牌 AI。 继续阅读

发表在 强化学习, 游戏人工智能, 算法荟萃 | 标签为 , | 2条评论

超大规模 LR 预测优化

      推荐系统常用分类算法包括 LR、XGBoost 和最新的 Deep Learning 。libFM 可以看出是自动特征交叉和 LR 算法的结合。XGBoost 在竞赛中用得多,但在实际工业中鲜见其成功案例。Deep Learning 则是未来可能成为 CTR 预估范式的新兴算法,但现在受限于成本和性能。LR 作为老牌工业推荐系统中算法,至今活跃在一些推荐场景中。 继续阅读

发表在 编程开发 | 2条评论

工欲善其事必先利其器——游戏 AI 环境对比

      DeepMind 发表 DQN 算法在 Atari 游戏上超过人类之后,游戏 AI 研究迅速成为了研究热点。游戏 AI 研究火热的一个侧面是游戏 AI 环境推陈出新,层出不穷。OpenAI Gym/Universe、ELF 和 SC2LE 等高水准的游戏 AI 环境相继问世。 继续阅读

发表在 算法荟萃, 编程开发 | 标签为 , , , , , | 3条评论

自我对弈的 AlphaGo Zero

      AlphaGo Zero [1] 已经出来一段时间了。本来 AlphaGo Zero 一出来就应该写科普的,但自己实在懒。等到现在才更新。
继续阅读

发表在 算法荟萃 | 标签为 , | 6条评论

靠默契保证的私有制:Python 中的私有

      人类文明开化以来,私有制似乎是人类历史的主流在西方国家,“私有财产神圣不可侵犯” 是很多资本主义国家的立国原则之一。在我国,“私有财产不可侵犯” 也是写在宪法中的。在人类社会中,私有制表面由由法律保证,实质上是有法律背后的国家强制力保证。 继续阅读

发表在 编程开发 | 标签为 , | 留下评论

XGBoost + LR 就是加特征而已

      LR (逻辑回归) 算法因其简单有效,成为工业界最常用的算法之一。但 LR 算法是线性模型,不能捕捉到非线性信息,需要大量特征工程找到特征组合。为了发现有效的特征组合,Facebook 在 2014年介绍了通过 GBDT (Gradient Boost Decision Tree)+ LR 的方案 [1] (XGBoost 是 GBDT 的后续发展)。随后 Kaggle 竞赛实践证明此思路的有效性 [2][3]。
继续阅读

发表在 算法荟萃 | 标签为 , | 10条评论

取代人类工作?人工智能也创造工作

      人工智能的飞速发展导致工作岗位的减少,从而引发社会矛盾,是人们普遍的想法。但是另一方面,人工智能也创造了另外一些工作。这些新的工作职位都是做什么的呢?都有哪些渊源呢?近年来人工智能大火,人工智能、机器学习、深度学习和大数据等概念频频出现。这些概念和这些工作职位又有什么关系呢?
继续阅读

发表在 大局洞察 | 标签为 , , , | 一条评论

人工智能当前,棋牌游戏留给人类的堡垒不多了

      最近半年在写一个棋牌游戏的环境:RoomAI,目的是为方便自己和他人在棋牌游戏 AI 方面进行一些探索和研究。 继续阅读

发表在 大局洞察, 游戏人工智能, 算法荟萃 | 标签为 , , , | 2条评论

Akka 使用系列之四: Future

      这篇文章介绍 Akka 的同步机制,以及 Spark 和 Akka 的恩怨情仇。 继续阅读

发表在 编程开发 | 标签为 , , | 一条评论

为了 1% 情形,牺牲 99% 情形下的性能:蜗牛般的 Python 深拷贝

      最近使用 Python 一个项目,发现 Python 的深拷贝 copy.deepcopy 实在是太慢了。 继续阅读

发表在 编程开发 | 标签为 , | 4条评论

TensorFlow 中的候选采样

      在从事深度学习过程中, 如果我们想训练一个类别非常多的分类器 (比如一个拥有巨大词汇库的语言模型), 正常的训练过程将非常缓慢。 继续阅读

发表在 算法荟萃 | 2条评论

拖拽式机器学习的爱与恨

      拖拽式机器学习是我想了很久的问题。 继续阅读

发表在 大局洞察 | 标签为 | 3条评论

Akka 使用系列之三: 层次结构和容错机制

      这篇文章介绍 Akka 层次结构,以及基于层次结构的容错机制。 继续阅读

发表在 编程开发 | 标签为 | 留下评论

动态图计算:Tensorflow 第一次清晰地在设计理念上领先

      北京时间 2017 年 2 月 8 号,Google 宣布在其博客上发布 TensorFlow Fold 支持动态图计算。动态图计算是 Tensorflow 第一次清晰地在设计理念上领先。 继续阅读

发表在 算法荟萃, 编程开发 | 标签为 , | 一条评论

广告和推荐系统部署机器学习模型的两种架构

      广告和推荐系统是机器学习是最成熟的应用领域。那么广告和推荐系统是怎么在线上部署机器学习模型的呢? 继续阅读

发表在 算法荟萃, 编程开发 | 2条评论

Akka 使用系列之二: 测试

      通过上一篇文章,我们已经大致了解怎么使用 Akka,期待细致用法。这篇文章将介绍如何用 Akka-testkit 对 Akka 程序进行测试。 继续阅读

发表在 编程开发 | 标签为 , , , | 2条评论

Akka 使用系列之一: 快速入门

      最近在看 Spark 相关的资料,准备整理一个 Spark 系列。Akka 是 Spark 实现内部通讯的组件,Spark 启动过程的第一步便是建立 Akka 的 ActorSystem。因此看了有几篇文章学习了下 Akka 相关知识。 继续阅读

发表在 编程开发 | 标签为 , | 3条评论

不平衡数据的数据处理方法

      在机器学习中,不平衡数据是常见场景。不平衡数据一般指正样本数量远远小于负样本数量。如果数据不平衡,那么分类器总是预测比例较大的类别,就能使得准确率达到很高的水平。比如正样本的比例为 1%,负样本的比例为 99%。这时候分类器不需要经过训练,直接预测所有样本为负样本,准确率能够达到 99%。经过训练的分类器反而可能没有办法达到99%。 继续阅读

发表在 算法荟萃 | 标签为 , | 一条评论

游戏智能系列之三:有限状态自动机

      游戏智能是很传统的领域,有限状态机和行为树是两种主要方法。 继续阅读

发表在 游戏人工智能, 算法荟萃 | 标签为 , | 一条评论