【读论文】Exploiting Web Search to Generate Synonyms for Entities

最近在看Synonym Entity相关的内容。 这篇文章是2009年在WWW上发表的关于同义实体的文章,属于这个task非常早期的文章(没有找到更早的),所以精读了一下。 这篇博客文章记录了这篇paper的核心思想和我阅读时的感悟。 这篇文章主要研究的是在entity extr »

ACL 2017 录用论文整理(长文)

https://chairs-blog.acl2017.org/2017/04/05/accepted-papers-and-demonstrations/ 论文集现在还不能直接下载到(好像在这里是能下载的),本文将会陆续搜集录用论文的下载地址。同时部分文章会精读、写一些笔记。下 »

GAN、Policy Gradient、Sequence Generation和SeqGAN

最近看了台湾大学李宏毅老师关于深度学习的系列教程(Machine Learning and Having It Deep and Structured),收获颇多。教程主要介绍了深度学习的基本知识,并且介绍了大量比较新的技术,例如Seq2Seq、Attention、Generat »

再读WGAN

最近看了台湾大学李宏毅老师关于深度学习的系列教程(Machine Learning and Having It Deep and Structured),收获颇多。教程主要介绍了深度学习的基本知识,并且介绍了大量比较新的技术,例如Seq2Seq、Attention、Generat »

再读GAN

最近看了台湾大学李宏毅老师关于深度学习的系列教程(Machine Learning and Having It Deep and Structured),收获颇多。教程主要介绍了深度学习的基本知识,并且介绍了大量比较新的技术,例如Seq2Seq、Attention、Generat »

[翻译] Deep Reinforcement Learning: Pong from Pixels

最近心情很浮躁,看不进去英文材料。看一两行就会走神,只能约束自己把看到的东西都逐一记述才能沉静下来。 再者,最近在看GAN相关的内容。用GAN去做Discrete的序列生成任务不能直接使用Gradient Descent。原因可能由于离散的数据对梯度修正没有意义,例如图像可以在像 »

L2正则项与早停止(Early Stop)之间的数学联系

最近在看Goodfellow和Bengio等人的大作《Deep Learning》(以下简称DL Book)。 这本书从数学本质分析了很多我们认为“理所应当”、甚至是认为“很工程”的算法。 这篇文章主要就是介绍Early Stop这个算法和\(L^2\)正则项之间的联系。早停止算 »

[读论文] Generative Adversarial Nets

Generative Adversarial Networks Goodfellow, Ij; Pouget-Abadie, J; Mirza, Mehdi arXiv:1406.2661v1 [2014] Intro 这篇文章是最初介绍GAN的文章。GAN描述了一种生成式对 »

[研究笔记]由RNN的Discrepancy现象联想到深度学习与GAN

研究笔记属于个人备忘所用,词不达意,文不成章。大多数内容都是灵机一动的脑子里的幻听而已。内容或许随着作者的认知、成长和对事物的理解逐步淘汰,并可能因为作者知识体系和见解的浅薄暴露出很多的错误。所以不要太当真。 2017年02月07日的研究笔记 Discrepanc »

TensorFlow与显存

开始学习用TensorFlow,这东西与Theano不同,默认情况下, 在开启一个Session后,几乎占用显卡的所有显存。如果同一个机器、显卡多个人使用,基本上就是先到先得,后来的程序会崩溃。查了下文档有两种方法控制显存: 第一种是设置成预加载比例: tf_config = t »

[Snippet]Python SVD

a = numpy.asarray([[1,2,3],[4,5,6],[7,8,9]]) U,S,VT = numpy.linalg.svd(a) print U.dot(numpy.diag(S)).dot(VT) S[2] = 0 print U.dot(nu »