[翻译] Deep Reinforcement Learning: Pong from Pixels

最近心情很浮躁,看不进去英文材料。看一两行就会走神,只能约束自己把看到的东西都逐一记述才能沉静下来。 再者,最近在看GAN相关的内容。用GAN去做Discrete的序列生成任务不能直接使用Gradient Descent。原因可能由于离散的数据对梯度修正没有意义,例如图像可以在像素值上加一个梯度的修正,但是对于文本来说,一个词的表示向量上即便加上这个梯度修正,也对原来值没有太大的影响。 而替代方法就是基于深度强化学习(Deep Reinforcement Learning)的Policy Gradient算法。Karpathy的这篇文章是对PG算法的很好的总结和教程。 其实在这篇文章发布之后,也是有一些翻译的版本在国内的各大网站上流传。但是这篇文章其实后续更新过很多次,似乎并没有找到最新版的翻译。 刚好出于研究目的,要精读这篇文章。那么索性就把这篇文章翻译了,顺便能规诫自己认真读下去。 下面就是正文了。限于译者水平,肯定会有不少翻译甚至是理解上的错误,请多包涵,望多交流。

[翻译] WILDML RNN系列教程 第三部分 BPTT算法和梯度扩散

翻译自WILDML博客文章: Recurrent Neural Networks Tutorial, Part 3 - Backpropagation Through Time and Vanishing Gradients 这份教程是比较通俗易懂的RNN教程,从基本知识到RNN的实现,再到GRU/LSTM等变种均有详述。但是原帖中由于渲染的问题,很多LaTeX的公式都显示不了。本文初衷是为了归档这个系列的教程,并解决公式显示的问题。而后索性将其译为中文,方便以后重新回顾。 笔者才疏学浅,翻译过程中难免有误,请见谅,亦烦请勘误。 文中部分术语会按照笔者所认为之惯用词语进行翻译,英文原词亦包括其中,以供参考。 在之前的教程中,我们从无到有实现了一个RNN,

[翻译] WILDML RNN系列教程 第二部分 使用Python,NumPy,Theano实现一个RNN

翻译自WILDML博客文章: Recurrent Neural Networks Tutorial, Part 2 - Implementing a RNN with Python, NumPy and Theano 这份教程是比较通俗易懂的RNN教程,从基本知识到RNN的实现,再到GRU/LSTM等变种均有详述。但是原帖中由于渲染的问题,很多LaTeX的公式都显示不了。本文初衷是为了归档这个系列的教程,并解决公式显示的问题。而后索性将其译为中文,方便以后重新回顾。 笔者才疏学浅,翻译过程中难免有误,请见谅,亦烦请勘误。 文中部分术语会按照笔者所认为之惯用词语进行翻译,英文原词亦包括其中,以供参考。

[翻译] WILDML RNN系列教程 第一部分 RNN简介

翻译自WILDML博客文章: Recurrent Neural Networks Tutorial, Part 1 - Introduction to RNNs 这份教程是比较通俗易懂的RNN教程,从基本知识到RNN的实现,再到GRU/LSTM等变种均有详述。但是原帖中由于渲染的问题,很多LaTeX的公式都显示不了。本文初衷是为了归档这个系列的教程,并解决公式显示的问题。而后索性将其译为中文,方便以后重新回顾。 笔者才疏学浅,翻译过程中难免有误,请见谅,亦烦请勘误。 文中部分术语会按照笔者所认为之惯用词语进行翻译,英文原词亦包括其中,以供参考。 Recurrent Neural Networks (RNNs) 是一类比较流行的模型,