反向传播

为了方便打字, 本篇文章使用英文标点, 并遵循英文的空格添加法则. 反向传播 复合函数的求导遵循链式法则, 如果仅仅是这样一个数学结论, 反向传播还远远不能称为一个算法. 它实际上利用了计算图, 通过前向遍历计算图, 程序可以从输入得到输出; 反向遍历计算图, 程序可以得到一个输出对一个输入的导数 (见下). 梯度下降 我认为首先需要在这里提及梯度下降, 以及参数更新的方式. 对于梯度下降, 一般