床长人工智能教程——权重和偏见
原标题：床长人工智能教程——权重和偏见
声明：本人只是分享一些床长的免费杂文而已，并非床长人工智能网校的收费文章。
神经元迅速学习了权重和偏见，从而降低了成本，并从神经元中获得了约 。这不是理想的输出，，但还不错。但是，假设我们选择同时选择起始权重和起始偏差。在这种情况下，初始输出为，这是非常严重的错误。让我们看一下神经元如何学习输出在这种情况下。再次单击“运行”：
尽管本示例使用相同的学习率（），我们可以看到学习开始的速度要慢得多。确实，对于前150个左右的学习时代，权重和偏见根本没有太大变化。然后开始学习，就像在我们的第一个示例中一样，神经元的输出迅速移近。
与人类学习相比，这种行为很奇怪。正如我在本节开始时所说的那样，当我们在某些方面犯了严重错误时，我们通常会学习最快。但是，我们刚刚发现，当我们的人工神经元出现严重错误时，学习起来会遇到很多困难，这远比只有一点点错误时要困难得多。而且，事实证明，这种行为不仅发生在这种玩具模型中，而且发生在更广泛的网络中。为什么学习这么慢？我们是否可以找到避免这种放缓的方法？
要了解问题的根源，请考虑我们的神经元通过以权重函数的偏导数确定的比率改变权重和偏差来学习， 和 。因此，说“学习缓慢”与说那些偏导数很小是一样的。挑战在于了解为什么它们很小。为了理解这一点，让我们计算偏导数。回想一下，我们使用的是二次成本函数，该函数根据等式（6）给出：
哪里 是训练输入时神经元的输出 被使用，并且 是相应的所需输出。要在权重和偏见方面更明确地写出来，请记住，在哪里 。使用链式规则来区分权重和偏差，我们得到
从该图我们可以看到，当神经元的输出接近 ，曲线变得非常平坦，所以 变得很小。等式（55）和（56）告诉我们 和 变得很小。这是学习减慢的根源。而且，正如我们稍后会看到的那样，学习减慢的发生原因基本上是在更通用的神经网络中的相同原因，而不仅仅是我们一直在玩的玩具示例。
我们如何解决学习放缓的问题？事实证明，我们可以通过用不同的成本函数（称为交叉熵）代替二次成本来解决问题。要了解交叉熵，让我们远离我们的超简单玩具模型。相反，我们假设我们正在尝试使用多个输入变量来训练神经元，，相应的权重 和偏见， ：
神经元的输出当然是
，在哪里
是输入的加权总和。我们通过以下方式定义该神经元的交叉熵代价函数
哪里 是训练数据项的总数，总和是所有训练输入的总和， 和 是相应的所需输出。
表达式（57） 不能解决学习速度下降的问题并不明显。实际上，坦率地说，称其为成本函数甚至不是很明显！在解决学习速度下降之前，让我们看一下交叉熵可以在什么意义上解释为成本函数。
特别是有两个属性，可以合理地将交叉熵解释为成本函数。首先，它是非负的，即。要看到这一点，请声明意：（a）（57）的总和中的所有单个项均为负，因为两个对数均为范围内的数字 至 ; （b）总和的前面有减号。
责任编辑：
相关知识
床长人工智能教程——权重和偏见
床长人工智能教程——学习率
床长人工智能教程——softmax层
床长人工智能教程——神经网络体系
床长人工智能教程免费pdf文档50——移位操作
床长人工智能教程免费pdf文档50——break声明
谷歌前总裁承认曾对中国有偏见，现在想法变了
有意思的《分析哲学专题教程》
更学教育：网店的权重体现在哪几个方面？
年宵花教程……
网址: 床长人工智能教程——权重和偏见 http://m.shhpp.com/newsview8055.html
