一文彻底搞懂深度学习 - 超参数（Hyperparameter）

文章预览

超参数（Hyperparameter），是深度学习算法中的调优参数，用于控制模型的学习过程和结构。 与模型参数（Model Parameter）不同，模型参数是在训练过程中通过数据学习得到的，而超参数是在训练之前由开发者或实践者直接设定的，并且在训练过程中保持不变。 Hyperparameter 一、模型参数 模型参数（ Model Parameter ）是什么？ 模型实际上是一个复杂的函数，由参数和变量组成。 数据是变量，而参数则是通过训练数据学到的常量。 在神经网络中，模型参数包括每一层的权重（Weight）和偏置项（Bias）。 这些参数在训练过程中通过反向传播算法进行调整，以最小化损失函数。 神经网络模型参数的数量和复杂性随着网络层数和每层的神经元数量的增加而增加。 在特定的神经网络模型中，还有其他类型的参数： 卷积核（Filter/Kernels） ：在卷积神经网络（CNN）中 ………………………………