Plain-language definition
一句话定义
模型内部那些「可调节的旋钮」,模型训练的过程就是不断调整这些旋钮,让它输出更准。
Original definition
英文原文定义
Parameters are the internal variables of a model (e.g., weights and biases in a neural network) learned from data during training.
Two levels
分难度讲解
入门版
把模型想象成一台有几十亿个旋钮的机器。训练就是根据结果不断调这些旋钮,调到输出最准为止。
进阶版
神经网络参数包括权重 W 与偏置 b,是模型在训练中通过梯度下降优化的可学习量。注意区别于超参数(hyperparameter,如学习率,人工设定)。
Real-world example
真实例子
GPT-3 有 1750 亿参数;Llama 3 70B 有 700 亿参数。参数量常被简写为 7B、70B、405B 等。
Keep exploring