塔斯娱乐资讯网

一次理清LLM含义 Model(模型) 模型这个词听起来高深,其实我们天天都在用

一次理清LLM含义
Model(模型)
模型这个词听起来高深,其实我们天天都在用。
从最宽泛的角度说,模型就是对事物或规律的一种简化表示。用已知的信息总结出规律,再用它去理解新情况、做预测或做决策。例如:天气模型用历史数据预测明天的气温,经济模型用已有数据判断未来走势,都是这个思路。可以是一个算法、一个函数、一个程序等。
机器学习领域:它本质上就是一个函数。你给它一个输入,它返回一个输出,而这个函数不是人手写的规则,是通过大量数据自己"学"出来的。
Language Model(语言模型)
语言模型是模型在语言领域的具体应用。它做的事情听起来简单——对语言规律进行建模,根据已有的上下文,预测下一个可能出现的词(token)。
但就是这么一个"猜下一个词"的动作,撑起了今天所有大语言模型的能力。
Large Language Model(大语言模型)
大语言模型,就是"巨大"的语言模型。这个"大"不是修辞,是实打实的量化指标,体现在三个维度:
参数规模大 —— 10亿起步只是入场券,千亿参数已成为常态,万亿参数的模型也越来越多。
训练数据大 —— 互联网上能取到的所有文本,加上人类历史上积累的书籍、论文、代码,都喂给它学。
计算规模大 —— 训练这样一个模型,需要动用上千张甚至上万张显卡,运行时间可能长达上月。
正是这三个"大"叠加在一起,大语言模型才展现出远超小模型的理解能力和生成能力。人工智能