大型语言模型（Large language models，LLMs），如 OpenAI 的 ChatGPT 等，是过去几年中开发出来的深度神经网络模型。它们为自然语言处理（natural language processing，NLP）开启了一个新的时代。在 LLMs 出现之前，传统方法擅长于像电子邮件垃圾信息分类和简单的模式识别这样的分类任务，这些任务可以通过手工编写的规则或更简单的模型来捕捉。然而，对于那些需要复杂理解和生成能力的语言任务，比如解析详细指令、进行上下文分析以及创建连贯且上下文适当的原创文本，传统方法通常表现不佳。例如，上一代语言模型无法根据关键词列表撰写电子邮件——而这对当代的 LLMs 来说是一项轻松的任务。
LLMs 具有理解、生成和解读人类语言的卓越能力。然而，重要的是要澄清，当我们说语言模型“理解”时，我们的意思是它们能够以看起来连贯且上下文相关的方式处理和生成文本，并不是指它们拥有类似人类的意识或理解能力。
得益于深度学习的进步，它是机器学习和人工智能（AI）中专注于神经网络的一个子集，LLMs 在海量文本数据上进行训练。这种大规模训练使得 LLMs 相比以前的方法能够捕捉到更深层次的上下文信息和人类语言的微妙之处。因此，LLMs 在包括文本翻译、情感分析、问答在内的广泛 NLP 任务中的性能得到了显著提升。
现代 LLMs 与早期 NLP 模型之间的另一个重要区别是，早期的 NLP 模型通常是为特定任务设计的，比如文本分类、语言翻译等。尽管那些早期的 NLP 模型在其狭窄的应用领域表现出色，但 LLMs 展示了跨一系列 NLP 任务的更广泛的熟练程度。
LLMs 背后的成功可以归因于许多 LLMs 所基于的 transformer 架构以及用于训练 LLMs 的巨大数据量，这使它们能够捕捉到各种语言细微差别、上下文和模式，这些如果手动编码将极具挑战性。
向基于 transformer 架构实施模型和使用大型训练数据集训练 LLMs 的转变，从根本上改变了自然语言处理，提供了更强大的工具来理解和与人类语言互动。
