专家系统时代最成功的例子是DEC的专家配置系统XCON。DEC在个人电脑时代到来之前非常受欢迎，他们用小型计算机与IBM竞争。
到2016年，维基百科的文章数量达到了1000万篇，其中英文版有500万篇。而Freebase则有4000万个实体。Freebase背后是一家名为Metaweb的创业公司，创始人之一是希利斯（Danny Hillis）。2010年，Metaweb被谷歌收购，谷歌为它起了一个响亮的名字——“知识图谱”。

1982年，那时在加州理工学院担任生物物理教授的霍普菲尔德，提出了一种新的神经网络，可以解决一大类模式识别问题，还可以给出一类组合优化问题的近似解。这种神经网络模型后来被称为霍普菲尔德网络。
在20世纪80年代，神经网络的光辉被后来的互联网发展所掩盖。然而，近年来，互联网产生的大量数据为神经网络提供了新的机会。辛顿是深度学习的先驱之一，他和他的学生在2006年发表了两篇重要的文章，开启了这个新领域。其中一篇发表在《科学》杂志上，提出了降维和逐层预训练的方法，使得深度网络的实际应用成为可能。深度神经网络最后几层的每个节点都可以对应某些概念，这被认为是神经网络的一大进步，似乎为“吃啥补啥”提供了科学依据，也缓解了与“符号派”之间的矛盾。不过，符号派是否认可这个观点则是另一回事。
深度学习的实际效果非常好。辛顿一直使用深度信任网络进行图像识别。在2012年举行的国际图像识别大赛ILSVRC（ImageNet Large Scale Visual Recognition Challenge）上，辛顿的团队SuperVision以绝对领先的成绩击败了众多竞争对手，获得了第一名。比赛使用了1000万张图像进行训练，并用15万张图像进行测试，目标是识别这些图像是动物、花还是船等。在2012年之前，普遍的错误率为26%。而SuperVision首次参赛时将错误率控制在了15%以下，取得了超过10%的显著优势。

自然语言理解（Natural Language Understanding, NLU）是人工智能的一个重要领域，旨在使计算机能够理解和处理人类语言。它涉及将自然语言转化为机器可理解的形式，以便进行进一步的分析和响应。
自然语言理解的起源可以追溯到20世纪60年代，当时的研究主要集中在简单的语法分析和规则基础的系统上。随着计算能力的提升和数据量的增加，研究者们逐渐转向统计方法和机器学习技术。1990年代，隐马尔可夫模型和条件随机场等方法开始流行，为语言处理提供了新的思路。
进入21世纪，深度学习的兴起彻底改变了自然语言理解的格局。2013年，谷歌推出的Word2Vec模型使得词语的向量表示成为可能，极大地提升了语义理解的能力。随后，像BERT和GPT这样的预训练模型相继问世，推动了自然语言处理的进步。这些模型通过大规模数据训练，能够捕捉语言的复杂性和上下文关系，使得机器在理解和生成自然语言方面取得了显著的突破。
如今，自然语言理解已广泛应用于智能助手、翻译系统和情感分析等领域，成为人工智能的重要组成部分。

大语言模型（Large Language Model, LLM）是基于深度学习技术构建的自然语言处理模型，能够生成和理解人类语言。它们通常由数十亿到数万亿个参数组成，具备强大的语言生成和理解能力。
大语言模型的核心技术是基于变换器（Transformer）架构，这种架构在2017年由谷歌提出，能够有效处理序列数据，捕捉长距离的上下文关系。通过在海量文本数据上进行预训练，模型学习到语言的结构、语法和语义信息。
大语言模型的应用范围非常广泛，包括文本生成、对话系统、翻译、问答系统等。例如，OpenAI的GPT系列和谷歌的BERT模型都是著名的大语言模型。它们不仅能生成流畅的文本，还能理解复杂的指令和上下文，从而提供准确的响应。
尽管大语言模型在许多任务上表现出色，但也面临一些挑战，如生成不准确的信息、缺乏常识推理能力以及潜在的偏见问题。因此，研究者们正在不断探索改进模型的技术，以提升其可靠性和安全性。