01. 智能的两大范式
长期以来，关于如何实现人工智能，存在两种截然不同的路径。直到最近，其中一种才占据了绝对主导地位。
符号主义 (Symbolic AI)
🏛️ 逻辑启发
- 认为智能的本质是推理。
- 通过符号表达式和规则来操纵知识。
- 优先考虑知识表示，认为“学习可以稍后再说”。
- 主导了 AI 早期历史。
连接主义 (Neural Networks)
🧠 生物启发
- 认为智能的本质是学习。
- 模拟大脑细胞网络的工作方式。
- 优先考虑学习机制，认为“推理可以稍后再说”。
- 早期支持者包括图灵和冯·诺依曼。现在已成为 AI 的代名词。
02. 神经网络的基石
现代 AI 的核心在于学习如何调整连接强度（权重）。实现这一目标的关键算法是反向传播（Backpropagation），它远比随机突变（进化）高效。
1. 前向传播 ➡️
输入数据通过网络层层传递，最终产生输出（如预测是猫还是狗）。
2. 误差计算 🎯
将网络的输出与正确答案进行比较，计算出误差。
3. 反向传播 ⬅️
将误差信号向后发送，利用微积分计算出每个连接权重应该如何调整以减少误差。
大语言模型的演进
1985年：祖先模型
Hinton 开发了一个微型模型来学习家族树关系。它证明了神经网络可以通过学习“特征向量”来捕捉词语的意义和关系，而不是死记硬背规则。
关键洞察：将符号转换为特征，让特征互动来预测下一个词。
2012年：AlexNet 与视觉革命
Alex Krizhevsky 和 Ilya Sutskever（Hinton的学生）开发的 AlexNet 在图像识别方面远超现有系统，开启了深度学习的洪流。
2017年至今：Transformer 与 LLMs
Google 发明了 Transformer 架构，极大地提升了模型预测下一个词的能力。这构成了 GPT-4、Claude 等现代 AI 的基础。
它们本质上与 1985 年的模型原理相同，但规模（万亿级参数）和复杂度大大增加。
03. 理解“理解”：乐高比喻
Hinton 反驳了“LLM 只是统计技巧，并不真正理解语言”的观点。他认为 LLM 的理解方式与人类非常相似，并提出了“乐高比喻”。
语言是一种建模媒介
词语是乐高积木
我们有大约 10 万种“积木”。每个词语代表高维空间中的一个大致形状（特征向量）。
形状是灵活的
词语的“形状”并不固定，它可以根据上下文进行调整（消歧）。
寻找“握手”
理解的过程就是调整这些形状，使它们能够很好地“握手”并组合在一起，形成一个连贯的结构（类似于蛋白质折叠）。
“这就是理解。这是比语言学家曾有过的任何模型都更好的语言模型。”