深度学习是机器学习的一部分。它使用一个有很多层的神经网络。“深度”的意思是网络有很多层。这种技术主要是解决了特征提取的问题。例如,在水文领域中,工程师要预测次日河流流量,他有的数据是连续多天的原始观测序列(流量、降雨、温度的时间序列)。在没有发明深度学习前,必须依赖工程师在水文领域的知识,实施特征工程,人工构造更有物理意义的输入,比如:
然后,再选用SVM、随机森林、浅层BP网络等模型,人工特征去拟合次日流量。换而言之,模型本身不“理解”水文。它只是在你设计好的特征上做数学拟合。如果工程师没想到“降雨滞后效应”,模型就永远学不到这个规律。人的领域知识决定了模型的上限。然而,在引入深度学习技术以后,工程师可以直接把连续多天的原始观测序列(流量、降雨、温度的时间序列)输入一个 LSTM 或 Transformer 网络。网络在训练中自动学到:
工程师不需要手工写“降雨滞后3天权重0.7”这种规则。网络从大量数据里自己发现这些规律。人的角色从“设计特征”变成了“设计网络结构+准备大量数据”。领域知识仍然有用(比如选LSTM而不是普通全连接),但不再需要逐条手工构造特征。