同济校长郑庆华院士：大模型的四大缺陷

郑庆华认为，大模型已经成为当前人工智能的巅峰，大模型之所以强，是依托了大数据、大算力和强算法，但是也面临着若干缺陷。

郑庆华总结了大模型存在的四大固有缺陷。

缺陷一是过度消耗数据和算力。大模型的参数量已达到万亿级别，训练数据规模和算力消耗与参数规模成正比。

缺陷二是灾难性遗忘。在新任务上训练会损害之前任务的性能；在问题求解阶段，无法记住处理过的数据或场景，比如在无人驾驶中，人脑对路况有记忆，但自动驾驶每次都要重新计算，并为此消耗了大量能量。

缺陷三是黑盒模型逻辑推理能力弱，大模型缺乏“分而治之”能力，在处理需要逻辑、数值推理等复杂问题时表现不佳，无法举一反三、触类旁通。

缺陷四是大模型不知道自己错了，也不知道为啥错，更做不到知错就改。以GPT4求解算术运算题的实例为例，对于在1381和1453之间选两个随机数相乘的结果给出了错误答案，被指出错误后，无法定位是语料，还是训练等原因，更无从修正。

扫描二维码添加小助手微信