OpenAI CEO Altman：大语言模型不是“越大越好”

毫无疑问，ChatGPT依赖的是迄今为止最复杂的大语言模型（LLM），但在OpenAI掌门人看来，LLM并非越大越好。

当地时间4月13日，OpenAI联合创始人兼首席执行官Sam Altman在麻省理工学院的“想象力在行动”活动上接受了媒体的采访。

他认为我们正为了大小而逐渐接近LLM的极限。Altman说:

我认为，我们已经走到了这个时代的尽头，我们将以其他方式把这些巨型模型做得更好。

Altman认为，大小并非衡量一个模型质量的正确方式，他还把LLM与芯片的发展速度进行了比较。

我认为人们过于关注参数数量，也许参数数量肯定会增加。但是，这让我想起了上世纪90年代和2000年代的千兆赫芯片竞赛，当时每家公司都追求大参数。

正如他指出的那样，如今有些手机上运行着功能更强大的芯片，但用户大多数时候并不知道它们的速度有多快，只知道它们能很好地完成工作。

Altman认为，未来模型参数应该向更小的方向发展，或者以多个小模型协作的方式工作。

我认为，重要的是，我们将重点放在迅速提高（模型）能力上。
如果可以的话，参数数量应该随着时间的推移而减少，或者我们应该让多个模型一起工作，每个模型都更小，我们就会这样做。
我们希望向世界提供的是最强大、最实用、最安全的模型。当然，我们并不是要忽略参数数量。

Altman还说：

我们已经为此努力了很长时间，但我们的信心正逐渐增强，相信它真的会奏效。
我们建立这家公司已经七年了。这些事情需要很长、很长的时间。总的来说，我想说的是为什么别人没有成功的时候它却成功了: 这只是因为我们已经在研究每一个细节很长一段时间了。而大多数人不愿意这么做。