在AI的领域中,当我们提到“XXB”(例如6B、34B)这样的术语时,它通常指的是模型的参数量,其中“B”代表“Billion”,即“十亿”。因此,6B表示模型有6十亿(即6亿)个参数,而34B表示模型有34十亿(即34亿)个参数。
英文和中文的量词不一样,中文的量词更加细化,个十百千万十万百万千万亿都有。
但是英文没有万这个单独的量词,一万用10个一千来表示,一千万用10个百万来表示,以此类推。
不同的参数量比较难以理解,其实我们可以用人工智能模型中的参数量与生物的神经元数量进行粗略的对比。
就比如拿人类和虫子的神经元数量相比,人类的远远多于虫子,我们的观察结果也比较匹配,那就是人类的智慧在现行的评价体系中远高于虫子。
同样是哺乳类生物,人的神经元也高于狗,最聪明的狗也不过是人类小孩的智力程度。
而大象的神经元相对就多,因此大象的智力就要比狗要强一些。
有这么一个粗略的对比方式,我们也可以类比大模型的参数量。
一般来说参数量超过1B,也就是10亿的模型才叫大模型(Large Lanauage Model),我们就当大模型是哺乳动物的族群。
一般来说别的条件一样的情况下,参数量(神经元数量)越大,这个模型(生物)的智能程度越高。
比如说OpenAI的GPT系列,从GPT-1到现在的GPT-4,已经过去了五代了,智能程度可以说是从GPT-3爆发的,现在的GPT4更是现如今当之无愧的最强大模型。
你来观察它的参数量,GPT1是117M,也就是1.17亿;GPT2是15亿,相比前一代多了10几倍。
因为参数量大就意味着大模型训练和推理的时间变慢,也意味着需要更多的显卡和电力花费。
不过计算GPT4有万亿的参数量,但是跟人脑相比还是小儿科。作为对比,人脑有不到1000亿个神经元,每个神经元平均有1000个连接,估计人脑有100万亿个参数。现在GPT-4已经达到了人脑1%的参数水平了。
还是之前说的,单纯的参数量并不能直接作为智能程度的判断,但是可以作为很重要的参考条件之一。
但是现在也有研究表明,小规模参数量的模型也可以媲美一些大模型,比如微软选择了一条不同的道路,专注于开发规模较小、开源的语言模型,如phi系列和Wizard系列。这一策略的最新成果是phi-2模型的发布——一个拥有27亿参数的开源模型,其性能令人惊叹地与拥有25倍参数规模的llama-2 70B相媲美。