说白了,这玩意就是=算法+数据+算力+时间。
3TB数据,1万张A100显卡,跑一次训练9-12个小时。试问,国内哪个公司愿意和有实力投入?产出和收益目前是不成正比的。
微软背后扶持OpenAI,昨天在BING搜索和Edge中加入ChatGPT的应用,瞄准的就是谷歌的搜索市场。
对标谷歌。谷歌昨晚的Bard AI发布会,导致股价大跌,匆忙上线跌了大跟头。
从算法上来说,这次OpenAI赢了,LLM赢了,比起谷歌的BERT双向模型,更容易调教。
虽然ChatGPT的数据是2021年的,但是不妨碍最近的微调,特别是对文字描述数学题的算法。
反观国内,拥有海量数据的,百度吧。之前的文心,用起来比GPT-3还是差了点,关键是训练和数据。最近3月份要出的文心一言,让我们拭目以待。
国内,努力吧。至于X仑万维发布的啥开源搞个模型对标ChatGPT,我觉得就是为了抬升股价。
|