据人工智能新闻网站The Decoder报道,Meta可能正在酝酿开发一款比GPT-4更为强大的AI大型模型,名为Llama 3,并计划将其保持开源免费。
报道中提到,这一消息来自于OpenAI的工程师,曾任Google Brain工程师的Jason Wei,在参加Meta旗下Generative AI Group社交活动时获得的线报。
Jason Wei注意到,Meta现在已经具备足够的计算能力来进行Llama 3和4的训练。他透露,Llama 3的目标是达到GPT-4的性能水平,但仍将免费提供给用户。然而,目前Meta尚未正式宣布Llama 3的发布计划。尽管消息来源可靠,但也不能排除其中可能存在误差的可能性。
值得一提的是,从2023年2月下旬发布Llama 1到2023年7月下旬发布Llama 2,Meta共花费了大约五个月的时间。GPT-4采用了更为复杂的混合架构,具有16个专家网络,每个网络拥有约1110亿个参数,这或许是其高性能的秘诀。因此,从Llama 2升级到Llama 3可能需要更多挑战性的工作,可能会比从Llama 1跃升到Llama 2所需的时间更长。
值得关注的是,Llama 2在某些应用领域已经达到了GPT-3.5的水平,并且正在由开源社区不断进行微调和功能扩展。例如,最近发布的Code Llama就是基于Llama 2,通过微调已经在HumanEval编码基准中达到了GPT-3.5和GPT-4级别的成绩(具体效果取决于测量类型)。然而,Meta在其论文中指出,尽管如此,Llama 2与GPT-4和Google的PaLM-2等封闭源模型仍存在较大的性能差距。因此,Llama 3是否能够超越GPT-4,仍有待观察。