在人工智能领域,训练大型模型的成本一直是一个难题。然而,北京智源人工智能研究院和中国科学院计算技术研究所等机构的一项研究打破了这一现状。他们仅用10万美元的预算,就训练出了一个拥有1010亿参数量的全新千亿参数大模型——FLM。
这个模型的训练成本远低于市场上的其他模型。例如,GPT-3的训练成本高达460万美元,而Llama2的训练成本也大约在这个数。然而,FLM只用了2.17%的花销,就达到了与GPT-3相媲美的效果。这一成果无疑为人工智能领域的研究开辟了新的道路。
FLM的成功开发得益于研究团队的新型训练策略。他们不仅成功地降低了训练成本,还提高了模型的性能。这一成果已经开源,引起了开发社区的广泛关注。
北京智源人工智能研究院和中国科学院计算技术研究所等机构的这项研究展示了他们在人工智能领域的深厚实力和创新能力。他们的成功为其他研究机构提供了宝贵的经验,也为人工智能的发展开辟了新的可能性。