这篇文章揭示了OpenAI的GPT-4的内部细节，包括其架构、训练和推理的基础设施、参数量、训练数据集、token数、成本等。GPT-4的规模是GPT-3的10倍以上，拥有1.8万亿参数。OpenAI使用了混合专家模型（Mixture of Experts，MoE）来构建GPT-4，以保持合理的成本。文章还提到，OpenAI训练GPT-4的FLOPS约为2.15e25，在大约25000个A100上训练了90到100天，利用率在32%到36%之间。训练成本大约是6300万美元。
此外，文章指出，OpenAI之所以不开源，不是为了确保人类不被AI毁灭，而是因为他们构建的东西是可复制的。预计未来所有中国和美国的互联网大厂或者AI头部初创企业，都会有能力构建出和GPT-4一样，甚至是超过GPT-4的模型。但是，GPT-4是OpenAI的伟大杰作，它凝结了工程师的匠心设计，复杂的构架和各种巧妙的工程上的取舍。
以上内容由ChatGPT总结。
文章来自新智元，阅读原文：https://mp.weixin.qq.com/s/iqvdcnwl4pR4jDXn57Yg8Q
声明：学AI网所有文章，如无特殊说明或标注，均为本站作者原创发布。任何个人或组织，在未征得作者同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若此作者内容侵犯了原著者的合法权益，可联系客服或提交工单进行处理。学AI网内用户所发表的所有内容及言论仅代表其本人，并不反映任何学AI网之意见及观点。
