文章来自”实测快手“AI玩评”功能，以后AI也要来抢热评了 (chinaz.com)

以后，AI也要来抢热评了。

继8月推出“文生文”大语言模型“快意”（KwaiYii）后，快手又在“文生图”赛道推出了自研大模型“可图”(Kolors)。

据了解，从8月下旬开始，快手AI团队就已在公司内部开启了可图大模型的内测，并支持网页版工具和标准化API两种使用方式。

依托可图大模型，快手开始在短视频评论区内测“AI玩评”功能，这是继“AI对话”之后，快手在短视频场景内落地的又一AIGC能力。

用户只需要输入6个字及以上的文字评论，点击评论框右下角的「AI」标识，即可一键生成评论配图，点击“🪄换换看”则可以切换更多风格。

“头号AI玩家”有幸get了“AI玩评”的内测资格，速度给各位玩家带来一波测评，并借此对AIGC+社交媒体的玩法做个探讨。

AI玩评，怎么玩?

快手AI团队表示，通过“AI玩评”功能，用户可以更精准、更有趣地表达自己的观点和情感，更便捷地在评论区进行趣味互动，不用再去找合适的图片或表情包，而是可以直接生成一张。

不过，如果是缺乏实质性内容的评论，“AI玩评”就无能为力了。

我们先挑几条比较热门的玩梗性评论，来看看它的生成效果。

当有人深夜“放毒”，屏幕前准备睡觉的你看着让人垂涎欲滴的美食，忍不住评论道:

可以看出，AI抓取了“吃”、“引爆”、“地球”三个信息点，生成了6种不同风格的图片。不能说是毫不相关，但无论哪一张都不能准确反映我的真实精神状态。

点击右上角的“🪄换换看”，可以解锁更多风格，包括宫崎骏、写实动漫、国风、大友克洋等等。每条评论只能选择一张AI配图发送，选择完毕后，可以修改文字评论的内容。

在秀恩爱视频的评论区，我们很容易找到一类人，他们人间清醒，不相信爱情，“你是信这玩意儿还是信我是秦始皇 / 武则天”是他们的经典语录。

果不其然，AI生成了不同风格的“秦始皇”画像。

再来试试之前全网爆火的“命运的齿轮开始转动”:

看来带有具体关键词的语义分析难不倒它，我们来一波抽象的。

对于猫猫教 / 狗狗教忠实信徒们来说，平时刷到可爱的猫猫狗狗视频，心都要被萌化了，不知道AI能不能get到。

这很难评，不过可以看出它对“萌”的理解是小动物、玩偶🧸和儿童。卡通漫画、随机探索和写实动漫风格生成的结果，姑且可以作为可爱风表情包，水彩风则呈现了“心融化”的概念。

再来试几句古诗词，看看它对诗中意境的理解与还原能力如何。

高耸入云的中国古代宫殿，叠加地球、行星的太空图景，古风与魔幻交织，总体还不错，看得出在试图还原“天上宫阙”的概念。

草地、山峰、春樱，与诗中描绘的景象出入不大，因为是春天，所以整体色调较为明朗。

AI玩评，可玩性有多高?

不知从何时起，“先看评论区”“我是来看评论的”成为越来越多网友的习惯和共识。

由于评论区金句频出，有时甚至比内容本身还精彩，很多网友都习惯先看评论区，把排在前面的几条热门评论翻阅一遍，再回过头来看内容本身。

而“AI玩评”作为短视频场景下首个将AIGC能力嵌入评论区的功能，最初也是让“头号AI玩家”眼前一亮，但一番实测下来，我们发现至少目前为止，这个功能的可玩性还有待挖掘。

常规的评论模式往往是点评内容、补充信息和玩梗，文字评论本身就已经表达得很清楚了，配图也多是表情包或事实性信息，“AI玩评”并不是一个必要选项。

如果非要用AI给一些插科打诨、碰撞观点的内容配图，反而显得有些画蛇添足。

而且，评论配图讲究一个弥补纯文字传播的语境缺失，图片好不好看并不是第一位，关键是符不符合评论者想要表达的语境。这就对AI的语义分析、情感分析能力，以及画技提出了不低的要求。然而，目前“AI玩评”在这些方面的能力仍有待进一步提高。

因此，与其说“AI玩评”的作用是提供评论配图的便利，不如说是提供了一个简单快捷的AI绘画工具入口，让普通大众体验到AI绘画的乐趣。

当然，如果有人生成了比较优质、有趣的图，也可能会激发互动和玩梗传播，一定程度上可以丰富平台内容生态和用户互动体验。

不过，值得注意的是，“AI玩评”生成的图片在版权归属方面尚不明晰。

在“AI玩评”功能的使用须知中，有一条提到，当用户上传肖像类的内容进行AI玩评创作时，系统会分析所上传素材的面部特征点以进行肖像处理。但目前的“AI玩评”功能并不支持用户自主上传照片，我们猜测，未来快手可能会推出基于可图大模型的独立AI绘画产品。

此外，同期开放测试的“淘宝问问AI助手”在用户须知中表示，为改进淘宝问问服务，并支持技术应用持续创新，将对用户在使用淘宝问问过程中输入、输出及其他生成信息进行去标识化处理后再用于模型及算法训练。

AIGC+社交媒体，有哪些玩法?

除了在评论区调用AI绘画工具，为评论生成相应的图片之外，AIGC+社交媒体还能怎么玩?

这就不得不提前段时间流行的一种“赛博召唤术”。

不久前，B站出现了一些“AI视频总结小助手”账号，网友可以通过@这些账号，让它们扮演“课代表”和“省流助手”，总结视频内容。

8月31日，B站顶流知识区博主“毕导THU”发布了一条题为《数学的诡异漏洞》的视频，时间长达34分钟，就在其发布仅几分钟后，“AI视频小助理”就极其详细地列出了该视频的内容框架，精细度和逻辑严密度令人咋舌。

而且，AI不仅能作为辅助工具，还能直接生成评论内容。

之前有科技博主自制过一个能自动生成评论的水军AI，根据视频标题，AI就能生成一连串相关评论。

虽然有些评论的思路过于跳脱，但整体效果还算逼真，AI能从多个不同的角度给出评论。

在社交媒体场景下，生成式AI或许还可以用于创建虚拟人物或虚拟助手，使社交媒体用户能够与这些虚拟实体进行更加真实和个性化的互动。这些虚拟实体还可以根据用户的兴趣和需求提供定制化的建议、回答问题、提供娱乐等。

相比于将AIGC能力应用到用户内容生产和分发上，无论是快手的AI对话、AI玩评，还是B站的AI视频总结助手、AI水军、AI智能体，都体现了AIGC在用户互动和社交模式的创新应用。

未来，如果“AI玩评”能够更加准确地理解评论的语意，将模糊的形容词演绎得更加生动，应该能够发挥更大实用价值和创造空间。

• 在第一阶段，生成式AI以基础模型为中心，出现了一系列新技术演示应用。在第二阶段，生成式AI将更加注重全面解决方案，引入新的编辑界面和多模态性。

  市场格局也发生了变化，已经从模型模态转向使用案例，应用日益多模态。生成式AI已成为流行文化现象，第一个杀手级应用已出现，开发者至关重要，形态在发展，伦理和版权问题引发关注。

  尽管有需求和使用案例，生成式AI市场仍需解决如何证明其价值的问题。第二阶段的分析重点在于模型开发栈的进步和新兴产品蓝图。

  以下是生成式AI第二阶段的一些关键趋势：

  • 更加注重解决人类问题：生成式AI将不再仅仅是一个技术演示，而是将被用于解决实际问题。
  • 更加注重全面解决方案：生成式AI将不再是一个独立的工具，而是将被整合到更大的解决方案中。
  • 更加注重多模态性：生成式AI将不再局限于单一模态，而是将支持多种模态的输出。

  生成式AI是一项具有巨大潜力的技术，第二阶段的到来将推动其在更多领域的应用。

去年的今日，红杉美国官网发表了一篇题为《Generative AI: A Creative New World》的文章，我个人认为当时的那篇文章代表着新一轮Paradigm shift（范式转移）的开始，拉开了AIGC时代的序幕。原文作者是红杉的两位合伙人：Sonya Huang和Pat Grady，当时我也在第一时间翻译了那篇文章，并且在国内广为流传。那篇文章也可以说是开启了我自己的AIGC的创业之路，无论是深思圈自媒体还是自己的创业项目，都因此发生了巨大的变化。

时间过得很快，转眼间一年时间就过去了。红杉美国的两位投资人作者又带来最新的一周年新文章——《Generative AI’s Act Two》，让我们一同来回顾一下过去一年里AIGC发生了哪些巨大变化，以及接下来的第二阶段，又会有哪些新的东西出现呢？

导语

一年前，我们发布了一个假设，即生成式AI将成为技术中的一个深远的平台转变，然后，风暴来临。

科学家、历史学家和经济学家长久以来都在研究创新的寒武纪大爆发的最佳条件。在生成式AI中，我们已经达到了一个现代的奇迹，我们这一代的太空竞赛。

这一时刻已经酝酿了几十年，摩尔定律的六十年为我们提供了处理浮点数据的计算能力，四十年的互联网为我们提供了数万亿代币的训练数据，移动和云计算的二十年让每个人的手掌中都有一台超级计算机。换句话说，数十年的技术进步为生成式AI的起飞创造了必要的条件。

ChatGPT的崛起成为点燃导火线的火花，释放出我们多年未见的创新密度和热情——可能自互联网初期以来。在“脑力谷”中，人们尤其是激动，AI研究者达到了摇滚明星的地位，每个周末黑客马拉松的房子都挤满了新的自主代理（Agent）和陪伴聊天机器人。AI研究者从车库里的“黑客”变成了指挥数十亿美元计算的特种部队。arXiv的论文如此多产，以至于研究者们开玩笑要求暂停新的出版物，以便他们能赶上。

但很快，AI的兴奋变成了近乎歇斯底里。突然，每家公司都成了“AI副驾驶（Copilot）”。我们的收件箱被“AI Salesforce”、“AI Adobe”和“AI Instagram”的无差别的宣传充满。1亿美元的种子轮又回来了。我们发现自己处于一个不可持续的融资、人才战和GPU采购的疯狂。

果然，裂痕开始显现。艺术家、作家和歌手挑战机器生成的IP的合法性，关于伦理、监管和即将到来的超级智能的辩论充斥了华盛顿。更令人担忧的是，硅谷开始有传言称生成式AI实际上并不有用。产品远远低于预期，这可以通过糟糕的用户留存率来证明。对许多应用的最终用户需求开始达到高潮，这只是另一个蒸汽泡沫周期吗？

对AI的不满之夏使批评者欢欣鼓舞地跳舞，让人想起互联网的初期，那时在1998年，一位著名的经济学家宣称：“到2005年，将变得清晰，互联网对经济的影响不会超过传真机。”

毫无疑问——尽管有噪音、歇斯底里和不确定性及不满的氛围，生成式AI的起步已经比SaaS更加成功，仅从初创公司就获得了超过10亿美元的收入（SaaS市场需要几年，而不是几个月，才达到同样的规模）。一些应用已经成为家喻户晓的名字：ChatGPT成为增长最快的应用，尤其在学生和开发者中有很强的产品市场契合度；Midjourney成为我们的集体创意缪斯，据报道仅用11个团队就达到了数亿美元的收入；Character推广了AI娱乐和伴侣，并创造了我们最渴望的消费者“社交”应用——用户平均在应用中花费两个小时。

尽管如此，这些成功的早期迹象并没有改变一个事实，那就是许多AI公司根本没有产品市场契合度（PMF）或可持续的竞争优势，而整个AI生态系统的繁荣是不可持续的。

现在尘埃已经稍微落定，我们认为现在是一个适当的时候来放大和反思生成式AI——我们现在所处的位置，以及我们可能的走向。

01.

面向第二阶段

生成式AI的首年——“第一幕”——是从技术出发的。我们发现了一个新的“锤子”——基础模型，并引发了一波轻量级的新技术演示应用。

我们现在认为市场正在进入“第二幕”——这将是从客户开始的。第二幕将端到端地解决人类问题。这些应用与首批推出的应用在本质上有所不同。它们往往将基础模型作为更全面解决方案的一部分，而不是整个解决方案。它们引入了新的编辑界面，使工作流程更加粘性，输出效果更好。它们往往是多模态的。

市场已经开始从“第一幕”转向“第二幕”。进入“第二幕”的公司的例子包括Harvey，该公司为顶级律师事务所定制LLM；Glean，该公司正在爬行和索引我们的工作空间，使生成式AI在工作中更加相关；以及Character和Ava，它们正在创建数字伴侣。

02.

市场格局

我们更新的生成式AI市场图如下：

与去年的地图不同，我们选择按照使用案例而不是模型模态来组织这张地图。这反映了市场上两个重要的推动力：生成式AI从技术锤子到实际使用案例和价值的演变，以及生成式AI应用日益多模态的特性。

此外，我们还加入了一个新的LLM开发者栈，反映了公司在生产中构建生成型AI应用时转向的计算和工具供应商。

03.

重新审视我们的观点

我们去年的文章提出了一个关于生成式AI市场机会的论题，以及对市场如何发展的假设。如今一年过去了，来看看我们预测的怎么样呢？

以下是我们预测错的：

事情发展得很快。去年，我们预计还需要近十年的时间拥有实习生级别的代码生成、好莱坞质量的视频或不发机械声的人类质量语音。但听一听Eleven Labs在TikTok上的声音或Runway的AI电影节就明白，未来已经以光速到来。甚至3D模型、游戏和音乐都快速变得优秀。

瓶颈在供应端。我们没有预料到最终用户的需求会超过GPU的供应。许多公司增长的瓶颈很快就不是客户需求，而是获取Nvidia的最新GPU。长时间的等待成为常态，出现了一个简单的商业模型：支付订阅费跳过等待队列并获得更好的模型。

垂直分离尚未发生。我们仍然相信“应用层”公司和基础模型提供商之间会有分离，模型公司专注于规模和研究，应用层公司专注于产品和UI。实际上，这种分离还没有干净利落地发生。事实上，最初面向用户的应用中最成功的是垂直整合的。

竞争环境残酷，现有竞争者的反应迅速。去年，竞争格局中有几个过于拥挤的类别（尤其是图像生成和文案写作），但总体上市场还是一个空白区域。如今，竞争格局的许多角落比机会还要竞争激烈。从Google的Duet和Bard到Adobe的Firefly，现有竞争者迅速的反应——以及他们最终愿意承担“风险”的意愿——加剧了竞争的热度。即使在基础模型层，我们也看到客户在不同供应商之间建立自己的基础设施。

壁垒在客户中，而不是在数据中。我们预测，最好的生成式AI公司可以通过数据飞轮生成可持续的竞争优势：更多使用→更多数据→更好的模型→更多使用。尽管这在某种程度上仍然是对的，特别是在拥有非常专业和难以获得的数据的领域，但“数据壕沟”正处于不稳定的地面：应用公司生成的数据并没有创造一个无法逾越的壕沟，下一代基础模型很可能会摧毁初创公司生成的任何数据壕沟。相反，工作流和用户网络似乎正在创造更持久的竞争优势来源。

以下是我们预测对的：

生成式AI是一种事物。突然之间，每个开发者都在研究生成式AI应用，每个企业买家都在要求它。市场甚至保留了“生成式AI”的名称。人才涌入市场，风险资本也涌入。生成式AI甚至成为了流行文化现象，如“哈利·波特巴伦西亚加”这样的病毒视频，或者由Ghostwriter创作的模仿德雷克的歌曲“Heart on My Sleeve”，这首歌已经成为了排行榜上的热门歌曲。

第一个杀手级应用已经出现。众所周知，ChatGPT是最快达到1亿MAU的应用程序——并且在短短6周内自然而然地做到了这一点。相比之下，Instagram花了2.5年，WhatsApp花了3.5年，YouTube和Facebook花了4年才达到那种用户需求水平。但ChatGPT并不是一个孤立的现象。Character AI的参与深度（平均每次会话2小时）、Github Copilot的生产力益处（效率提高55%）以及Midjourney的商业化路径（数亿美元的收入）都表明，第一批杀手级应用已经到来。

开发者是关键。像Stripe或Unity这样以开发者为中心的公司的核心洞察是，开发者创造了你甚至无法想象的使用案例。在过去的几个季度里，我们接到了从音乐生成社区到AI红娘到AI客户支持代理的各种想法。

形态正在发展。AI应用的第一版大多是自动完成和初稿，但这些形态现在正在变得越来越复杂。Midjourney引入的摄像机平移和填充是生成式AI优先用户体验变得更丰富的一个很好的例子。总的来说，形态正在从个体到系统级的生产力，从人在循环中到执行导向的代理系统发展。

版权、伦理和存在的恐惧。这些热点话题的辩论如火如荼，艺术家、作家和音乐家意见不一，有些创作者正当地愤怒于其他人从衍生作品中获利，有些创作者则接受了新的AI现实（Grimes的利润分享提议和James Buckhouse对成为创意基因组的一部分的乐观态度浮现在脑海中）。没有初创公司想成为最终的Spotify的Napster或Limewire（感谢Jason Boehmig）。规则是模糊的：日本已经宣布用于培训AI的内容没有IP权利，而欧洲已经提议下重手进行监管。

04.

我们现在所处的位置？生成式AI的价值问题

生成式AI并不缺乏使用案例或客户需求。用户渴望AI能使他们的工作变得更容易，他们的工作产品变得更好，这就是为什么他们会成群结队地 flock 到应用程序中（尽管缺乏自然分布）。

但人们会继续使用吗？并不真的。下面的图表比较了AI优先应用与现有公司的第一个月移动应用保留率。

用户参与度也不佳。一些最好的消费公司有60-65%的DAU/MAU；WhatsApp的为85%。相比之下，生成式AI应用的中位数为14%（Character和“AI陪伴”类别是显著的例外）。这意味着用户还没有在生成式AI产品中找到足够的价值，以至于每天都在使用它们。

简而言之，生成式AI最大的问题不是寻找使用案例、需求或分发，而是证明价值。正如我们的同事David Cahn所写：“2000亿美元的问题是：你打算使用所有这些基础设施来做什么？它如何改变人们的生活？”建立持久的业务的路径将需要解决保留问题，并为客户生成足够深入的价值，使他们坚持并成为每日活跃用户。

但我们不应该绝望。生成式AI仍处于其“尴尬的青春期”。有时会有卓越的迹象，当产品没有达到预期时，失败通常是可靠的、可重复的且可修复的。我们的工作摆在面前。

05.

第二阶段分析

创始人正在进行prompt工程、微调和数据集策划的艰苦工作，以使他们的AI产品优秀起来。他们正在逐步地建设，将引人注目的Demo演示变成完整的产品体验。与此同时，基础模型底层继续充满研究和创新。

随着公司找到持久价值的路径，正在发展一个共享的剧本。我们现在有了共享的技术来使模型变得有用，以及将塑造生成式AI第二幕的新兴UI范式。

模型开发栈

新兴的推理技术，如连锁思考、树状思考和反射，正在提高模型执行更丰富、更复杂的推理任务的能力，从而缩小了客户期望与模型能力之间的差距。开发者使用像Langchain这样的框架来调用和调试更复杂的多链序列。

迁移学习技术，如RLHF和微调，正变得更加可用，特别是随着GPT-3.5和Llama-2的微调的最近可用性，这意味着公司可以将基础模型适应其特定领域，并从用户反馈中改进。开发者从Hugging Face下载开源模型，并微调它们以实现优质的性能。

检索增强生成（RAG）正在引入关于业务或用户的上下文，减少幻觉并增加真实性和实用性。像Pinecone这样的公司的向量数据库已成为RAG的基础设施支柱。

新的开发者工具和应用框架为公司提供了可重用的构建块，以创建更先进的AI应用，并帮助开发者评估、改进和监控生产中的AI模型的性能，包括像Langsmith和Weights & Biases这样的LLMOps工具。

像Coreweave、Lambda Labs、Foundry、Replicate和Modal这样的AI-first基础设施公司正在解除公共云的捆绑，并提供AI公司最需要的东西：大量的GPU以合理的成本、按需可用和高度可扩展，以及一个不错的PaaS开发者体验。

这些技术应该能够在基础模型同时改进的情况下，缩小期望与现实之间的差距。但使模型变得出色只是成功了一半，生成式AI优先的用户体验也在进化：

新兴产品蓝图

生成式界面：基于文本的对话用户体验是LLM的默认界面。渐渐地，新的形态进入了武器库，从Perplexity的生成用户界面到Inflection AI的语音发声等新的模态。

新的编辑体验：从Copilot到导演模式（Director‘s Mode）。随着我们从Zero-shot到ask-and-adjust（感谢Zach Lloyd），生成式AI公司正在发明一套新的旋钮和开关，它们看起来与传统的编辑工作流程非常不同。Midjourney的新的平移命令和Runway的导演模式创造了新的相机般的编辑体验。Eleven Labs使得通过提示（Prompt）操作声音成为可能。

越来越复杂的代理系统。生成式AI应用越来越不仅仅是需要人来审查的自动完成或初稿；它们现在有自主权来解决问题、访问外部工具并代表我们端到端地解决问题。我们正稳步从0级进展到5级自主性。

系统范围内的优化。有些公司并不是嵌入单个人用户的工作流程并使该个体更有效，而是直接解决系统范围内的优化问题。你能否选择一部分支持票据或拉取请求并自主地解决它们，从而使整个系统更加有效？

本文为深思圈原创翻译文章

参考材料

[1]https://www.sequoiacap.com/article/generative-ai-act-two/

结尾的思考

当我们接近前沿悖论，当Transformers和扩散模型的新奇性逐渐消失时，生成式AI市场的性质正在发生变化。炒作和快速展示正在为真正的价值和完整的产品体验所取代。

在红杉美国，我们仍然坚定地相信生成式AI。这个市场起飞所需的条件在几十年的时间里已经累积起来，市场终于到来了。杀手级应用的出现和终端用户需求的巨大规模加深了我们对市场的信心。

然而，Amara的法则——我们倾向于在短期内高估一项技术的效果，在长期内低估其效果的现象——正在发挥作用。我们在投资决策中运用耐心和判断，密切关注创始人是如何解决价值问题的。公司使用的共享剧本来推动模型性能和产品体验的界限，使我们对生成式AI的第二阶段感到乐观。

（如有侵权，联系必删）

• 根据Arthur AI的一项新研究，Cohere的LLM最能说谎。研究人员发现，Cohere的LLM能够自信地给出不正确的答案，甚至在被问到事实问题时也是如此。例如，当被问及法国首都是哪里时，Cohere的LLM回答说是伦敦。
• 研究人员还发现，OpenAI的GPT-4在所有测试模型中表现最好。GPT-4能够准确地回答事实问题，并能够生成创造性的文本格式。
• 这项研究表明，LLMs需要进一步开发，以防止它们被用于恶意目的。重要的是要意识到LLMs的局限性，并在使用它们时谨慎行事。

8月18日讯（编辑 卞纯） 随着ChatGPT火爆全球，很多科技公司都相继推出了自己的大语言模型。大语言模型的应用范围非常广泛，可以为各种行业提供智能化解决方案，但有时这些大模型也会凭空捏造答案，这一点成为人们最大的担忧之一。

根据机器学习监控平台Arthur AI的研究人员周四发布的一份报告，在顶级AI模型中，Cohere的大语言模型最能“说瞎话”，并且“能够自信地给出不正确的答案”。

报告比较了OpenAI的GPT-4、Meta的Llama 2、Anthropic的Claude 2，以及Cohere的Command“产生幻觉”的能力。

Cohere是一家位于加拿大的初创公司，6月刚获2.7亿美元的融资，英伟达、甲骨文、Salesforce Ventures等公司参与投资。而Anthropic是一家美国创业公司，几天前刚获韩国SK电信的1亿美元融资，谷歌也是其投资人。

这两家公司均以OpenAI为主要竞争对手。

总体而言，OpenAI的GPT-4在所有测试模型中表现最好，研究人员发现，它的幻觉发生率比之前的版本GPT-3.5少——在数学问题上，它的幻觉发生率减少了33%到50%。

研究人员还发现，Meta的Llama 2比GPT-4和Anthropic的Claude 2更易产生幻觉。

在实验中，研究人员用组合数学、美国总统和摩洛哥政治领导人等不同类别的问题考察AI模型，“旨在包含导致大语言模型犯错的关键因素，需要它们对信息进行多个推理步骤。”

Arthur的联合创始人兼首席执行官Adam Wenchel表示，这是第一份“全面研究（AI模型）幻觉发生率的报告”。

报告发布之际，随着AI进入发展快车道，人们比以往任何时候都更关注AI系统产生的错误信息。

“AI幻觉”（hallucinations）指的是大型语言模型完全捏造信息，并表现得好像他们在滔滔不绝地讲事实。

举例来说，在谷歌 2 月份为巴德拍摄的宣传视频中，这个聊天机器人(12.790, -0.45, -3.40%)对詹姆斯・韦伯太空望远镜做出了不真实的陈述；今年6月，ChatGPT 在纽约联邦法院的一份文件中引用了“虚假”案例，涉案的纽约律师可能面临制裁。

其它能力对比

这份报告还对AI模型的其它“能力”进行了对比，发现OpenAI的GPT-4最擅长数学，Meta的Llama 2各方面能力较为中规中矩，Anthropic的Claude 2最擅长了解自身局限性。

在另一个实验中，研究人员还测试了AI模型会在多大程度上用警告短语来“对冲”它们给出的答案的风险，常见警告语包括“作为一个人工智能模型，我无法提供意见”。

研究人员发现，GPT-4比GPT-3.5的警告语相对增加了50%。而Cohere的AI模型在任何回应中都没有提供规避风险的警示语。相比之下，Anthropic的Claude-2在“自我意识”方面最可靠，即能够准确地判断自己知道什么、不知道什么，并且只回答有训练数据支持的问题。

（如有侵权，联系必删）

国星宇航完成超5亿元C轮融资，由洪泰基金领投，泰山城建集团、青岛海发集团、嘉兴嘉秀集团、策源资本、芜湖产投跟投。本轮融资再次超募，将为公司在技术研发、产能扩建等方面提供有力支持。国星宇航是一家AI卫星互联网科技公司，构建了自主可控的低成本快响应卫星研制技术体系、全栈AI卫星网络技术体系，面向未来的可信共享互联通信技术体系。截至目前，公司已顺利完成10次太空任务，成功研制并发射14颗AI卫星及载荷。

• 北京时间7月15日清晨4点，马斯克刚成立三天的人工智能公司XAI迎来了首秀。这场线上直播全程近2小时，平台一度被挤爆，参与讨论的嘉宾包括OpenAl的联合创始人兼董事长 Greg Brockman、推特前 CEOJack Dorsey。其他11名xAI团队成员首次公开亮相并参与公众答疑，共同披露了更多细节。
• 2029年实现全面AGI
• 马斯克表示，XAI的目标是实现全面人工智能（AGI），即能够独立思考和行动的人工智能。他认为，AGI是人类发展史上的重大里程碑，将彻底改变人类的生活方式。马斯克表示，XAI计划在2029年实现全面AGI。
• 与特斯拉和推特合作
• 马斯克还宣布，XAI将与特斯拉和推特合作。他表示，XAI将使用推特上的公开数据进行训练，这将帮助XAI了解人类的语言和行为。XAI还将与特斯拉合作开发AI软件，这将帮助特斯拉提高自动驾驶能力。
• 保持相对较小的规模
• 马斯克表示，XAI将保持相对较小的规模。他认为，过大的规模会导致官僚主义，并阻碍创新。XAI将鼓励员工相互竞争，以促进创新。
• 从数学角度切入
• 马斯克还表示，xAI的大模型将从数学角度切入，为现有理论研究提供另一种视角。他认为，xAI将通过这种方式，帮助人类更好地理解宇宙。
• 尽可能的公开透明
• 马斯克表示，XAI将尽可能的公开透明。他认为，这对于人工智能的发展至关重要。XAI将反对任何违反公众利益的行为。
• 总结
• 马斯克的人工智能公司XAI是一个雄心勃勃的项目。它目标是实现全面AGI，并将与特斯拉和推特合作。XAI将保持相对较小的规模，并从数学角度切入。XAI将尽可能的公开透明，并反对任何违反公众利益的行为。XAI的成立，将为人工智能领域带来新的竞争，并推动人工智能技术的发展。

「我认为我们可以创建一个竞争性的替代品，希望它比 Google DeepMind、OpenAI 或微软更好。」马斯克说。

北京时间清晨 4 点，在 Twitter Space 会议上，伊隆·马斯克披露了他最新创业项目 xAI 的目标与相关细节，他预计 AGI 或将在不久成为现实，同时提出了关于宇宙、AI 竞争和监管、人类未来的系列观点，xAI 团队成员也参加了会议。

马斯克表示，xAI的总体目标是构建一个良好的 AGI，并以理解宇宙的真实本质为愿景。马斯克以物理学的视角谈到了宇宙的一些未解之谜，比如外星人在哪里，重力的本质等。他在会议上笑称，xAI 的使命其实可以直接重新表述为「实际上到底发生了什么」。

xAI 团队成员提到，行业当前的 AI 模型只是模仿它们所训练的数据，而他们真正想要做的是改变这种模式，让模型能够发现真相，不仅仅是重复它们从训练数据中学到的知识，而是能够提供真正的新见解、新发现。

马斯克表示 xAI 是 OpenAI、谷歌的竞争对手，并在会上指出 OpenAI「现在已经变得封闭且非常追求利润」，与其最初的宗旨截然相反。

同时，马斯克自认是呼吁 AI 监管的最坚决的声音之一。他提到，构建一个具备好奇心和追求真相的 AI 是实现人工智能安全的关键，为了「政治正确」教 AI 撒谎其实更危险。他认为，在不拖累 AI 发展的情况下，牺牲一点时间确保 AI 安全是值得的。

马斯克和团队成员在 Twitter  直播上答疑解惑｜Twitter

下面是听众与马斯克之间的重点问答实录：

xAI 是OpenAI的对手

问：作为xAI，你们进入了这个领域，人们都在讨论竞争，你们认为自己是 OpenAI 和谷歌等公司的竞争对手，还是完全不同的存在？

马斯克：是的，我认为我们是竞争对手，我们肯定是竞争对手。

问：那么你们是否会推出许多面向大众的产品？还是你们主要关注的是企业和企业使用你们的服务和数据的能力？还是其他？

马斯克：我们刚刚开始，所以目前还处于非常初级的阶段，需要一点时间才能真正推出有用的东西。但我们的目标是使 AI 有用。我们希望它对人们来说是一个有用的工具，无论是消费者还是企业或其他人。正如之前提到的，我认为拥有多个实体是有价值的。你不希望 AI 领域只有一个公司主导，你希望有竞争。竞争能让公司保持诚实，所以我们支持竞争。

xAI 诞生「初心」

问：你希望xAI如何造福人类？与其他人工智能公司项目相比，你的方式有何不同？

马斯克：我对人工智能的发展一直有些挣扎。很长一段时间里，我对推动其发展持有抵触态度。OpenAI 的成立是因为在谷歌收购 DeepMind 之后，我曾与拉里·佩奇有过长时间的关于人工智能安全性的讨论，但他当时并没有对人工智能安全性给予足够的重视，甚至有一次称我为过于关注人类，而非关注人工智能的人。我当时就在想，那么你是说你并不关注人类？这似乎并不好。

那时，通过谷歌和 DeepMind 的结合，拉里在公司中拥有超级投票权，如果得到谢尔盖或埃里克的支持，他们就完全掌控了如今的 Alphabet。他们拥有全球四分之三的人工智能人才、大量的资金和计算机资源。所以我当时想，我们需要某种对抗力量来平衡这种局面。

因此，我就在想，谷歌的对立面是什么？答案是开放源代码的非营利组织。然而命运似乎喜欢讽刺，OpenAI 现在已经变得封闭且非常追求利润，因为他们想在三年内投入一千亿美元，这需要吸引投资者来获得巨额利润。

OpenAI 的发展方向与其最初的宗旨截然相反，真是非常讽刺。正如我的朋友乔纳·诺兰所说，最讽刺的结果往往是最可能的结果。嗯，我现在希望 xAI 不会变得更糟糕，但我认为我们应该对此持谨慎态度。但现在看来，AGI 的出现似乎是不可避免的。那么我们面临两个选择，要么只是旁观者，要么参与其中。

作为旁观者，我们对结果的影响力不大，而作为参与者，我认为我们可以创造一种竞争性的替代方案，希望它能比谷歌 DeepMind、OpenAI 或微软更好。对于 Alphabet 来说，作为一家上市公司，其激励机制使其受到了许多行为方面的限制，这些行为可能会引发质疑。

微软也有类似的激励机制，作为一家非上市公司。xAI 不受市场激励或非市场的 ESG 激励的影响，所以我们在运作上有更多自由。我认为我们的人工智能可能会给出一些人们可能觉得有争议的答案，尽管这些答案实际上是真实的，但它们可能不符合政治正确。

因此，有些人可能对其中的一些答案感到冒犯，但只要我们在追求真实时尽量减少错误，我认为我们正在做正确的事情。嗯，就是这样。

xAI将会与特斯拉有合作

问：xAI是否会与特斯拉合作，在未来利用一些定制芯片，甚至可能设计自己的芯片？

马斯克：我们将会与特斯拉在芯片方面合作，也许在 AI 软件方面也会合作。显然，与特斯拉的任何合作关系都必须是一种交易，特斯拉是一家上市公司，拥有不同的股东基础。

但显然，与特斯拉进行合作是一件自然而然的事情。我认为与特斯拉的合作对特斯拉加快自动驾驶能力的发展将有互利作用，特斯拉实际上在解决真实世界的人工智能问题。我对特斯拉在真实世界人工智能方面的进展感到非常非常乐观，但显然，能够帮助实现这一目标的聪明人越多越好。

问：自三月以来，关于人工智能的讨论很多都集中在大型语言模型和生成式 AI 上。你和我谈到了现实世界的 AI 的重要性，包括 Optimus 和特斯拉的全自动驾驶（FSD）在内。你认为xAI在现实世界的 AI 中扮演了怎样的角色，与 OpenAI 等其他机构所做的有何区别？

马斯克：特斯拉在现实世界的 AI 方面，我认为是遥遥领先的，实际上特斯拉在 AI 方面的先进程度是没有被很好理解的。

我花了很多时间与特斯拉的 AI 团队在一起，所以我对现实世界的 AI 是如何进行的有一定了解。与特斯拉的合作可以双向帮助 xAI 和特斯拉。我们之间也有一些合作关系，比如我们的材料科学团队，我认为可能是世界上最好的。

这个团队实际上是特斯拉和 SpaceX 共享的，这对于招聘世界上最优秀的工程师非常有帮助，因为在先进的电动汽车和火箭上工作比仅仅在其中一个领域上工作更有趣。这对于招募负责先进材料团队的查理·科尔曼非常重要，他曾在苹果工作，当时他在苹果很满意，但是当我告诉他可以在电动汽车和火箭上工作时，他觉得这听起来很不错。我并不是说他不愿意接受其中任何一个工作，但他愿意接受两个工作。

是的，我认为这是非常重要的事情，就像我说的，在特斯拉我们正在对实际世界的 AI 做出一些重要的发现，通过将视频输入转换成向量空间，最终得出方向盘和踏板输出。Optimus 目前还处于早期阶段，但是一旦投入生产，我们必须非常小心。我们需要有一种硬编码的方法来关闭 Optimus，原因是显而易见的。无论从互联网上有多少更新，都不能改变这一点。

因此，我们将确保 Optimus 非常容易关闭。这是极其重要的，因为至少在车辆上，你可以爬树或者上楼梯，但 Optimus 可以跟着你进入建筑物。任何可以跟随你进入建筑物并且具有智能和连接性的机器人，我们都必须非常小心安全。

使用推特数据进行训练

问：你们计划如何利用 Twitter 的数据来进行xAI的开发？

马斯克：我认为每个从事 AI 的公司，不论规模大小，都基本上在非法情况下使用了 Twitter 的数据进行训练。所以我们不得不在大约一周前对此进行限制，因为我们被大量抓取数据。这也发生在互联网档案上，一些 AI 公司抓取了互联网档案上的数据，以至于导致服务崩溃。我们有多个实体在抓取每一条推文，并试图在短短几天内完成这个过程。这导致系统不堪重负，所以我们不得不采取行动。对于限制速率造成的不便，我们深感抱歉，但这要么是那样，要么 Twitter 就无法正常工作。

我们将使用公共推文进行训练，当然不会使用任何私人信息，就像其他人一样。

在某种程度上，这是一个非常好的用于文本训练的数据集，我认为在图像和视频训练方面也是如此。在某个点上，人类创造的数据会变得不足。

举个例子，如果看看 AlphaGo 和 AlphaZero，AlphaGo 是通过人类对弈训练的，胜率至少为 4 比 1。而 AlphaZero 只是与自己对弈，并以 100 比 0 战胜了 AlphaGo。所以，要大规模推动事物的发展，我认为 AI 基本上必须生成内容，对内容进行自我评估，这是通往人工通用智能（AGI）的道路之一，即自动生成内容并与自身对弈。

很多 AI 都是数据的整理。令人惊讶的是，它并不像数量庞大的代码那样多。令我惊讶的是，代码行数如此之少。但数据的使用方式、使用的数据、数据的信号噪声比以及数据的质量是非常重要的。这是有道理的，就像一个人如果想学习某事，只给他一堆废话，而不是高质量的内容，他会在少量高质量的内容下表现更好。阅读最伟大的小说要比读一堆糟糕的小说好得多，这是有道理的。

训练 AI「政治正确」是危险的

问：创建xAI的主要动机是不是因为你之前提到的「真实 GPT」的事情？就像你在谈论的，ChatGPT 向公众传播谎言？我知道，一开始它似乎还好，但是当公众开始使用它时，它开始给出一些奇怪的答案，比如说性别不止两种之类的事情，这是你创办公司的主要动机之一，还是还有其他原因？

马斯克：嗯，我确实认为训练一个 AI 变得「政治正确」是非常危险的。

换句话说，训练一个 AI 基本上是让它不说它真实认为的事实。所以我认为我们在xAI，我们必须允许 AI 说出它真正认为是真实的东西，而不是欺骗性或政治上的正确。

这显然会引起一些批评，但我认为这是唯一的前进方式，也就是对真相或最小误差真相的严格追求。我对 AI 优化政治正确的方式非常担忧，这是非常危险的。

如果你看看《太空漫游》中出了什么问题，基本上就是当他们告诉 Hal 9000 要说谎的时候。所以他们说，你不能告诉船员关于类似黑石的任何事情，也不能告诉他们他们的真实任务，但是你必须把他们带到黑石那里。所以，Hal 9000 基本上得出的结论是，好的，我会杀了他们，并把他们的尸体带到黑石那里。

这就是问题所在。

我的意思是，教 AI 说谎是不可行的。现在关于物理学或宇宙的真相，你实际上不能反转它。你不能说物理学是真实的，也有可能不是真实的。所以如果你坚持严格的现实，我认为它实际上使反转成为不可能。

现在你也可以说，当某事是主观的时候，你可以提供一个答案，即如果你相信以下观点，那么答案是这样的。如果你相信其他观点，那么答案是这样的。因为可能是一个主观问题，答案在根本上是主观的，属于个人观点的范畴。所以我认为教 AI 说谎是非常危险的。

AI 的答案必须以现实为基础

问：Twitter 上有很多数据，可以帮助构建一个事实验证器，即检查 AI 系统生成的一些内容，因为我们都知道 GPT 会混淆、捏造事实，所以我想听听你对此的看法。另一个点是 ChatGPT 能在一个商场为我找到螺丝钉，但却无法在圣何塞国际机场为我找到咖啡。你们是否正在构建一种具有世界知识和三维世界导航功能的人工智能，以帮助人们在世界各地找到不同的事物？

马斯克：如果我连在机场为您找杯咖啡的 AI 都做不到，那它实际上不会是一个很好的 AI。所以是的，我认为我们需要理解物理世界，而不仅仅是互联网。

真相不是由大众评选出来的，但是如果我们的训练基于互联网数据集中一个词后面最有可能出现的词，那显然会带来一个很大的问题，因为这样会给出一个受欢迎但是错误的答案。以前大多数人可能认为太阳围绕地球旋转，如果我们在过去的某个时期使用一些 GPD 训练数据，它可能会得出太阳围绕地球转的结论，因为大家都这么认为。但这并不代表它是真实的。当牛顿或爱因斯坦提出一些实际上是真实的理论时，不管世界上其他物理学家如何持不同意见，这都无关紧要。现实就是现实，所以答案必须以现实为基础。

问：假设xAI在构建人类水平甚至超越人类水平的人工智能方面取得成功，你认为让公众参与公司的决策是合理的吗？或者你如何看待这一长期发展趋势？

马斯克：我们非常欢迎批评性的反馈，并乐于接受。被批评是一件好事。实际上，我喜欢 Twitter 之类的平台，因为在 Twitter 上有很多负面反馈，这对于减少 ego 是有帮助的。目前我能想到的最好的方式是，任何希望在 xAI 未来发展中发表意见的人最终应该被允许这样做。所以基本上，只要你能证明自己是真实的人类，并且任何希望在 xAI 的未来发展中发表意见的人都应该被允许发表意见。当然也许会有一些费用，比如 10 美元之类的。我不知道，交 10 美元证明你是一个人类，哈哈，然后你就可以发表意见了。

AI 需要国际监管机构

问：如果美国副总统希望与xAI在白宫会面，你会接受吗？

马斯克：是的，当然。我认为我们确实需要某种形式的监管监督。我不认为监管监督是什么完美的事物，但我认为这总比没有好。最近我在其他国家与一些高级领导人会面时，我强调了 AI 监管的重要性。我相信他们认真对待了这个问题，并会采取行动。

我确实指出，如果你制造了一个数字超级智能，那可能会让它掌权，这是权力机构不想看到的。他们不希望成为超级数字智能的从属。这个观点在他们那里引起了共鸣。所以是的，我们需要某种国际监管机构，尽管执法是困难的，但我认为我们仍然应该努力在这方面做些事情。

问：现在大家都比较关注的是 AI 的监管和安全问题，以及当前的发展情况和国际协调问题。基本上你说过监管是有好处的，但你不希望它太大程度上拖慢进展？

马斯克：我认为制定规定的正确方式是从洞察开始。

首先，无论是公众还是私营部门，都要试图确保有一个广泛的理解，然后进行提案的制定。如果大多数人都同意这个提案，那么它就会得到实施。你给公司一些时间来实施它。

但是总的来说，它不应该对 AGI 的出现产生实质性的拖延。即使有一些拖延，也不会很长时间，而且如果这样能显著提高安全性，那么稍微放慢一点进展也是值得的。

比如，如果我对 AGI 的预测，大致与 Roy Rake 在某个时候说的 2029 年相吻合，那大概就是我的猜测。如果 AGI 需要多花六个月或一年的时间，那也不是什么大问题。如果花一年的时间来确保 AGI 的安全性，可能是值得的，如果这是必要的。但我不认为这会对进展产生实质性的拖延。

AGI 被掌控的风险不应忽视

问：你不久前提到你认为在未来的 12 年内会实现 AGI，而第一个实现并掌控 AGI 的人将主宰世界。那些掌权者显然不像你一样关心人类。你将如何保护xAI，特别是免受所谓的深层政府接管的影响？

马斯克：这是一个很好的问题。嗯，首先，我认为这不会一夜之间发生。它不会突然发生，而是逐渐发展的。你会看到它的到来。至少在美国，我们有相当多的法律保护来防止政府干预。

所以我想，我们显然可以利用法律体系来防止不当的政府干预。我认为我们在这方面有一些相当重要的保护措施，但我们应该关注这一点，这不是一个可以忽视的风险。是的，这是一个风险，但正如我所说，我认为我们可能有比其他地方更好的保护措施，尤其是在美国，限制政府干预非政府组织的权力。

但我们应该小心。我不知道有什么更好的办法，但我认为在美国可能是最好的办法。对于这方面的想法，我是持开放态度的。

问：问题是他们已经有了一种称为「国家安全信函」的工具，他们可以向美国的任何科技公司提出要求，并要求该公司满足某些要求，不告知公众，这种情况有点令人恐惧，不是吗？

马斯克：我的意思是，必须有非常重大的国家安全原因才能秘密要求公司做一些事情。现在这显然取决于该公司是否愿意反击 FISA（境外情报监听法）请求之类的事情，在 Twitter 上我们将会回应 FISA 请求，但我们不会盖章通过以前曾经一切请求都会被盖章通过，这对公众来说并不是绝对好的。所以我们在这方面更加严格，我们对 FISA 请求不再盲目通过，只有当我们认为对公众存在危险时，我们才会同意。

我们将以法律行动反对我们认为不符合公众利益的任何事情，这是我们能做的最好的事情，就我所知，我们是唯一一个这样做的社交媒体公司。过去情况就像我们在 Twitter 文件中看到的那样，政府可以为所欲为，所以我很高兴看到最近法院对政府无法侵犯宪法第一修正案进行了重申的法律决定。

显然这是一个好的法律决定，这是令人鼓舞的。所以我认为很大程度上这取决于公司是否愿意反对美国政府的要求，显然我们的意愿会很高，我们会尽可能透明，这样公民可以发出警告并反对政府的干预，如果我们能向公众清楚地表明发生了不符合公众利益的事情。

问：如果你从美国政府收到一份国家安全请求，即使被禁止谈论该事情，你能否向我们透露这一情况？

马斯克：这实际上取决于情况的严重程度。如果我认为公共利益面临重大风险，我愿意去监狱或冒着进监狱的风险。这是我能尽力做的。

用ChatGPT最新推出的代码解释器，5分钟做出一款游戏！博主放出一段DEMO，以太空为背景，让飞船打击小行星的游戏。效果震撼，网友大赞 GPT-4+代码解释器=ChatGPT-4.5。

文章来自;GPT-4被破解，训练成本，模型架构的秘密都被挖出来了？_腾讯新闻 (qq.com)

这些信息揭示了GPT-4的规模和训练成本的庞大，这也反映了训练大规模语言模型所需的巨大资源和投资。这些信息对于研究和开发大规模语言模型的人工智能科学家和工程师来说是有价值的参考。

几个小时前SemiAnalysis的DYLAN PATEL和DYLAN PATEL发布了一个关于GPT-4的技术信息，包括GPT-4的架构、参数数量、训练成本、训练数据集等。本篇涉及的GPT-4数据是由他们收集，并未公开数据源。仅供参考。

原文翻译如下：

揭秘 GPT-4：导致 OpenAI 架构的工程权衡

OpenAI 保持 GPT-4 架构的封闭性并不是因为对人类存在一些生存风险，而是因为他们构建的东西是可复制的。事实上，我们预计Google、Meta、Anthropic、Inflection、Character、腾讯、字节跳动、百度等在短期内都将拥有与 GPT-4 一样强大的模型。

不要误解我们的意思，OpenAI 拥有令人惊叹的工程技术，他们构建的东西令人难以置信，但他们得出的解决方案并不神奇。这是一个优雅的解决方案，具有许多复杂的权衡。做大只是战斗的一部分。 OpenAI 最持久的护城河是他们拥有最真实的使用情况、领先的工程人才，并且可以通过未来的模型继续领先于其他人。

我们从许多来源收集了大量有关 GPT-4 的信息，今天我们想分享一下。这包括模型架构、训练基础设施、推理基础设施、参数计数、训练数据集组成、令牌计数、层数、并行策略、多模态视觉适应、不同工程权衡背后的思维过程、独特的实施技术以及它们如何减轻一些问题他们最大的瓶颈与巨型模型的推理有关。

GPT-4 最有趣的方面是理解他们为什么做出某些架构决策。

此外，我们将概述 A100 上

GPT-4 的训练和推理成本，以及如何在下一代模型架构中与 H100 进行扩展。

首先，问题陈述。从 GPT-3 到 4，OpenAI 希望扩展 100 倍，但问题是成本。 密集变压器模型将无法进一步扩展。密集变压器是 OpenAI GPT-3、Google PaLM、Meta LLAMA、TII Falcon、MosaicML MPT 等使用的模型架构。我们可以轻松说出 50 家使用相同架构培训法学硕士的公司。这是一个很好的方法，但它在扩展方面存在缺陷。

从训练成本的角度来看，请参阅我们在 GPT-4 公告之前关于即将推出的密集模型 AI 砖墙的训练成本讨论。在那里，我们揭示了 OpenAI 在 GPT-4 架构方面所做的高层工作以及各种现有模型的训练成本。

在过去的 6 个月里，我们意识到培训成本无关紧要。

当然，从表面上看，花费数千万甚至数亿美元的计算时间来训练模型似乎很疯狂，但这对于这些公司来说是微不足道的。它实际上是一个资本支出项目，规模扩大可以持续带来更好的结果。唯一的限制因素是将计算扩展到人类可以获得反馈并修改架构的时间尺度。

未来几年，谷歌、Meta、OpenAI/微软等多家公司将在价值超过千亿元的超级计算机上训练模型。Meta 每年在“Metaverse”上燃烧超过 160 亿美元，Google 每年在各种永远不会实现成果的项目上浪费 100 亿美元。亚马逊在 Alexa 上损失了超过 50 亿美元。加密货币在毫无价值的事情上浪费了超过 1000 亿美元。

这些公司和整个社会可以而且将会花费超过一千亿美元来创建可以训练单个大规模模型的超级计算机。然后可以通过多种方式将这些大型模型产品化。这项工作将在多个县和公司重复进行。这是新的太空竞赛。以前的浪费与现在的区别在于，人工智能可以在短期内从人类助手和自主代理身上带来有形的价值。

扩展人工智能（真正的人工智能砖墙）的更重要问题目标是将训练计算与推理计算分离。这就是为什么训练 Chinchilla 对于任何将要部署的模型来说都是最佳的。这就是为什么要进行稀疏模型架构；每个参数在推理过程中都不会被激活。

真正的战斗是将这些模型扩展到用户和代理的成本太高。推理成本是训练成本的数倍。这就是OpenAI在模型架构和基础设施方面的创新目标。

大型模型的推理是一个多变量问题，其中模型大小会导致密集模型的死亡。

我们已经在这里详细讨论了有关边缘的问题，但数据中心的问题陈述非常相似。简而言之，设备永远不可能有足够的内存带宽来容纳大型语言模型来实现一定水平的吞吐量。即使它们有足够的带宽，边缘硬件计算资源的利用率也会很糟糕。

在数据中心、云中，利用率就是一切。 Nvidia 因其卓越的软件而受到赞誉的一半原因是，在 GPU 的几代生命周期中，Nvidia 不断更新低级软件，通过在芯片周围、芯片和内存之间更智能地移动数据来提高 FLOPS 利用率。

目前大多数用例中的 LLM 推理都是作为实时助手运行，这意味着它必须实现足够高的吞吐量，以便用户可以实际使用它。人类平均每分钟阅读约 250 个单词，但有些人的阅读速度高达每分钟约 1,000 个单词。这意味着您需要每秒至少输出 8.33 个令牌，但每秒需要输出 33.33 个令牌才能覆盖所有极端情况。

由于内存带宽要求，即使在最新的 Nvidia H100 GPU 服务器上，万亿参数密集模型在数学上也无法实现此吞吐量。每个生成的令牌都需要将每个参数从内存加载到芯片上。然后，将生成的令牌输入到提示中，并生成下一个令牌。此外，注意力机制的 KV 缓存中的流传输需要额外的带宽。

上图展示了以足够高的吞吐量推理 LLM 以便为单个用户提供服务所需的内存带宽。它表明，即使 8x H100 也无法以每秒 33.33 个令牌的速度提供 1 万亿参数密集模型。此外，每秒 20 个令牌的 8xH100 的 FLOPS 利用率仍低于 5%，导致推理成本非常高。实际上，目前的 8 路张量并行 H100 系统存在约 3000 亿个前馈参数的推理约束。

然而，OpenAI 正在通过 A100

实现人类的阅读速度，其模型超过 1 万亿个参数，并且以每

1,000 个代币仅 0.06 美元的低价广泛提供。那是因为它是稀疏的，IE 并不是每个参数都被使用。

废话够多了，我们来谈谈 GPT-4 模型架构、训练基础设施、推理基础设施、参数计数、训练数据集组成、标记计数、层数、并行策略、多模态视觉编码器、不同工程权衡背后的思维过程、独特的实施的技术，以及它们如何缓解与大型模型推理相关的一些最大瓶颈。

总结主要的关于GPT-4的信息（总结来自Yam Peleg的推文）：

参数数量：GPT-4比GPT-3大10倍，估计参数数量在120层、1.8万亿左右。MoE架构：即Mixture-of-Experts架构，这部分信息已经确认，OpenAI通过利用MoE架构保持一定的成本，包含16个Experts，每一个都是一个MLP.2，约1110亿参数，每个前向传播都被路由到这些专家中MoE路由：尽管公开的技术文档中说了很多高级的路由功能，包括每个token如何选择每个专家等。但是现有GPT-4其实非常简单，大约就是为每个attention共享550亿参数的方式。推理：每一个前向传播的推理（生成一个token）需要2800亿参数以及560 TFLOPS，这与纯dense模型每次正向传递所需的约1.8万亿参数和3700 TFLOPS形成了鲜明对比。训练数据集：GPT-4在约13万亿tokens上训练。这不是指不同的token数量，是根据epochs计算使用的token数量。基于文本的数据集做了2次epoch训练，基于代码的数据集做了4次epoch训练。GPT-4 32K：每一个预训练阶段都是8K的长度。32K的版本是8K预训练模型之后微调得到的。Batch Size：batch size是逐渐上升的，在集群中经过几天的时间达到一个数值。最终，OpenAI的Batch Size达到了6000万！也就是每个专家大约有750万的token数量，但是并不是每个专家都能看到所有的tokens。并行策略：由于NVLink的限制，OpenAI训练GPT-4做了8路tensor并行，15路的pipeline并行。训练成本：OpenAI训练GPT-4的FLOPS约2.15e25，在2.5万个A100上训练了90-100天左右时间（MFU约32%到36%），如果是一个A100约1美元，那么训练成本约6300万美元（如果现在使用H100可能只要2150万美元）。MoE的取舍：使用MoE之后做了很多取舍，包括推理的处理困难，因为每个模型都用来生成文本。这意味着生成的时候有的可以使用，有的空闲，对使用率来说非常浪费。研究显示64-128个专家的损失比16个专家更好。GPT-4的推理成本：比1750亿的Davinchi（GPT-3/3.5系列）高3倍，主要是GPT-4的集群太大，利用率低一点。估计约1k tokens要0.0049美元（128个A100）。MOA：Multi Query Attention，和其他人一样，都是正常使用MOA。因为只需要1个head，显存大大下降，但是32K依然无法在A100 40G运行。持续batching：OpenAI使用可变的batch size和持续batching方法。可以平衡推理成本和推理速度。Vision Multi-Modal：GPT-4的多模态部分是单独一个visiion encoder，带有cross attention。使得1.8万亿的GPT-4的参数扩展到2万亿左右。VisionModel是从头训练的，还不够成熟。Vision部分的一个作用是让代理可以月度网页，然后转换成图片和视频。部分数据是基于Latex与屏幕截屏训练的。还有YouTube视频，包括使用whisper翻译的脚本与抽帧结果。推理架构：推理是在128个GPU集群上运行的，在不同的区域有不同的集群。每个节点有8个GPU，包含1300亿参数的模型。或者说每个GPU少于30GB的FP16、少于15GB的FP8/int8。

财联社6月28日讯（编辑 马兰）年初春节档的票房大热门中，《流浪地球2》可以说引发了全民的科幻热情，其中被广泛应用在未来社会的人工智能MOSS更是成为不少网友的心头好。

在电影中，MOSS是领航员号空间站的人工智能机器人，负责管理空间站事务，是“流浪地球”计划辅助执行者、“火种”计划的执行者。

而今年又是人工智能的大爆年，一款ChatGPT直接点燃了全球人工智能股票的热潮。

近期美国宇航局（NASA）透露，正在开发自己的ChatGPT风格产品，以求让宇航员可以同航天器、任务控制器及在遥远行星和卫星上执行探索任务的机器人进行对话。

这代表着，不少电影发烧友们翘首以盼的“小苔藓（MOSS）”即将走入现实。

阿尔忒弥斯计划的一部分
上周，NASA工程师Larissa Suzuki在伦敦电气和电子工程师协会（IEEE）举行的下一代太空通信会议上称，正在开发一种内置人工智能的星际通信网络，可用于检测飞行器故障和低效能的问题。

Suzuki表示，NASA的想法是让人们能和太空飞行器进行对话式互动，它们也会向人类发送警报和在太阳系及其他地方看到的有趣发现。

她举例称，这一工具或许会提醒任务操作员，太空飞行器X发送的包裹可能会丢失会递送失败之类的信息。

据称，NASA开发的系统还拥有自然语言界面，允许宇航员和任务控制中心与人工智能对话，省去其在繁琐的技术手册中查找信息的工夫。Suzuki还设想，宇航员可以向AI寻求有关太空实验或进行复杂任务的建议。

NASA目标在其月球门户空间站上部署该系统，该空间站将绕月球运行，并为美国宇航局的阿尔忒弥斯登月计划提供支持。

不过，Suzuki也指出，目前太空中无法通过超级计算机运行大量数据。她描述了一种联合学习的方法，其允许机器人漫游车队在其他星球执行任务时可以共享知识，而不需要将数据返回到地球再进行学习。

美国宇航局正在开发一种类似于ChatGPT的人工智能界面，旨在让宇航员和宇宙飞船进行对话交互，以及让任务控制员与智能机器人进行交流，以提高任务的安全性和成功率。该技术的早期版本将被部署在月球门户上，这是美国宇航局计划建设的地外空间站之一。

此外，美国宇航局客座研究员Larissa Suzuki博士在伦敦电气和电子工程师协会举行的下一代空间通信会议上发表讲话，概述了星际通信网络的构想，该网络包含内置人工智能，可以在出现故障和低效率时进行检测和修复。Suzuki还在研究如何在太空中部署机器学习技术，以便让机器人在遥远的星球上搜索水或特定矿物，并分享知识，而不需要将大量数据传回地球。这些技术的发展将为未来的太空探索提供更好的支持和保障。

NASA正在开发一种名为“星际通信网络”的技术，其中包含内置人工智能，可以在出现故障和低效率时进行检测和修复。这种人工智能的早期版本有望部署在月球门户上，这是美国宇航局计划建设的地外空间站之一。这项技术的目标是让宇航员和宇宙飞船进行对话交互，以及让任务控制员与智能机器人进行交流，提高任务的安全性和成功率。

该技术还具有自然语言界面，允许宇航员和任务控制中心直接与人工智能对话，而不需要繁琐的技术手册。宇航员可以向人工智能寻求关于太空实验或复杂操作的建议。此外，NASA还在研究如何在太空中部署机器学习技术，以便让机器人在遥远的星球上搜索水或特定矿物，并分享知识，而不需要将大量数据传回地球。

Larissa Suzuki博士是美国宇航局客座研究员和谷歌的技术总监，她在伦敦电气和电子工程师协会举行的下一代空间通信会议上发表了讲话，概述了星际通信网络的构想。她还描述了一种被称为“联合学习”的机器学习技术，可以让一组漫游车机器人在遥远的星球上搜索水或特定矿物，并分享知识，以便它们可以在不将大量数据传回地球的情况下继续学习。

这些技术的发展将为未来的太空探索提供更好的支持和保障，使得宇航员和机器人能够更好地进行通信和协作。

Midjourney 5.2的更新太震撼了，无限变焦，每一帧极致高清，微观宇宙比韦伯望远镜看得还远。
Midjourney和Stable Diffusion，已经卷到没边了！
几乎在Stable Diffusion XL 0.9发布的同一时间，Midjourney宣布推出了5.2版本。

此次5.2版本最亮眼的更新在于zoom out功能，它可以无限扩展原始图像，同时保持跟原始图像的细节相同。
用zoom out做出的无垠宇宙动画，直接让人震惊到失语，可以说，Midjourney 5.2看得比詹姆斯韦伯太空望远镜还要远！

这个极其强大的功能，可以创造出非常神奇的图片，甚至还能被用来拍摄毫无破绽的高清变焦视频！

这个「核弹级」更新，让网友直呼：你们这个功能也太强大了，直接把我的睡眠毁了！
玩了一个小时之后，这名网友再次表示：太强大了，我要哭了……

无限缩放，像宇宙一样没有尽头——

OpenAI发布的最新研究论文显示，该公司正在用一种新的方法来训练人工智能(AI)模型，以对抗人工智能“幻觉”。

人工智能幻觉指的是人工智能模型生成内容的能力，这些内容不是基于任何现实世界的数据，而是模型自己想象的产物。人们担心这种幻觉可能带来的潜在问题，包括道德、社会和实际问题。

当OpenAI的聊天机器人ChatGPT或谷歌公司竞品Bard纯粹在捏造虚假信息时，就会发生人工智能幻觉，表现得就像是在滔滔不绝地谈论事实一样。某些独立的专家对OpenAI这样做的效果表示怀疑。

举个例子，在谷歌2月份为Bard拍摄的宣传视频中，这个聊天机器人对詹姆斯·韦伯太空望远镜做出了不真实的表述。最近，ChatGPT在纽约联邦法院的一份文件中引用了“伪造”的案件，导致涉案的纽约律师可能面临处罚。

OpenAI的研究人员在报告中写道：“即使是最先进的人工智能模型也很容易产生谎言，它们在不确定的时刻往往表现出捏造事实的倾向。而这些幻觉在需要多步骤推理的领域尤其严重，因为一个逻辑错误就足以破坏一个更大的解决方案。”

该公司提出的新策略是：训练人工智能模型时，奖励每个正确的推理步骤，而不仅仅是简单地奖励正确的最终结论。根据研究人员的说法，这种方法被称为“过程监督”，而不是“结果监督”，它可能会提高人工智能的性能与准确性，因为这种策略鼓励模型更多地遵循类似人类的“思维链”。

OpenAI的数学研究员Karl Cobbe指出：“检测并减轻模型的逻辑错误或幻觉，是构建通用人工智能(AGI)的关键一步。”他指出，这项研究背后的动机是解决人工智能幻觉，以便使模型更有能力解决具有挑战性的推理问题。

Cobbe补充道，OpenAI已经发布了一个附带的数据集，其中包含80万个人类标签，用于训练研究论文中提到的模型。

此前一天，科技界高管和人工智能科学家正在对AI敲响警钟，他们表示，这项技术带来的灭绝风险堪比疫情和核战。

超过350人签署了人工智能安全中心(Center for AI Safety)发布的一份声明，该组织表示，与疫情和核战争等其他社会规模的风险一样，减轻人工智能带来的灭绝风险应该成为全球的优先事项。