我们来聊聊生成式 AI

M6米乐(中国)官方网站 我们来聊聊生成式人工智能

生成式人工智能 (GAI) 在过去几个月中风靡一时,尤其是在硅谷。人们的观点多种多样,有的认为通用人工智能可以在 5 年内实现(从 10 到 15 年),而有的持怀疑态度,认为该行业正处于炒作顶峰,用例受到可靠性和隐私问题等的限制。有些人还认为生成式人工智能只是我们过去进行深度学习和自然语言处理的方式的延伸,因为它的元素很容易让人想起传统的人工智能/机器学习(因此是“炒作”)。他们指出专有数据仍然是关键的差异化因素(更多关于以数据为中心的人工智能这里)。我们仍然需要人机交互来完善人类反馈强化学习 (RLHF) 模型。

但是,与之前深度学习中使用的模型相比,基础模型具有根本不同的架构。基础模型根源于依赖于注意力机制的变压器架构。这种架构极大地改进了上下文定制通过允许 更灵活的输入表示,其中模型可以捕获较长输入序列中的远程依赖性(这在以前是不可能的)。注意力机制本质上还使模型专注于最重要的特征,从而产生更加个性化的预测。在非常具体的数据集上微调更大的模型进一步允许模型处理更复杂的定制要求。因此,虽然过去十年都是关于分类和预测的,但我们正处于一个时代定制将变得更容易、更便宜;相关用例呈爆炸式增长。

其中一些用例包括:

1) 自主代理你给人工智能一个高级目标,例如“帮助我在互联网上赚钱”,人工智能会列出一个待办事项列表,完成任务,根据其进度添加更多任务,直到实现其目标。鉴于其可以部署的任务和行业的众多机会,该领域在过去几个月中确实出现了爆炸式增长。

在这把伞下是私人助理;想象一个世界,每个人都有一个代理人,其职能就像你自己的参谋长一样,由你付费,与其他代理人进行对抗性互动,规划你的任务,为你的利益与他们谈判。代理将具有很强的互动性和动态性,能够进行沟通、获取反馈并更新模型以获得为您定制的输出。它可以成为工作和家庭的私人助理,让 B2B 管理非常重复的任务,让 B2C 在您通过网站或应用程序与他们互动时定制他们的建议。 Inflection.ai、Character.ai、Personal.ai、Microsoft、OpenAI 等公司一直在研究这种技术的变体。这里的技术挑战集中在信任、数据隐私以及在用户设备上运行部分软件的能力。涉足这一领域的公司确实处于早期阶段,为我们提供了建立能力的机会。但是,我们应该注意到,有一个自主代理的风险因素增加。有些人认为,如果这些智能体追求递归自我完善或积极追求自治,那么 GAI 就应该被排除在外。

2) 私人导师,只不过这次它是您手机上每个主题的专家。风险低得多的用例,同时提供了一种极其有效的方式来使用大量信息!

3) 副驾驶 文案写作和软件开发已经非常成功,目前是生成式人工智能的突破性用例。 Github Copilot 是世界第一最广泛采用的 AI 开发者工具推出仅一年;超过 100 万开发人员使用过它,它极大地提高了生产力,用户报告平均接受了 30% 的建议。有趣的是,硅谷的一些公司报告称,他们解雇了 50% 的开发团队,主要是因为副驾驶提高了效率(不仅仅是总体成本削减)。这些副驾驶代表了生成式人工智能的典型用例;当用例满足以下条件时,产品就会成功有弹性— 这些错误不会造成伤害,而且用户很容易发现和纠正。

生成式人工智能是一项具有巨大变革性的万能技术,不受原子限制,只受比特限制。我们正处于采用周期的早期阶段。它的进步速度也非常快,“科技的一个月就是生成人工智能的一天”。当企业考虑是否采用GAI时,我们不应该因为模型的幻觉或错误而过快地否定该技术。这是因为,正如 OpenAI ML 工程师 Ted Sanders 所说,可靠性是一个容易处理的问题;输出的质量是模型和输入的函数。在系统和提示设计上我们可以做出很多改进。正如我们在副驾驶中看到的那样,我们可以在用例中取得成功用户可以轻松检查输出并不断迭代,从而随着时间的推移改进模型。

此外,当我们考虑我们或我们的客户在哪里拥有可以用来构建产品的数据时,需要注意的是“专有数据”极其微妙且依赖于上下文。 a 的强度数据护城河 取决于许多因素:
(1) 数据衰减的速度有多快(这可能需要经常获取新数据的能力);
(2) 如何独特确实如此(安全威胁对于您的公司来说是独一无二的,但当您考虑到许多组织中的事件时,增量就会减少);
(3) 如何高性能合成数据是 (我们开始看到 AV 边缘情况在语料库上的表现也很好完全合成数据);
(4)分布数据(我们是否有足够的数据来考虑边缘情况);
(5) 如何贵而且需要多长时间需要收集达到某些性能基准等所需的数据

总而言之,该架构的本质与传统的 ML/AI 团队所习惯的截然不同,甚至大型科技公司也会组织黑客马拉松,让团队能够修补和建立对模型的直觉。 ChatGPT 为我们提供了一个非常用户友好的界面,让我们可以开始以低代码范例构建应用程序,我鼓励所有员工学习并开始围绕其功能构建直觉。