JambaInstruct模型现已在Amazon Bedrock上线

作者：Joshua Broyde 和 Fernando Espigares Caballero 于2024年6月25日发布于 Amazon Bedrock， 公告， 人工智能， 基础100， 生成式AI 永久链接 评论 分享

关键要点

我们高兴地宣布，AI21 Labs开发的JambaInstruct大语言模型LLM现已在Amazon Bedrock中上线。JambaInstruct支持256000个标记的上下文窗口，特别适合处理大型文档和复杂的检索增强生成RAG应用。

JambaInstruct简介

JambaInstruct是Jamba基础模型的一个指令调优版本，之前由AI21 Labs开源。它结合了生产级模型、结构状态空间SSM技术和Transformer架构。通过SSM方法，JambaInstruct在其模型大小类别中可以实现最大的上下文窗口长度，同时还提供传统基于Transformer的模型所提供的性能。这些模型在性能上比AI21之前的Jurassic2系列模型更为出色。有关混合SSM/Transformer架构的更多信息，请参阅《Jamba 混合TransformerMamba语言模型》白皮书。

开始使用JambaInstruct

要在Amazon Bedrock中开始使用JambaInstruct模型，首先需要获得模型访问权限。

有关更多信息，请参阅模型访问。

接下来，您可以在Amazon Bedrock的文本或聊天游乐场中测试该模型。

JambaInstruct的示例用例

JambaInstruct较长的上下文长度特别适合复杂的检索增强生成RAG工作负载，或潜在的复杂文档分析。例如，它适用于检测不同文档之间的矛盾，或在另一文档的上下文中分析一份文档。以下是适合此用例的示例提示：

您是一名专家研究助理；您需要注意第一份文件和第二份文件之间的任何矛盾：

文件1：{文件内容}

文件2：{文件内容}

矛盾：

您还可以使用Jamba进行查询增强，这是一种将原始查询转化为相关查询的技术，以优化RAG应用。例如：

您是一位好奇而新颖的研究人员，您非常希望获得特定主题的所有相关信息。给定原始查询，您希望生成多达10个相关查询。这些查询应基于原始查询，但仍然是新的：

原始查询：{原始查询}

新查询：

您还可以使用Jamba进行标准的LLM操作，例如摘要和实体提取。

有关JambaInstruct的提示指导，请参阅AI21模型文档。有关JambaInstruct的更多信息，包括相关的基准，请参阅《为企业而生：介绍AI21的JambaInstruct模型》。

程序化访问

您还可以通过API访问JambaInstruct，使用Amazon Bedrock和AWS SDK for Python (Boto3)。有关安装和设置说明，请参阅快速入门。以下是示例代码片段：

pythonimport boto3import json

bedrock = boto3client(servicename=bedrockruntime)

prompt = 在此插入您的提示

body = jsondumps({ messages[{roleusercontentprompt}] maxtokens 256 topp 08 temperature 07})

modelId = ai21jambainstructv10

accept = application/jsoncontentType = application/json

response = bedrockinvokemodel( body=body modelId=modelId accept=accept contentType=contentType)result = jsonloads(responseget(body)read())print(result[choices][0][message][content])

总结

AI21 Labs的JambaInstruct在Amazon Bedrock中非常适合需要较长上下文窗口高达256000个标记的应用，例如生成摘要或回答基于长文档的问题，避免了手动将文档划分为适应其他LLM较小上下文窗口的需要。新的SSM/Transformer混合架构也提高了模型的吞吐量。对于超过128000个标记的上下文窗口长度，它能提供最多三倍的每秒标记处理能力，相比于同类其他模型。

AI21 Labs的JambaInstruct在美国东部弗吉尼亚州北部AWS区域可用，并可以按需消费模式访问。要了解更多信息，请参阅Amazon Bedrock中的支持基础模型。要开始使用AI21 Labs的JambaInstruct，请访问Amazon Bedrock控制台。

关于作者

Joshua Broyde，博士，现任AI21 Labs的首席解决方案架构师。他与客户和AI21合作伙伴共同工作，涵盖生成AI价值链，包括在企业级环境下启用生成AI，利用复杂的LLM工作流程和链条，以及在规模上使用LLM。

Fernando Espigares Caballero是AWS的高级合作伙伴解决方案架构师。他与战略技术合作伙伴共同创建联合解决方案，为客户提供价值。他在IT平台、数据中心以及云计算和互联网相关服务方面拥有超过25年的工作经验，并持有多项行业和AWS认证。目前他关注生成AI，以开启创新并创建满足特定客户需求的新解决方案。

加载评论