教你如何在亚马逊云中使用Amazon Bedrock创建AI模型
本教程介绍如何在AWS亚马逊云中 通过使用Amazon Bedrock来创建属于自己的AI数据大模型。
Amazon Bedrock 介绍
Amazon Bedrock 是一项完全托管的服务,通过单个 API 提供来自 AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI 和 Amazon 等领先人工智能公司的高性能基础模型(FM),以及通过安全性、隐私性和负责任的人工智能构建生成式人工智能应用程序所需的一系列广泛功能。使用 Amazon Bedrock,您可以轻松试验和评估适合您的使用案例的热门 FM,通过微调和检索增强生成(RAG)等技术利用您的数据对其进行私人定制,并构建使用您的企业系统和数据来源执行任务的代理。由于 Amazon Bedrock 是无服务器的,因此您无需管理任何基础设施,并且可以使用已经熟悉的 AWS 服务将生成式人工智能功能安全地集成和部署到您的应用程序中。
Amazon Bedrock 提供了丰富的功能,助力开发者和企业在构建智能应用时更加高效。通过使用 Bedrock,您可以:
轻松测试与评估:快速了解您的用例在不同基础模型下的表现;
定制化开发:利用微调和检索增强生成(RAG)等技术,打造符合需求的应用程序;
智能代理构建:开发可以与企业系统和数据源无缝集成的智能代理,自动执行各种任务;
模型评估:通过自动或手动评估功能,对比不同模型,选择最适合您需求的基础模型。评估指标涵盖准确性、稳健性以及有害内容筛查等;
安全防护:利用 Guardrails,根据应用需求和负责任的人工智能政策,定制安全保障措施,确保输入和输出内容的安全。
官方地址:https://aws.amazon.com/cn/bedrock/
什么是 Amazon Bedrock
Amazon Bedrock 是 AWS(Amazon Web Services)推出的一项新服务,旨在简化大规模生成式 AI 模型的创建和管理。它提供了一个平台,帮助开发者和企业快速构建、部署和扩展 AI 应用,特别是生成式 AI(如自然语言生成、图像生成等)模型。
Amazon Bedrock 是一项完全托管的服务,通过统一的 API 提供来自 AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI 和 Amazon 等领先 AI 公司的高性能基础模型(FMs),同时提供广泛的功能,让您能够在确保安全、隐私和负责任 AI 的前提下构建生成式 AI 应用。
主要特点:
- 预训练模型:Amazon Bedrock 提供了一系列预训练的生成式 AI 模型,用户可以直接使用或在其基础上进行微调,节省了从头开始训练模型的时间和成本。
- 灵活性:用户可以选择不同的模型架构和供应商(如 Amazon、Meta、Anthropic 等),根据具体需求和应用场景进行定制。
- 集成和扩展:与 AWS 的其他服务(如 Amazon SageMaker、AWS Lambda 等)无缝集成,方便将 AI 功能嵌入到现有的应用程序和工作流程中。
- 高效管理:提供强大的工具来监控和管理模型性能,确保其在生产环境中的稳定性和效率。
- 安全和合规:符合 AWS 的安全标准和合规要求,确保数据和模型的安全性和隐私保护。
Amazon Bedrock 为开发者和企业提供了一个强大的平台,简化了生成式 AI 的开发和部署过程,使其能够更快、更高效地创建创新的 AI 应用。
开始使用 Amazon Bedrock
首先你需要注册亚马逊云账户:
注册亚马逊云非常简单,首先通过下面官网入口进入到亚马逊官方网站。
可以通过亚马逊云科技管理控制台、亚马逊云科技软件开发工具包和开源框架(例如 LangChain)访问 Amazon Bedrock 中可用的基础模型(FM)。
登录AWS的控制台主页后,在所有服务中的Machine Learning菜单下找到Amazon Bedrock。
在 Amazon Bedrock 控制台中,可以浏览 FM,浏览和加载每个模型的示例用例和提示。
首先,需要启用对模型的访问权限。
注意:由于地区限制,有些地区没有访问权,可以切换地区,点击右上角的地区进行切换。
例如:选择弗吉尼亚北部后,很多模型都可以正常请求权限了。每个区的访问权限是不同了,可以尝试切换其它区域,然后看一下哪些模型可以访问。
在控制台中,选择左侧导航窗格中的模型访问权限并启用您要访问的模型。
启用模型访问权限后,可以尝试不同的模型和推理配置设置,以找到适合用例的模型。
在亚马逊云中使用 Amazon Bedrock 创建 AI 模型是一个简便且高效的过程。
首先,登录到 AWS 管理控制台并访问 Amazon Bedrock 服务。选择所需的预训练生成式 AI 模型,如自然语言处理或图像生成模型。
Amazon Bedrock 提供了多种模型选项,包括来自 Amazon 和其他领先 AI 供应商的模型,用户可以根据具体需求进行选择。
接下来,配置模型参数,设置微调选项以适应特定应用场景。Bedrock 允许用户通过简单的配置和集成选项来进行模型微调,无需复杂的手动调优。配置完成后,可以启动训练过程,Amazon Bedrock 将自动管理计算资源,确保模型训练的高效性和稳定性。
训练完成后,用户可以使用 Bedrock 提供的工具进行模型测试和评估,确保其在生产环境中的性能。最后,通过与 AWS 其他服务的集成,如 Amazon SageMaker 和 AWS Lambda,将训练好的模型部署到实际应用中,快速实现 AI 功能的应用。
为了确保模型的高效使用,建议优先选择美国区域,这样可以获取更多的模型选项,并且在请求模型时,可以方便地查看其访问状态。
目前,Bedrock 已经托管了最新的 Llama 3.1 模型,包含 8B 和 70B 版本,同时也支持最新的 Mistral Large 模型。
Amazon Bedrock 文本生成
Amazon Bedrock 的文本生成功能为开发者提供了一种高效、灵活的方式来创建和优化自然语言处理(NLP)应用。通过 Amazon Bedrock,用户可以访问一系列预训练的生成式 AI 模型,这些模型能够生成高质量的文本,包括文章撰写、对话生成和内容创作等。
在使用文本生成服务时,用户可以选择适合其应用场景的模型,例如用于生成创意内容、自动化客服回复或编写报告等。Amazon Bedrock 提供了简便的界面来调整模型参数和配置生成设置,以确保生成的文本符合特定需求。通过集成 AWS 的其他服务,如 Amazon SageMaker,用户可以进一步优化模型的性能并进行深度定制。
Amazon Bedrock 的文本生成功能不仅支持高效的内容创建,还能保证生成的文本符合安全和合规标准。借助这一功能,企业和开发者能够快速构建智能化的文本生成应用,提升生产力并增强用户体验。
由于Meta 的模型在中文处理上的表现不佳,因此选择了 Mistral AI 的 Large 模型来进行文本生成。该模型在中文生成方面表现出色,能够大幅提升生成效果。使用大模型进行代码生成也是一大优势,它可以帮助我们节省大量的调试时间。
Amazon Bedrock 图片生成
Amazon Bedrock 的图片生成功能为开发者和企业提供了一种创新的方式来生成高质量的视觉内容。利用预训练的生成式 AI 模型,用户可以创建多种类型的图像,包括艺术创作、产品设计、广告素材等。
通过 Amazon Bedrock,用户可以选择适合其需求的图像生成模型,这些模型支持高分辨率图像生成和细节调整。用户可以输入文本描述或其他输入条件,模型会根据这些输入生成相应的图像。该服务支持灵活的参数设置,使得生成的图像能够符合特定的风格和要求。
Bedrock 的图像生成服务集成了 AWS 的安全和合规功能,确保生成的内容符合行业标准,并保障数据隐私。此外,用户还可以利用 AWS 的其他工具进行进一步的图像处理和优化,如 Amazon SageMaker,用于提升模型的性能和生成质量。
总之,Amazon Bedrock 的图片生成功能为各种业务需求提供了强大的视觉创作工具,帮助企业提升内容创作效率,并推动视觉内容的创新。
Amazon Bedrock 在图片生成方面,您可以使用 Stable Diffusion XL – SDXL 1.0 或 Titan Image Generator G1。我选择了 Titan Image Generator G1 来生成一些示例图片,默认生成的是横向的 1024×1024 分辨率图像。
生成图片需要一些时间,但结果展示了 AI 帮助我们实现的“鸟语花香”美景。
安全防护机制与模型评估
在安全防护方面,您可以手动设置模型拒绝特定回答的关键词。例如,我在此处设置了“彩票”、“中奖”和“恭喜”作为屏蔽词,并阻止模型回答涉及 PII(个人身份信息)的请求,如姓名等。
您可以选择自动评估或手动评估模型的表现,以确保其符合项目需求。
通过合理选择模型并进行安全设置,Amazon Bedrock 提供了强大的工具,助力开发智能、安全且负责任的 AI 应用。无论是进行文本生成、图片生成,还是进行模型评估和安全防护,Bedrock 都能为您的项目提供全面的支持。它不仅简化了 AI 模型的创建和管理过程,还确保了模型在生产环境中的安全性和合规性。利用 Bedrock 的先进功能,您可以高效构建符合业务需求的 AI 解决方案,推动创新并保障数据安全。