使用 AI 模型进行原型制作

免费查找和试验 AI 模型。

本文内容

如果要开发生成式 AI 应用程序，则可以使用 GitHub Models 免费查找和试验 AI 模型。准备好将应用程序引入生产环境后，可从付费 Azure 帐户切换到令牌。请参阅 Azure CLI 文档。

若要查找 AI 模型，请转到 GitHub Marketplace，然后单击边栏中的 “模型”。

若要查看模型的详细信息，请单击模型的名称。

Note

对 OpenAI o1 模型的访问权限目前为公共预览版，可能随时更改。

Note

操场功能为公共预览版，可能随时更改。若要请求访问，请加入候补名单。

GitHub Marketplace 提供了一个免费操场，可在其中调整模型参数并提交提示来查看模型响应方式。

若要打开操场，请转到 GitHub Marketplace，然后单击边栏中的 “模型”。单击模型的名称，然后单击 “操场”。

若要调整模型的参数，请选择边栏中的 “参数”选项卡。若要查看与所选参数对应的代码，请从“聊天”选项卡切换到“代码”选项卡。

还可以一次性比较两种模型。在模型菜单栏中，单击“ 比较”，然后使用第二个聊天窗口中的“模型: MODEL-NAME ”下拉菜单选择要比较的模型********。在任意一个聊天窗口中键入提示时，提示将自动镜像到另一个窗口，你可以比较各个模型的响应。

操场速率有限。请参阅下面的速率限制。

Note

免费 API 使用功能为公共预览版，可能随时更改。若要请求访问，请加入候补名单。

GitHub 提供免费的 API 使用，以便你可以在自己的应用程序中试验 AI 模型。

若要了解如何在应用程序中使用模型，请转到 GitHub Marketplace，然后单击边栏中的 “模型”。单击模型的名称，然后单击 “操场”。在聊天窗口顶部的菜单栏中，单击“ 代码”****。

使用每个模型的步骤都是相似的。一般而言，需要：

（可选）使用语言下拉列表选择编程语言。
（可选）使用 SDK 下拉列表选择要使用的 SDK。

所有模型都可以与 Azure AI 推理 SDK 一起使用，有些模型支持其他 SDK。如果想在模型之间轻松切换，应选择“Azure AI 推理 SDK”。如果选择“REST”作为语言，则不会使用 SDK。而是直接使用 API 终结点。
打开 codespace 或设置本地环境：
- 若要在 codespace 中运行，请单击 “运行 codespace”，然后单击“创建新 codespace”。
- 若要在本地运行，请执行以下操作：
  - 创建 GitHub personal access token。令牌不应具有任何作用域或权限。请参阅“管理个人访问令牌”。
  - 将令牌另存为环境变量。
  - 如果需要，安装 SDK 的依赖项。
使用示例代码向模型发出请求。

免费 API 使用的速率受限制。请参阅下面的速率限制。

可以使用预设保存和共享你在操场中的进度。预设保存：

若要为当前上下文创建预设，请选择“预设: PRESET-NAME ”下拉菜单，然后单击“ 创建新预设”********。你需要为预设命名，还可以选择提供预设说明，包括聊天历史记录，并允许共享预设。

可通过两种方式加载预设：

加载预设后，可以编辑、共享或删除该预设：

Note

Visual Studio Code 的 AI 工具包扩展为公共预览版，可能会发生变化。

如果希望在 IDE 中试验 AI 模型，可以安装 Visual Studio Code 的 AI 工具包扩展，然后使用可调整的参数和上下文测试模型。

在 Visual Studio Code 中，安装 Visual Studio Code 的 AI 工具包的预发布版本。
若要打开扩展，请单击活动栏中的“AI 工具包”图标。
为 AI 工具包授权，以连接到你的 GitHub 帐户。
在 AI 工具包面板的“我的模型”部分中，单击“打开模型目录”，然后找到要试验的模型****。
- 若要使用通过 GitHub Models 远程托管的模型，请在模型卡上单击“在操场中尝试”****。
- 若要在本地下载和使用模型，请在模型卡上单击“下载”。下载完成后，在同一模型卡上单击“在操场加载”。
在边栏中，为模型提供任何上下文说明和推理参数，然后发送提示。

操场和免费 API 使用的速率限制旨在帮助你试验模型并开发 AI 应用程序。准备好将应用程序引入生产环境后，可以使用付费 Azure 帐户中的令牌，而不是 GitHub personal access token。不需要更改代码中的其他任何内容。

有关详细信息，请参阅 Azure AI 文档。

操场和免费 API 使用受到每分钟请求数、每天请求数、每个请求的令牌数和并发请求数的速率限制。如果受到速率限制，则需要等待命中的速率限制重置，然后才能发出更多请求。

低、高和嵌入模型具有不同的速率限制。若要查看所使用的模型类型，请参阅 GitHub Marketplace 中的模型信息。

速率限制层	速率限制	免费和 Copilot 个人	Copilot Business	Copilot Enterprise
低	每分钟请求数	15	15	20
	每天请求数	150	300	450
	每个请求的令牌数	8000 输入，4000 输出	8000 输入，4000 输出	8000 输入，8000 输出
	并发请求	5	5	8
高	每分钟请求数	10	10	15
	每天请求数	50	100	150
	每个请求的令牌数	8000 输入，4000 输出	8000 输入，4000 输出	16000 输入，8000 输出
	并发请求	2	2	4
嵌入	每分钟请求数	15	15	20
	每天请求数	150	300	450
	每个请求的令牌数	64000	64000	64000
	并发请求	5	5	8
Azure OpenAI o1-preview	每分钟请求数	1	2	2
	每天请求数	8	10	12
	每个请求的令牌数	4000 输入，4000 输出	4000 输入，4000 输出	4000 输入，8000 输出
	并发请求	1	1	1
Azure OpenAI o1-mini	每分钟请求数	2	3	3
	每天请求数	12	15	20
	每个请求的令牌数	4000 输入，4000 输出	4000 输入，4000 输出	4000 输入，4000 输出
	并发请求	1	1	1

这些速率可能随时更改，恕不另行通知。

若要留下有关 GitHub Models 的反馈，请在 GitHub 社区中发起新讨论或对现有讨论发表评论。