Prototyperstellung mit KI-Modellen

Wenn Sie eine generative KI-Anwendung entwickeln möchten, können Sie GitHub Models verwenden, um KI-Modelle kostenlos zu suchen und mit ihnen zu experimentieren. Sobald Sie bereit sind, Ihre Anwendung in die Produktion zu bringen, können Sie von einem kostenpflichtigen Azure-Konto zu einem Token wechseln. Weitere Informationen finden Sie in der Azure KI-Dokumentation.

Weitere Informationen finden Sie auch unter „Verantwortungsvolle Nutzung von GitHub-Modellen“.

Finden von KI-Modellen

Um KI-Modelle zu finden, wechseln Sie zu GitHub Marketplace und klicken Sie dann auf -Modelle in der Randleiste.

Um Details zu einem Modell anzuzeigen, klicken Sie auf den Namen des Modells.

Experimentieren mit KI-Modellen im Playground

GitHub Marketplace bietet einen kostenlosen Playground, in dem Sie Modellparameter anpassen und Aufforderungen übermitteln können, um zu sehen, wie das Modell reagiert.

Um den Playground zu öffnen, wechseln Sie zu GitHub Marketplace, und klicken Sie dann auf -Modelle in der Randleiste. Klicken Sie auf den Namen eines Modells, und klicken Sie dann auf -Playground.

Um Parameter für das Modell anzupassen, wählen Sie die Registerkarte Parameter in der Randleiste aus. Um Code anzuzeigen, der den von Ihnen ausgewählten Parametern entspricht, wechseln Sie von der Registerkarte Chat zur Registerkarte Code.

Du kannst auch zwei Modelle auf einmal vergleichen. Klicke dazu in der Menüleiste für dein Modell auf Compare. Wähle anschließend im zweiten Chatfenster im Dropdownmenü Model: MODEL-NAME ein Modell für den Vergleich aus. Wenn du in eines der beiden Chatfenster ein Prompt eingibst, wird dieses automatisch im anderen Fenster gespiegelt, sodass du die Antworten der beiden Modelle miteinander vergleichen kannst.

Der Playground hat eine Ratenbegrenzung. Weitere Informationen finden Sie unter Ratenbegrenzung weiter unten.

Experimentieren mit KI-Modellen mithilfe der API

GitHub bietet kostenlose API-Nutzung, sodass Sie mit KI-Modellen in Ihrer eigenen Anwendung experimentieren können.

Um zu erfahren, wie Sie ein Modell in Ihrer Anwendung verwenden, wechseln Sie zu GitHub Marketplace und klicken Sie dann auf -Modelle in der Randleiste. Klicken Sie auf den Namen eines Modells, und klicken Sie dann auf -Playground. Klicke in der Menüleiste oben im Chatfenster auf Code.

Die Schritte zur Verwendung der einzelnen Modelle sind ähnlich. Sie müssen im Allgemeinen die folgenden Schritte ausführen:

1. Verwenden Sie optional das Sprach-Dropdown, um die Programmiersprache auszuwählen.

2. Optional können Sie das SDK-Dropdown verwenden, um auszuwählen, welches SDK verwendet werden soll.

   Alle Modelle können mit dem Azure AI Inference SDK verwendet werden, und einige Modelle unterstützen zusätzliche SDKs. Wenn Sie einfach zwischen Modellen wechseln möchten, müssen Sie „Azure AI Inference SDK“ auswählen. Wenn Sie „REST“ als Sprache ausgewählt haben, verwenden Sie kein SDK. Stattdessen verwenden Sie den API-Endpunkt direkt.

3. Öffnen Sie entweder einen Codespace oder richten Sie Ihre lokale Umgebung ein:

   • Um in einem Codespace auszuführen, klicken Sie auf Codespace ausführen und klicken Sie dann auf Neuen Codespace erstellen.
   • Lokale Ausführung:
     • Erstellen Sie ein GitHub personal access token. Das Token sollte keine Bereiche oder Berechtigungen besitzen. Weitere Informationen finden Sie unter Verwalten deiner persönlichen Zugriffstoken.
     • Speichern Sie Ihr Token als Umgebungsvariable.
     • Installieren Sie die Abhängigkeiten für das SDK, falls erforderlich.

4. Verwenden Sie den Beispielcode, um eine Anforderung an das Modell zu stellen.

Die kostenlose API-Nutzung ist eingeschränkt. Weitere Informationen finden Sie unter Ratenbegrenzung weiter unten.

Speichern und Freigeben deiner Playgroundexperimente

Du kannst den Status im Playground mit Voreinstellungen speichern und freigeben. Mit Voreinstellungen wird Folgendes gespeichert:

• Dein aktueller Status
• Deine Parameter
• Dein Chatverlauf (optional)

Um eine Voreinstellung für deinen aktuellen Kontext zu erstellen, wählst du das Dropdownmenü Preset: PRESET-NAME aus und klickst dort auf Create new preset. Du musst deiner Voreinstellung einen Namen geben. Zudem kannst du für deine Voreinstellung eine Beschreibung eingeben, deinen Chatverlauf einbinden und zulassen, dass deine Voreinstellung freigegeben werden kann.

Es gibt zwei Möglichkeiten, eine Voreinstellung zu laden:

• Wähle im Dropdownmenü Preset: PRESET-NAME die Voreinstellung aus, die du laden möchtest.
• Öffnen der URL einer freigegebenen Voreinstellung

Nach dem Laden einer Voreinstellung kannst du diese bearbeiten, freigeben oder löschen.

• Um die Voreinstellung zu bearbeiten, änderst du die Parameter und rufst das Modell auf. Wenn du mit den Änderungen zufrieden bist, wählst du das Dropdownmenü Preset: PRESET-NAME aus und klickst dort auf Edit preset. Anschließend speicherst du deine Änderungen.
• Um die Voreinstellung freizugeben, wählst du das Dropdownmenü Preset: PRESET-NAME aus und klickst dort auf Share preset, um eine URL zu erhalten, die freigegeben werden kann.
• Um eine Voreinstellung zu löschen, wählst du das Dropdownmenü Preset: PRESET-NAME aus, klickst dort auf Delete preset und bestätigst den Löschvorgang.

Experimentieren mit KI-Modellen in Visual Studio Code

Wenn du mit KI-Modellen lieber in deiner IDE experimentierst, kannst du die KI-Toolkit-Erweiterung für Visual Studio Code installieren und dann Modelle mit einstellbaren Parametern und Kontexten testen.

1. Installiere die Vorabversion des KI-Toolkits für Visual Studio Code in Visual Studio Code.

2. Klicke zum Öffnen der Erweiterung auf das KI-Toolkit-Symbol in der Aktivitätsleiste.

3. Autorisiere das KI-Toolkit, eine Verbindung mit deinem GitHub-Konto herstellen zu dürfen.

4. Klicke im Panel „AI Toolkit“ im Abschnitt „My models“ auf Open Model Catalog, und suche nach einem Modell zum Experimentieren.

   • Wenn du ein Modell auswählst, das über GitHub Models remote gehostet wird, klicke auf der Modellkarte auf Try in playground.
   • Um ein Modell herunterzuladen und lokal zu verwenden, klicke auf der Modellkarte auf Download. Klicke nach dem Herunterladen auf derselben Modellkarte auf Load in playground.

5. Gibt in der Randleiste Kontextanweisungen und Rückschlussparameter für das Modell an und sende dann ein Prompt.

In die Produktion gehen

Die Ratenbeschränkungen für den Playground und die kostenlose API-Nutzung sollen Ihnen helfen, mit Modellen zu experimentieren und Ihre KI-Anwendung zu entwickeln. Sobald Sie bereit sind, Ihre Anwendung in die Produktion zu bringen, können Sie ein Token aus einem kostenpflichtigen Azure-Konto anstelle Ihres GitHub personal access token verwenden. Sie brauchen in Ihrem Code nichts weiter zu ändern.

Weitere Informationen finden Sie in der Azure KI-Dokumentation.

Ratenbegrenzungen

Die Playground- und die kostenlose API-Nutzung sind durch Anforderungen pro Minute, Anforderungen pro Tag, Token pro Anforderung und gleichzeitige Anforderungen eingeschränkt. Wenn Sie eine Ratenbegrenzung bekommen, müssen Sie warten, bis sich die erreichte Ratenbegrenzung zurückgesetzt habt, bevor Sie weitere Anforderungen vornehmen können.

Niedrige, hohe und Einbettungsmodelle weisen unterschiedliche Ratenbegrenzungen auf. Um zu sehen, welche Art von Modell Sie verwenden, verweisen Sie auf die Informationen des Modells in GitHub Marketplace.

Ratenbegrenzungsebene	Ratenbegrenzungen	Kostenlos und Copilot Individual	Copilot Business	Copilot Enterprise
Niedrig	Anforderungen pro Minute	15	15	20
	Anforderungen pro Tag	150	300	450
	Token pro Anforderung	8000 Eingang, 4000 Ausgang	8000 Eingang, 4000 Ausgang	8000 Eingang, 8000 Ausgang
	Gleichzeitige Anforderungen	5	5	8
Hoch	Anforderungen pro Minute	10	10	15
	Anforderungen pro Tag	50	100	150
	Token pro Anforderung	8000 Eingang, 4000 Ausgang	8000 Eingang, 4000 Ausgang	16000 Eingang, 8000 Ausgang
	Gleichzeitige Anforderungen	2	2	4
Einbettung	Anforderungen pro Minute	15	15	20
	Anforderungen pro Tag	150	300	450
	Token pro Anforderung	64000	64000	64000
	Gleichzeitige Anforderungen	5	5	8
Azure OpenAI o1-Vorschau	Anforderungen pro Minute	1	2	2
	Anforderungen pro Tag	8	10	12
	Token pro Anforderung	4000 Eingang, 4000 Ausgang	4000 Eingang, 4000 Ausgang	4000 Eingang, 8000 Ausgang
	Gleichzeitige Anforderungen	1	1	1
Azure OpenAI o1-mini	Anforderungen pro Minute	2	3	3
	Anforderungen pro Tag	12	15	20
	Token pro Anforderung	4000 Eingang, 4000 Ausgang	4000 Eingang, 4000 Ausgang	4000 Eingang, 4000 Ausgang
	Gleichzeitige Anforderungen	1	1	1

Diese Begrenzungen können ohne Vorherige Ankündigung geändert werden.

Hinterlassen von Feedback

Um Feedback zu GitHub Models zu hinterlassen, beginnen Sie eine neue Diskussion oder kommentieren Sie eine vorhandene Diskussion in der GitHub-Community.