GPT-4

GPT-4
Ontwikkelaar(s)	OpenAI
Uitgebracht	14 maart 2023
Geschreven in	Python
Categorie	Groot taalmodel
Licentie(s)	propriëtaire licentie
Website	openai.com/gpt-4
Portaal    Informatica

Generative Pre-trained Transformer 4 (GPT-4) is een multimodaal groot taalmodel gemaakt door OpenAI, en het vierde in zijn reeks GPT-basismodellen. Het werd gelanceerd op 14 maart 2023 en openbaar gemaakt via het betaalde chatbotproduct ChatGPT Plus, via de API van OpenAI en via de gratis chatbot Microsoft Copilot. GPT-4 is een model gebaseerd op een transformer, en gebruikt een paradigma waarbij pre-training met behulp van zowel openbare gegevens als "gegevens onder licentie van externe leveranciers" wordt gebruikt om het volgende token te voorspellen. Het model werd vervolgens verfijnd met behulp van versterkende feedback van mensen en AI om het menselijker te maken en in overeenstemming met het gekozen beleid.

Waarnemers meldden dat de iteratie van ChatGPT met behulp van GPT-4 een verbetering was ten opzichte van de vorige iteratie op basis van GPT-3.5, hoewel enkele problemen blijven bestaan. GPT-4, uitgerust met visie-mogelijkheden (GPT-4V), kan afbeeldingen maken als invoer op ChatGPT. OpenAI heeft geweigerd technische details en statistieken over GPT-4 vrij te geven, zoals de precieze grootte van het model.

Gebruik

ChatGPT

ChatGPT Plus is een verbeterde versie van ChatGPT die beschikbaar is voor een abonnement van US$ 20 per maand. ChatGPT Plus maakt gebruik van GPT-4, terwijl de gratis versie van ChatGPT wordt ondersteund door GPT-3.5. OpenAI maakt GPT-4 ook beschikbaar voor een selecte groep aanvragers via hun GPT-4 API-wachtlijst. Na goedkeuring wordt een extra vergoeding in rekening gebracht van US$ 0,03 per 1000 tokens in de initiële tekst die aan het model wordt verstrekt ("prompt"), en US$ 0,06 per 1000 tokens die het model genereert ("voltooiing") voor toegang naar de versie van het model met een contextvenster met 8192 tokens; voor het contextvenster van 32768 tokens worden de prijzen verdubbeld.

In september 2023 kondigde OpenAI aan dat ChatGPT "nu kan zien, horen en spreken". ChatGPT Plus-gebruikers kunnen afbeeldingen uploaden, terwijl gebruikers van mobiele apps met de chatbot kunnen praten. In oktober 2023 werd OpenAI's nieuwste model voor het genereren van afbeeldingen, DALL-E 3, geïntegreerd in ChatGPT Plus en ChatGPT Enterprise. De integratie maakt gebruik van ChatGPT om aanwijzingen voor DALL-E te schrijven op basis van gesprekken met gebruikers.

Microsoft Copilot

Microsoft Copilot is een chatbot ontwikkeld door Microsoft. Het werd op 7 februari 2023 gelanceerd als Bing Chat, als een ingebouwde functie voor Microsoft Bing en Microsoft Edge. Het maakt gebruik van het Microsoft Prometheus-model, dat bovenop GPT-4 is gebouwd, en door Microsoft is voorgesteld als een ondersteunde vervanging voor het stopgezette Cortana.

De gespreksinterfacestijl van Copilot lijkt op die van ChatGPT. Copilot kan bronnen citeren, gedichten maken en zowel songteksten als muziek schrijven voor nummers die zijn gegenereerd door de Suno AI-plug-in. Het kan ook de Image Creator gebruiken om afbeeldingen te genereren op basis van tekstprompts. Met GPT-4 kan het in talloze talen en dialecten begrijpen en communiceren.

Ander gebruik

• De taalleerapp Duolingo gebruikt GPT-4 om fouten uit te leggen en gesprekken te oefenen. De functies maken deel uit van een nieuwe abonnementslaag genaamd "Duolingo Max", die aanvankelijk beperkt was tot Engelssprekende iOS-gebruikers die Spaans en Frans leren.
• De regering van IJsland gebruikt GPT-4 om haar pogingen om de IJslandse taal te behouden te ondersteunen.
• De onderwijswebsite Khan Academy kondigde een pilootprogramma aan waarbij GPT-4 wordt gebruikt als een chatbot voor bijles, genaamd 'Khanmigo'.
• Be My Eyes, dat mensen met een visuele beperking helpt objecten te identificeren en door hun omgeving te navigeren, bevat de beeldherkenningsmogelijkheden van GPT-4.
• Viable gebruikt GPT-4 om kwalitatieve gegevens te analyseren door de LLM's van OpenAI te verfijnen om gegevens zoals klantondersteuningsinteracties en transcripties te onderzoeken.
• Stripe, dat gebruikersbetalingen voor OpenAI verwerkt, integreert GPT-4 in zijn ontwikkelaarsdocumentatie.
• Auto-GPT is een autonome ‘AI-agent’ die, gegeven een doel in natuurlijke taal, onbeheerd webgebaseerde acties kan uitvoeren, subtaken aan zichzelf kan toewijzen, op internet kan zoeken en iteratief code kan schrijven.

Ontvangst

In januari 2023 bezocht Sam Altman, CEO van OpenAI, het Amerikaans Congres om GPT-4 en de verbeterde "veiligheidscontroles" ervan te demonstreren in vergelijking met andere AI-modellen, aldus Amerikaanse vertegenwoordigers Don Beyer en Ted Lieu, geciteerd in de New York Times.

In maart 2023 "maakte het indruk op waarnemers met zijn aanzienlijk verbeterde prestaties op het gebied van redeneren, onthouden en coderen", aldus Vox, terwijl Mashable oordeelde dat GPT-4 over het algemeen een verbetering was ten opzichte van zijn voorganger, op enkele uitzonderingen na.

Microsoft-onderzoekers met vroege toegang tot het model schreven dat "het redelijkerwijs kan worden gezien als een vroege (maar nog steeds onvolledige) versie van een kunstmatige algemene intelligentie (AGI) -systeem".

Bezorgdheid over de veiligheid

Voordat ze werden verfijnd en afgestemd door het leren van menselijke feedback, werden suggesties om mensen op een lijst te vermoorden uit het basismodel gehaald door een red team-onderzoeker Nathan Labenz, ingehuurd door OpenAI.

In de context van urenlange gesprekken met het model werden door Nathan Edwards (The Verge) suggesties van liefde en ontbinding van het huwelijk en moord op een van de ontwikkelaars uit de GPT-4 aan Microsoft Bing ontlokt. Microsoft legde dit gedrag later uit als een resultaat van de langere context, waardoor het model in verwarring raakte over de vragen die het beantwoordde.

In maart 2023 is een model met lees- en schrijftoegang tot het internet, dat anders nooit is ingeschakeld in de GPT-modellen, door het Alignment Research Center getest op mogelijke machtszucht en het was in staat om een menselijke arbeider "in te huren" op TaskRabbit, een werkplatform voor klusjes, en misleidde hen door hen te doen geloven dat het een mens met een visuele beperking was in plaats van een robotd. De ARC stelde ook vast dat GPT-4 82% minder vaak dan GPT-3.5 vaak ontoelaatbaar reageerde op prompts waarbij beveiligde informatie werd opgeroepen, en 60% minder hallucineerde dan GPT-3.5.

Eind maart 2023 riepen verschillende AI-onderzoekers en tech-managers, waaronder Elon Musk, Steve Wozniak en AI-onderzoeker Yoshua Bengio, op tot een pauze van zes maanden voor alle LLM's die sterker zijn dan GPT-4, daarbij verwijzend naar existentiële risico's en mogelijke zorgen over AI-singulariteit. in een open brief van het Future of Life Institute, terwijl Raymond Kurzweil en Sam Altman weigerden deze te ondertekenen, met het argument dat een mondiaal moratorium niet haalbaar is en dat veiligheid al prioriteit heeft gekregen. Een maand later al kocht Musks AI-bedrijf X.AI enkele duizenden Nvidia GPU's aan en bood het verschillende AI-onderzoekers posities aan.

Kritiek op transparantie

Hoewel OpenAI zowel de gewichten van het neurale netwerk als de technische details van GPT-2 heeft vrijgegeven, en, hoewel de gewichten niet zijn vrijgegeven, wel de technische details van GPT-3 heeft vrijgegeven, heeft OpenAI niets onthuld over de gewichten of de technische details van GPT-4. Dit besluit is bekritiseerd door andere AI-onderzoekers, die beweren dat het open onderzoek naar de vooroordelen en veiligheid van GPT-4 belemmert. Sasha Luccioni, wetenschappelijk onderzoeker bij Hugging Face, voerde aan dat het model een "doodlopende weg" was voor de wetenschappelijke gemeenschap vanwege het gesloten karakter ervan, waardoor anderen niet kunnen voortbouwen op de verbeteringen van GPT-4. Thomas Wolf, medeoprichter van Hugging Face, voerde aan dat met GPT-4 "OpenAI nu een volledig gesloten bedrijf is met wetenschappelijke communicatie die lijkt op persberichten voor producten".

Zie ook

• Gemini (taalmodel)