Autoregressief samplen is een techniek die wordt gebruikt in generatieve taalmodellen zoals GPT-4 om tekst te genereren. Het is gebaseerd op het idee van het voorspellen van één token (woord of deel van een woord) tegelijk, waarbij rekening wordt gehouden met de reeds gegenereerde tokens. Hier is een uitleg van de termen "autoregressief" en "samplen":
Autoregressief: In statistiek en signaalverwerking verwijst autoregressie naar een proces waarbij huidige waarden in een reeks afhankelijk zijn van eerdere waarden in diezelfde reeks. In het geval van taalmodellen betekent dit dat de voorspelling van het volgende token afhankelijk is van de context die bestaat uit eerder gegenereerde tokens en de initiële input.
Samplen: In deze context betekent samplen het selecteren van een token uit een verzameling van mogelijke kandidaten op basis van hun kansen. Het model berekent de waarschijnlijkheid van elk mogelijk token om te verschijnen na de huidige context en kiest er vervolgens een uit op basis van deze waarschijnlijkheden.
Dus, in autoregressief samplen, wordt elk nieuw token gegenereerd op basis van de context die wordt gevormd door de eerder gegenereerde tokens. Het model voorspelt de meest waarschijnlijke volgende token, voegt deze toe aan de bestaande context en herhaalt dit proces totdat de gewenste lengte van de output tekst is bereikt of een ander vooraf bepaald criterium is bereikt.
Autoregressief samplen