Originele zin: "De kat sprong op het bed."
In Masked Language Modeling zouden we een deel van de zin verbergen, bijvoorbeeld:
Gemaskerde zin: "De kat sprong op het [MASK]."
Hier hebben we het woord "bed" vervangen door een [MASK]-token. Het doel van het model is nu om het gemaskeerde woord te voorspellen op basis van de context van de rest van de zin.
GPT-4 zou de gemaskerde zin analyseren en proberen te bepalen welk woord het beste in de context past. Gezien de training op diverse teksten, zou het model waarschijnlijk het juiste woord "bed" voorspellen, omdat het de meest logische en waarschijnlijke optie is gezien de context.
Masked Language Modeling kan ook meerdere gemaskeerde woorden in één zin bevatten, bijvoorbeeld:
Gemaskerde zin: "De [MASK] sprong op het [MASK]."
In dit geval moet het model zowel het eerste als het tweede gemaskeerde woord voorspellen. Op basis van de context en zijn kennis van de taal, zou het model waarschijnlijk voorspellen dat het eerste gemaskeerde woord "kat" is en het tweede "bed".
Door dit soort oefeningen met miljarden tekstfragmenten uit te voeren, leert het model de structuur, regels en patronen van de taal en bouwt het zijn kennis op.