tokeny

Model językowy to system, który analizuje zależności między elementami tekstu i przewiduje kolejne tokeny na podstawie