Nyelvi modellek
Token
A token a szöveg legkisebb egysége, amellyel a nyelvi modell dolgozik — nagyjából egy szó háromnegyede; ez alapján számolják a költséget is.
Angolul: Token
Mit jelent: Token?
A modell nem szavakat, hanem tokeneket lát. Egy magyar szó gyakran 2–4 token, mert a magyar ragozás nehezebben tokenizálható, mint az angol.
A tokenszám két dolgot határoz meg: mennyi fér a kontextusablakba, és mennyibe kerül egy hívás.
Miért számít ez a cégednek?
A tokenalapú árazás miatt egy AI-folyamat üzemeltetési költsége előre kiszámolható: darabszám × átlagos tokenszám × egységár.
Gyakori kérdések
Mit jelent a(z) Token?
A token a szöveg legkisebb egysége, amellyel a nyelvi modell dolgozik — nagyjából egy szó háromnegyede; ez alapján számolják a költséget is.
Miért fontos a(z) Token egy középvállalatnak?
A tokenalapú árazás miatt egy AI-folyamat üzemeltetési költsége előre kiszámolható: darabszám × átlagos tokenszám × egységár.