토큰 (AI)

AI 모델이 글을 읽고 쓸 때 다루는 가장 작은 단위 조각이다. 단어 하나가 토큰 하나가 되기도 하고, 긴 단어나 한글은 여러 토큰으로 쪼개지기도 한다. AI를 쓰는 비용이나 한 번에 넣을 수 있는 글의 길이는 글자 수가 아니라 이 토큰 수로 정해진다.