AI는 왜 strawberry의 r을 못 셌을까: 토큰으로 보는 AI의 읽는 법, 그리고 요즘 모델 322번 실측2024년 여름, AI에게 strawberry에 r이 몇 개냐고 물으면 두 개라고 답했습니다. 모델이 글자가 아니라 "토큰"이라는 조각의 번호를 읽기 때문이라는 설명이 많았습니다. 토크나이저로 직접 잘라 보고, 요즘 클로드·GPT 모델 다섯 개에 17가지 문제를 322번 물어 지금은 어떤지 쟀습니다.
Dante (Quokka Labs)2026.11.07