언어모델의 주요 기능인 토큰, 토큰화, 인코딩, 임베딩 개념과 실습: 미리어드 스페이스 인공지능, 머신러닝, 딥러닝 저자 직강 시리즈

가는중 2025. 2. 26. 18:01

인공지능은 정말 위험할까? ->(Tokenize) 인공 / 지능 / 은 / 정말 / 위험 / 할 / 까 / ?

Is artificial intelligence really dangerous? ->(Tokenize) Is / artificial / intelligence / really / dangerous / ?

No, it isn`t? ->(Tokenize) No / , it / is / n`t / or n`/t / ?

일반적으로 영어같은 라틴어 기반의 언어보다 한국말이 토큰화 하기 어렵다.