ChatGPT 토큰 기초 관찰 실습 콘텐츠 ID: AIF-20260815-956 사실 확인일: 2026-08-15 [이 자료의 목적] 글자 수와 토큰 수가 같은 개념이 아니라는 점을 직접 관찰합니다. 토큰은 모델이 글을 처리할 때 사용하는 문자 조각의 묶음입니다. [중요한 한계] - 아래 정답은 OpenAI의 공개 Python 도구 tiktoken 0.13.0으로 측정했습니다. - 비교 인코딩은 o200k_base와 cl100k_base입니다. - 인코딩은 문장을 토큰으로 나누는 규칙 모음입니다. - 실제 ChatGPT 대화 전체의 토큰 사용량은 선택한 모델, 대화 문맥, 내부 지시, 도구 사용 등에 따라 달라질 수 있습니다. - 이 자료의 수치는 개념 관찰용이며 요금이나 계정 한도를 계산하는 근거가 아닙니다. [준비물] 1. 이 TXT 파일 2. 메모장 또는 종이 3. 정답과 해설 PDF [실습 방법] 1. 각 문장의 글자 수만 보고 토큰 수가 많을 것 같은 순서를 적습니다. 2. 띄어쓰기, 숫자, 기호, 영문 밑줄이 토큰 수에 어떤 영향을 줄지 예상합니다. 3. 정답과 해설 PDF에서 실제 측정값을 확인합니다. 4. 글자 수 순서와 토큰 수 순서가 다른 사례를 두 개 찾습니다. [관찰 문장] T-01 | 회의는 오후 3시에 시작합니다. 예상 순위: ______ | 예상 이유: ______________________________ T-02 | The meeting starts at 3 PM. 예상 순위: ______ | 예상 이유: ______________________________ T-03 | 보고서를 요약해 주세요. 예상 순위: ______ | 예상 이유: ______________________________ T-04 | Please summarize the report. 예상 순위: ______ | 예상 이유: ______________________________ T-05 | 배송 지연 주문만 표로 정리해 주세요. 예상 순위: ______ | 예상 이유: ______________________________ T-06 | order_id, promised_date, shipped_date 예상 순위: ______ | 예상 이유: ______________________________ T-07 | 확인 완료 ✅ 예상 순위: ______ | 예상 이유: ______________________________ T-08 | 2026-08-15 | 06:00 | 게시 준비 완료 예상 순위: ______ | 예상 이유: ______________________________ [내가 찾은 차이] 1. 글자 수는 더 많지만 토큰 수는 더 적거나 같은 문장: __________ 이유 추측: _________________________________________________ 2. 숫자·기호 때문에 예상보다 토큰 수가 많았던 문장: __________ 이유 추측: _________________________________________________ 3. 두 인코딩에서 토큰 수가 달랐던 문장: ______________________ 이유 추측: _________________________________________________ [성공 확인] - 토큰을 글자 한 개와 같은 뜻이라고 설명하지 않았다. - 같은 문장도 인코딩에 따라 토큰 수가 달라질 수 있다고 말했다. - 실제 ChatGPT 전체 사용량과 이 실습 측정값을 구분했다. - 긴 문장을 무조건 나쁜 질문이라고 판단하지 않았다. [실패 화면을 만났을 때] 상황: 공식 Tokenizer에서 문장이 비어 있거나 결과가 0으로 보입니다. 수정: 입력 칸을 한 번 클릭하고 문장을 다시 붙여넣은 뒤, 현재 선택된 모델 묶음을 확인합니다. 상황: 이 자료의 수치와 다른 값이 보입니다. 수정: 모델 또는 인코딩 선택이 같은지 확인합니다. 도구와 모델이 바뀌면 결과도 달라질 수 있으므로, 화면의 선택값과 확인 날짜를 함께 기록합니다. [개인정보 안전] 실습에는 실제 이름, 전화번호, 이메일, 고객 주문, 회사 비밀을 넣지 마세요. 이 파일의 가상 문장만 사용하거나 민감한 부분을 [이름], [날짜], [금액]처럼 바꿔 연습하세요.