토크나이저를 선택하세요
토큰 사전 페이지 도움말
토크나이저란?
텍스트를 모델이 처리할 수 있는 정수(토큰 ID)로 변환하는 사전입니다.
학습 시 사용한 토크나이저와 추론 시 사용하는 토크나이저가 반드시 일치해야 합니다.
번들 구조를 사용하면 이 일치가 자동으로 보장됩니다.
토크나이저 생성 방법
| 커스텀 BPE 빌드 | 토크나이저 실험실 페이지에서 데이터셋을 선택하고 BPE 병합 수를 설정해 빌드합니다. |
| HF 토크나이저 등록 | HuggingFace Hub 페이지 → 토크나이저 등록 섹션에서 Hub ID로 등록합니다. |
인코딩 테스트
좌측에서 토크나이저를 선택하면 오른쪽 패널에서 텍스트 입력 후 토큰화 결과를 확인할 수 있습니다.
토큰 ID 배열과 디코딩 결과를 보여주며, 토크나이저의 분리 방식을 직접 테스트할 수 있습니다.
토크나이저 삭제 시 주의
삭제하려는 토크나이저가 번들에서 참조 중이면 해당 번들의 추론이 깨질 수 있습니다.
번들 변환 시 토크나이저가 번들 폴더 내부에 복사되므로, 번들 변환 후에는 원본 삭제해도 추론에 영향 없습니다.
GPU 가이드 — 파라미터 수 × 하드웨어 성능
내 모델로 바로 확인
100M 파라미터
100,000,000 params
| GPU | 수량 / VRAM | 학습 용량 | 학습 여부 | 추론 용량 | 추론 여부 |
|---|
* 학습: 파라미터당 16 bytes — FP16 가중치(2) + FP32 마스터 복사본(4) + FP16 그래디언트(2) + Adam 모멘텀·분산(8). 출처: ZeRO (Rajbhandari et al., 2020)
* 추론: 파라미터당 2 bytes — FP16 로드 기준. KV 캐시는 별도 (시퀀스 길이 비례)
* 활성화 메모리 미포함 — 배치 크기·시퀀스 길이에 비례해 추가 VRAM 소모. 소형 모델(배치=1)은 파라미터 메모리의 ~1~3% 수준으로 무시 가능
* Apple MPS 수치는 기기마다 다름 (M1 8GB ~ M3 Ultra 192GB). RTX 3060 12GB는 Desktop 전용 (Laptop 버전은 6GB)
* 💻 내 디바이스 행은 이 서버가 실제로 감지한 메모리 기준 실측값 — 다른 컴퓨터에서 열면 그 기기의 사양으로 표시됩니다
* 다중 GPU: VRAM 단순 합산 기준. DDP 학습 시 실제 처리 파라미터 수는 동일하지만 배치를 분산하므로 더 큰 배치/더 긴 시퀀스 사용 가능. 통신 오버헤드는 미포함
* 이탤릭체·보라색(*) 모델은 규모 비공개 모델의 외부 추정치입니다. Claude·GPT-4·Gemini 시리즈는 공식 파라미터 수를 공개하지 않습니다.
* AWS 비용: EC2 온디맨드 us-east-1 기준 (2025). Spot 인스턴스 이용 시 ~60% 절감 가능. Apple·RTX 소비자 카드는 AWS에서 직접 제공하지 않습니다.
* 환율 불러오는 중...
* 추론: 파라미터당 2 bytes — FP16 로드 기준. KV 캐시는 별도 (시퀀스 길이 비례)
* 활성화 메모리 미포함 — 배치 크기·시퀀스 길이에 비례해 추가 VRAM 소모. 소형 모델(배치=1)은 파라미터 메모리의 ~1~3% 수준으로 무시 가능
* Apple MPS 수치는 기기마다 다름 (M1 8GB ~ M3 Ultra 192GB). RTX 3060 12GB는 Desktop 전용 (Laptop 버전은 6GB)
* 💻 내 디바이스 행은 이 서버가 실제로 감지한 메모리 기준 실측값 — 다른 컴퓨터에서 열면 그 기기의 사양으로 표시됩니다
* 다중 GPU: VRAM 단순 합산 기준. DDP 학습 시 실제 처리 파라미터 수는 동일하지만 배치를 분산하므로 더 큰 배치/더 긴 시퀀스 사용 가능. 통신 오버헤드는 미포함
* 이탤릭체·보라색(*) 모델은 규모 비공개 모델의 외부 추정치입니다. Claude·GPT-4·Gemini 시리즈는 공식 파라미터 수를 공개하지 않습니다.
* AWS 비용: EC2 온디맨드 us-east-1 기준 (2025). Spot 인스턴스 이용 시 ~60% 절감 가능. Apple·RTX 소비자 카드는 AWS에서 직접 제공하지 않습니다.
* 환율 불러오는 중...