모델 선택...
▾
0.55
보통
챗봇 / 추론 페이지 도움말
기본 사용법
- 왼쪽 상단 모델 선택 드롭다운에서 사용할 가중치를 선택합니다.
- 아래 입력창에 메시지를 입력하고 Enter 또는 전송 버튼을 누릅니다.
- 응답은 생성이 끝난 뒤 한 번에 표시됩니다 (모델이 작아 보통 수 초 이내).
대화 관리
각 메시지는 독립적으로 처리됩니다 — 이전 대화 내용은 모델 입력에 포함되지 않습니다
(커스텀 모델이 단일 질문→답변 형태로 학습되기 때문). 대화 기록은 보관·열람용입니다.
| + 새 대화 | 새로운 대화를 시작합니다. 이전 대화는 목록에 저장됩니다. |
| ✎ 이름 변경 | 대화 항목에 마우스를 올리면 연필 아이콘이 표시됩니다. 클릭하거나 제목을 더블클릭해 이름을 바꿀 수 있습니다. |
| 🗑 삭제 | 대화 항목의 삭제 버튼으로 해당 대화와 메시지를 삭제합니다. |
응답 설정 (추론 하이퍼파라미터)
상단 입력란 두 개는 학습된 모델은 그대로 두고 답을 생성하는 방식만 바꿉니다.
설정은 브라우저에 저장되어 다음 방문에도 유지됩니다.
| 응답 길이 (max_tokens) | 한 번에 생성할 최대 토큰 수. 모델이 문장 끝(<EOS>)을 만나면 더 일찍 멈추므로 여유 있게 둬도 됩니다. 답이 중간에 끊기면 늘려보세요 (기본 1024, 최대 2048 — 길수록 느려짐). |
| 온도 (temperature) | 샘플링 무작위성. 낮음(0.2~0.4) = 학습한 답을 거의 그대로 재현 — 지식 QA 봇처럼 정확한 답이 필요할 때. 중간(0.7~0.9) = 자연스러운 다양성 — 일상 대화용 (기본 0.8). 높음(1.0+) = 창의적이지만 빗나갈 위험 증가. |
💡 같은 질문에 답이 들쭉날쭉하면 온도를 낮추고, 매번 똑같은 답이 지루하면 올리세요.
모델 드롭다운 구성
| 커스텀 번들 | 학습 페이지에서 완료된 모델. model.pt + tokenizer.pt가 하나의 번들로 묶여 토크나이저 미스매칭 없음. bundle:{id} 형식. |
| HuggingFace | HF 기반 모델 또는 LoRA 어댑터. hf:{hub_id} 또는 hf:{hub_id}:lora:{id} 형식. MPS/CUDA에서는 fp16(절반 정밀도)으로 로드되어 메모리가 절반입니다 (Qwen3-4B 기준 16GB → 8GB, CPU는 fp32). |
| 레거시 | v2.0 이전 가중치 파일. 가중치 페이지에서 번들로 변환하면 이 목록에서 사라지고 커스텀 번들로 표시됩니다. 변환 후에는 토크나이저 미스매칭이 발생하지 않습니다. |
자주 묻는 문제
| 모델이 목록에 없어요 | 새로고침 버튼(↺)을 눌러보세요. 학습 완료 직후에는 잠시 기다려야 할 수 있습니다. |
| 응답 품질이 낮아요 | 가장 흔한 원인은 학습 시 seq_len이 너무 짧은 경우입니다 — 대화 한 줄(질문+답변)이 통째로 들어가는 길이(보통 32 이상)로 다시 학습해 보세요. 작은 데이터셋에 대형 어휘 토크나이저를 쓴 경우에도 품질이 떨어집니다 (자동 빌드 권장). |
| 레거시 모델 오류 | 토크나이저 미스매칭 가능. 가중치 페이지에서 번들로 변환 후 다시 시도하세요. |
챗봇 공개
이 대화방을 클라우드 AI 내 프로필에 봇으로 공개합니다
GPU 가이드 — 파라미터 수 × 하드웨어 성능
내 모델로 바로 확인
100M 파라미터
100,000,000 params
| GPU | 수량 / VRAM | 학습 용량 | 학습 여부 | 추론 용량 | 추론 여부 |
|---|
* 학습: 파라미터당 16 bytes — FP16 가중치(2) + FP32 마스터 복사본(4) + FP16 그래디언트(2) + Adam 모멘텀·분산(8). 출처: ZeRO (Rajbhandari et al., 2020)
* 추론: 파라미터당 2 bytes — FP16 로드 기준. KV 캐시는 별도 (시퀀스 길이 비례)
* 활성화 메모리 미포함 — 배치 크기·시퀀스 길이에 비례해 추가 VRAM 소모. 소형 모델(배치=1)은 파라미터 메모리의 ~1~3% 수준으로 무시 가능
* Apple MPS 수치는 기기마다 다름 (M1 8GB ~ M3 Ultra 192GB). RTX 3060 12GB는 Desktop 전용 (Laptop 버전은 6GB)
* 💻 내 디바이스 행은 이 서버가 실제로 감지한 메모리 기준 실측값 — 다른 컴퓨터에서 열면 그 기기의 사양으로 표시됩니다
* 다중 GPU: VRAM 단순 합산 기준. DDP 학습 시 실제 처리 파라미터 수는 동일하지만 배치를 분산하므로 더 큰 배치/더 긴 시퀀스 사용 가능. 통신 오버헤드는 미포함
* 이탤릭체·보라색(*) 모델은 규모 비공개 모델의 외부 추정치입니다. Claude·GPT-4·Gemini 시리즈는 공식 파라미터 수를 공개하지 않습니다.
* AWS 비용: EC2 온디맨드 us-east-1 기준 (2025). Spot 인스턴스 이용 시 ~60% 절감 가능. Apple·RTX 소비자 카드는 AWS에서 직접 제공하지 않습니다.
* 환율 불러오는 중...
* 추론: 파라미터당 2 bytes — FP16 로드 기준. KV 캐시는 별도 (시퀀스 길이 비례)
* 활성화 메모리 미포함 — 배치 크기·시퀀스 길이에 비례해 추가 VRAM 소모. 소형 모델(배치=1)은 파라미터 메모리의 ~1~3% 수준으로 무시 가능
* Apple MPS 수치는 기기마다 다름 (M1 8GB ~ M3 Ultra 192GB). RTX 3060 12GB는 Desktop 전용 (Laptop 버전은 6GB)
* 💻 내 디바이스 행은 이 서버가 실제로 감지한 메모리 기준 실측값 — 다른 컴퓨터에서 열면 그 기기의 사양으로 표시됩니다
* 다중 GPU: VRAM 단순 합산 기준. DDP 학습 시 실제 처리 파라미터 수는 동일하지만 배치를 분산하므로 더 큰 배치/더 긴 시퀀스 사용 가능. 통신 오버헤드는 미포함
* 이탤릭체·보라색(*) 모델은 규모 비공개 모델의 외부 추정치입니다. Claude·GPT-4·Gemini 시리즈는 공식 파라미터 수를 공개하지 않습니다.
* AWS 비용: EC2 온디맨드 us-east-1 기준 (2025). Spot 인스턴스 이용 시 ~60% 절감 가능. Apple·RTX 소비자 카드는 AWS에서 직접 제공하지 않습니다.
* 환율 불러오는 중...