모델 학습

● 연결됨
모델 구조를 입력하면 예측이 표시됩니다
학습 설정
모델을 선택하면 설계값이 표시됩니다
학습 상태
상태 idle
에폭 —
Loss —
Best —
학습 시작 후 로그가 표시됩니다...
사전학습 페이지 도움말
▶ 버튼 설명
▶ 시작새로운 모델을 처음부터 학습합니다.
↩ 이어서 학습저장된 체크포인트에서 학습을 재개합니다.
⏸ 일시정지현재 에폭 종료 후 체크포인트를 저장하고 멈춥니다. 가중치 페이지에 자동 등록됩니다.
■ 중단즉시 취소합니다. 저장 없이 종료되며 가중치 페이지에 등록되지 않습니다.
주요 파라미터 설명
아키텍처d_model(임베딩 차원)·n_heads(어텐션 헤드)·n_layers(층 수)·seq_len(컨텍스트 길이)은 모델 설계에서 파생됩니다 — 여기서 직접 입력하지 않습니다. 바꾸려면 실험실에서 모델을 다시 설계하세요. 데이터 처리(시퀀스 자르기)도 같은 seq_len을 사용해 불일치가 원천 차단됩니다.
seq_len 참고한 번에 학습·생성하는 컨텍스트 토큰 길이. 대화 데이터는 질문+답변 한 줄이 통째로 들어가는 길이(보통 32 이상)가 필수 — 짧으면 답변 생성 중 질문이 컨텍스트 밖으로 밀려나 동문서답합니다. 일반 텍스트는 64~256 권장. 데이터가 더 긴 seq_len을 요구하면 설계의 입력 블록에서 키우세요.
토크나이저작은 데이터셋(수백 KB 이하)은 자동 빌드(병합 횟수 수백~1천)가 적합합니다. 대형 어휘(수만 vocab) 라이브러리 토크나이저를 쓰면 파라미터 대부분이 임베딩에 낭비되고 한 번도 등장하지 않는 토큰이 대다수가 됩니다.
Stride슬라이딩 윈도우 간격. 0이면 seq_len과 동일 (겹침 없음). 1로 설정하면 시퀀스 수가 폭발적으로 증가하므로 주의.
Patience조기 종료: best loss가 이 에폭 수 동안 개선되지 않으면 자동 종료.
배치 크기한 번에 처리하는 시퀀스 수. 메모리가 허용하는 범위에서 크게 설정할수록 학습이 안정적.
챗(Q&A) 데이터 자동 인식
데이터셋이 챗 형식이면 자동으로 대화 단위 학습으로 전환됩니다 (학습 로그에 "챗 데이터 감지" 표시). 일반 텍스트처럼 토큰 열을 seq_len으로 자르면 질문/답변이 중간에 잘린 조각으로 학습되는데, 챗 모드는 한 줄(한 대화)을 하나의 샘플로 보존해 경계가 깨지지 않습니다.
인식 형식 ①<SOS> <USER> 질문 <BOT> 답변 <EOS> — 한 줄 = 한 대화 (표준)
인식 형식 ②사용자: 질문 / AI: 답변 줄 교대 — 표준 형식으로 자동 변환됩니다 (user/Q/질문, bot/assistant/답변 등 지원)
seq_len 권장가장 긴 대화가 통째로 들어가는 길이. 더 길면 끝 패딩(학습 무시), 짧으면 질문 앞부분이 잘리고 답변은 보존됩니다.
Stride챗 모드에서는 적용되지 않습니다 (샘플 단위라 불필요).
체크박스와의 관계챗 인식은 체크 여부와 무관하게 항상 자동입니다. "답변 구간만 학습" 체크박스는 인식된 챗 데이터에서 loss를 어디까지 걸지만 바꿉니다:
· 체크 안 함(기본) — 질문+답변 전체를 학습. 모델이 질문 표현까지 언어로 배웁니다. 밑바닥부터 학습할 때 권장.
· 체크함 — 답변 토큰만 학습하고 질문은 읽기(문맥)로만 사용. 이미 언어를 배운 모델을 응답에 특화시킬 때 유용.
· 챗 형식이 아닌 일반 텍스트에는 체크해도 아무 효과가 없습니다.
판정 조건전체 줄의 80% 이상이 챗 패턴일 때만 챗으로 인식합니다. 일반 문장이 많이 섞여 있으면 일반 텍스트로 학습되니, 챗 모드를 원하면 대화 줄만 남기세요. 감지 여부는 학습 로그 첫 부분에서 확인할 수 있습니다.
↩ 이어서 학습 사용법
  1. 상단 모드 토글에서 ↩ 이어서 학습을 클릭합니다.
  2. 체크포인트 드롭다운에서 재개할 가중치를 선택합니다.
    가중치 페이지 → 체크포인트 탭에서도 확인할 수 있습니다.
  3. 선택하면 기존 설정이 자동으로 표시됩니다 (변경 불가).
  4. 추가 학습 에폭 수를 입력한 뒤 ↩ 이어서 학습을 누릅니다.
💡 일시정지 또는 완료된 학습은 자동으로 이어서 학습 모드로 전환됩니다.
학습 상태 표시
idle대기 중
starting학습 시작 중
preparing데이터 토큰화/시퀀스 생성 중 (중단 버튼으로 취소 가능)
running학습 진행 중
paused일시정지됨 (체크포인트 저장됨)
completed학습 완료
stopped중단됨 (저장 없음)
error/crashed오류 발생
학습이 running 상태가 되면 상태 카드에 두 가지 실시간 지표가 추가로 표시됩니다:
· 남은 시간 — 최근 5에폭의 평균 소요 시간 × 남은 에폭 수. 학습이 진행될수록 정확도가 높아집니다.
· 속도 — 학습 중 1초에 처리된 토큰 수 (순전파+역전파 포함). 배치 크기·seq_len을 키우면 올라가며 GPU 활용률의 지표입니다. 추론 속도와는 무관합니다.
⏱ 학습 시간 예측 카드 (페이지 상단)
예상 학습 시간실측 기반: 같은 디바이스에서 학습이 한 번이라도 완료되면 그 실측 스텝 속도(ms/step)로 예측합니다 (오차 수~수십%). 실측 기록이 없으면 이론치(FLOPs=6×파라미터×토큰) 하한을 표시하며, 소형 모델은 실제가 훨씬 오래 걸릴 수 있습니다. 조기종료(patience) 시 더 일찍 끝납니다. 한계: 배치를 극단적으로 키우면 카드는 계속 빨라진다고 예측하지만, 실제로는 디바이스 연산 포화 후 평평해지고 메모리 용량을 넘으면 스와핑·OOM으로 오히려 급격히 느려질 수 있습니다 — 평소 쓰는 설정 근방에서는 학습할수록 실측이 쌓여 자동으로 정확해집니다.
추론 속도학습 완료 직후 같은 모델로 실제 생성을 돌려 측정한 실측값. 첫 학습 전에는 표시되지 않습니다.
학습 VRAM파라미터당 16 bytes 기준 이론 최소치 (가중치·그래디언트·옵티마이저 상태 합산). 활성화 메모리·프레임워크 오버헤드는 미포함.
모델 규모·토큰선택한 토큰 사전의 실제 vocab과 (작은 파일은) 실제 인코딩 토큰 수를 사용합니다. 자동 빌드 시에는 추정값입니다. 파라미터 수 옆에 체급 라벨(Tiny <10M / Small <100M / Medium <1B / Large <10B / XL)과 유명 모델 대비 배율(예: GPT-2의 1/116)이 표시되고, "가이드에서 보기"를 누르면 하단 GPU 가이드가 현재 설정 크기로 열립니다.
💬 챗 데이터챗 형식이 감지되면 데이터셋 항목에 대화 수가 표시되고, 스텝 수가 "대화 수 ÷ 배치" 기준으로 계산됩니다 (stride 무관).
가상 디바이스 (what-if)디바이스 칸의 드롭다운에서 H100·A100 등 미연결 GPU를 골라 그 GPU에서의 예상 시간을 미리 계산할 수 있습니다 (GPU 임대 결정용). 이론치이며 실제 학습은 현재 디바이스로 실행됩니다. 옵션에 마우스를 올리면 스펙이 표시됩니다 — VRAM 용량(모델이 들어갈 크기), 메모리 대역폭(추론 속도 좌우), 연산 성능 TFLOPS(학습 시간 좌우). 소형 모델(10M 미만)은 오버헤드 지배라 GPU로도 단축 폭이 작다는 경고가 함께 표시됩니다.
💡 모델(설계값)·에폭·배치 크기 등을 바꾸면 카드가 즉시 업데이트됩니다.
학습 완료 후 흐름
  1. 학습이 completed로 끝나면 자동으로 번들이 생성됩니다 (bundles/{id}/).
  2. 번들에는 model.pt + tokenizer.pt + bundle.json이 함께 저장되어 추론 시 미스매칭이 없습니다.
  3. 가중치 페이지 → 커스텀 번들 탭에서 생성된 번들을 확인할 수 있습니다.
  4. 챗봇 페이지 모델 드롭다운에서 즉시 선택하여 대화할 수 있습니다.
GPU 가이드 — 파라미터 수 × 하드웨어 성능
내 모델로 바로 확인
100M 파라미터
100,000,000 params
GPU 수량 / VRAM 학습 용량 학습 여부 추론 용량 추론 여부
* 학습: 파라미터당 16 bytes — FP16 가중치(2) + FP32 마스터 복사본(4) + FP16 그래디언트(2) + Adam 모멘텀·분산(8). 출처: ZeRO (Rajbhandari et al., 2020)
* 추론: 파라미터당 2 bytes — FP16 로드 기준. KV 캐시는 별도 (시퀀스 길이 비례)
* 활성화 메모리 미포함 — 배치 크기·시퀀스 길이에 비례해 추가 VRAM 소모. 소형 모델(배치=1)은 파라미터 메모리의 ~1~3% 수준으로 무시 가능
* Apple MPS 수치는 기기마다 다름 (M1 8GB ~ M3 Ultra 192GB). RTX 3060 12GB는 Desktop 전용 (Laptop 버전은 6GB)
* 💻 내 디바이스 행은 이 서버가 실제로 감지한 메모리 기준 실측값 — 다른 컴퓨터에서 열면 그 기기의 사양으로 표시됩니다
* 다중 GPU: VRAM 단순 합산 기준. DDP 학습 시 실제 처리 파라미터 수는 동일하지만 배치를 분산하므로 더 큰 배치/더 긴 시퀀스 사용 가능. 통신 오버헤드는 미포함
* 이탤릭체·보라색(*) 모델은 규모 비공개 모델의 외부 추정치입니다. Claude·GPT-4·Gemini 시리즈는 공식 파라미터 수를 공개하지 않습니다.
* AWS 비용: EC2 온디맨드 us-east-1 기준 (2025). Spot 인스턴스 이용 시 ~60% 절감 가능. Apple·RTX 소비자 카드는 AWS에서 직접 제공하지 않습니다.
* 환율 불러오는 중...