로컬 디바이스
● 실시간
로딩 중...
클러스터 그룹
로딩 중...
AWS EC2
디바이스 관리 페이지 도움말
로컬 디바이스
현재 서버에 연결된 GPU/CPU를 실시간으로 표시합니다.
VRAM 사용량, 온도, 사용률을 모니터링할 수 있습니다.
학습·추론 시 이 디바이스들이 자동으로 선택됩니다.
클러스터 그룹
| 클러스터란? | 여러 GPU를 묶어 분산 학습(DDP)에 사용하는 그룹입니다. |
| + 새 그룹 | 사용할 디바이스를 선택하고 이름을 지정해 그룹을 만듭니다. |
| DDP 백엔드 | gloo(기본, CPU/GPU 모두), nccl(NVIDIA GPU 전용, 빠름). |
| 학습에서 사용 | 학습 페이지 → 디바이스 드롭다운에서 생성한 클러스터를 선택합니다. |
AWS EC2 연결
- AWS IAM 사용자의 Access Key ID와 Secret Access Key를 입력합니다.
- 사용할 리전을 선택하고 연결 버튼을 누릅니다.
- 연결 후 인스턴스 목록이 표시되며, 원하는 인스턴스를 시작/중지할 수 있습니다.
- 자격증명은 서버 세션에만 유지되며 디스크에 저장되지 않습니다.
자주 묻는 문제
| GPU가 안 보여요 | CUDA/ROCm 드라이버 설치 여부를 확인하세요. CPU만 있는 환경에서는 CPU만 표시됩니다. |
| VRAM 부족 오류 | 배치 크기나 seq_len을 줄이거나, 다른 프로세스가 GPU를 점유 중인지 확인하세요. |
| 누가 자원을 쓰는지 보기 | 디바이스 카드의 사용량 막대에 마우스를 0.5초 올리면 자원 상위 프로세스 3개가 표시됩니다 — CPU 카드는 CPU 사용률 기준, MPS 카드는 메모리 기준(통합 메모리라 메모리 상위가 곧 GPU 자원 경쟁자). 학습이 평소보다 느릴 때 원인 진단에 유용합니다. macOS 권한 제약으로 프로세스별 GPU 점유율 자체는 표시할 수 없습니다. |
| AWS 연결 실패 | IAM 권한에 ec2:DescribeInstances 등이 포함되어 있는지 확인하세요. |
GPU 가이드 — 파라미터 수 × 하드웨어 성능
내 모델로 바로 확인
100M 파라미터
100,000,000 params
| GPU | 수량 / VRAM | 학습 용량 | 학습 여부 | 추론 용량 | 추론 여부 |
|---|
* 학습: 파라미터당 16 bytes — FP16 가중치(2) + FP32 마스터 복사본(4) + FP16 그래디언트(2) + Adam 모멘텀·분산(8). 출처: ZeRO (Rajbhandari et al., 2020)
* 추론: 파라미터당 2 bytes — FP16 로드 기준. KV 캐시는 별도 (시퀀스 길이 비례)
* 활성화 메모리 미포함 — 배치 크기·시퀀스 길이에 비례해 추가 VRAM 소모. 소형 모델(배치=1)은 파라미터 메모리의 ~1~3% 수준으로 무시 가능
* Apple MPS 수치는 기기마다 다름 (M1 8GB ~ M3 Ultra 192GB). RTX 3060 12GB는 Desktop 전용 (Laptop 버전은 6GB)
* 💻 내 디바이스 행은 이 서버가 실제로 감지한 메모리 기준 실측값 — 다른 컴퓨터에서 열면 그 기기의 사양으로 표시됩니다
* 다중 GPU: VRAM 단순 합산 기준. DDP 학습 시 실제 처리 파라미터 수는 동일하지만 배치를 분산하므로 더 큰 배치/더 긴 시퀀스 사용 가능. 통신 오버헤드는 미포함
* 이탤릭체·보라색(*) 모델은 규모 비공개 모델의 외부 추정치입니다. Claude·GPT-4·Gemini 시리즈는 공식 파라미터 수를 공개하지 않습니다.
* AWS 비용: EC2 온디맨드 us-east-1 기준 (2025). Spot 인스턴스 이용 시 ~60% 절감 가능. Apple·RTX 소비자 카드는 AWS에서 직접 제공하지 않습니다.
* 환율 불러오는 중...
* 추론: 파라미터당 2 bytes — FP16 로드 기준. KV 캐시는 별도 (시퀀스 길이 비례)
* 활성화 메모리 미포함 — 배치 크기·시퀀스 길이에 비례해 추가 VRAM 소모. 소형 모델(배치=1)은 파라미터 메모리의 ~1~3% 수준으로 무시 가능
* Apple MPS 수치는 기기마다 다름 (M1 8GB ~ M3 Ultra 192GB). RTX 3060 12GB는 Desktop 전용 (Laptop 버전은 6GB)
* 💻 내 디바이스 행은 이 서버가 실제로 감지한 메모리 기준 실측값 — 다른 컴퓨터에서 열면 그 기기의 사양으로 표시됩니다
* 다중 GPU: VRAM 단순 합산 기준. DDP 학습 시 실제 처리 파라미터 수는 동일하지만 배치를 분산하므로 더 큰 배치/더 긴 시퀀스 사용 가능. 통신 오버헤드는 미포함
* 이탤릭체·보라색(*) 모델은 규모 비공개 모델의 외부 추정치입니다. Claude·GPT-4·Gemini 시리즈는 공식 파라미터 수를 공개하지 않습니다.
* AWS 비용: EC2 온디맨드 us-east-1 기준 (2025). Spot 인스턴스 이용 시 ~60% 절감 가능. Apple·RTX 소비자 카드는 AWS에서 직접 제공하지 않습니다.
* 환율 불러오는 중...