🤗 HuggingFace Hub란? 전 세계 연구자들이 공개한 AI 모델·데이터셋 저장소입니다.
여기서 모델·토크나이저·데이터셋을 검색해 로컬로 가져오면, 이후 파인튜닝·추론·학습에서 인터넷 없이 재사용됩니다.
모델마다 공개 수준이 다릅니다 —
① 완전 오픈소스 ·
② 오픈 웨이트 (구조+가중치) ·
③ API 전용.
다운로드 가능한 모델은 모두 ②이며, 아래 로컬 캐시의 공개 수준 배지와 "소스" 버튼으로 받은 모델이 얼마나 공개돼 있는지 직접 확인할 수 있습니다.
각 항목 제목과 입력칸에 점선 밑줄이 있으면 마우스를 올려 설명을 볼 수 있습니다.
HuggingFace Hub 페이지 도움말
HuggingFace Hub란?
전 세계 연구자·기업이 공개한 AI 모델·데이터셋 저장소입니다. 이 페이지는 그 저장소에서
세 종류의 객체를 가져와 NeuroCosm에서 쓸 수 있게 변환·관리합니다.
가져온 뒤에는 인터넷 없이 재사용됩니다.
가져올 수 있는 3가지 객체 — 무엇을 받고, 어디로 가는가
| 모델 | 설정(config.json) + 토크나이저 + 가중치 파일 전체 스냅샷을 받습니다 → hf_models/{id}/에 저장. 파인튜닝(LoRA)의 베이스, 챗봇 추론(hf:{id})에 사용됩니다. 크기 주의: 7B급 ≈ 14GB. |
| 토크나이저 | 모델 전체가 아니라 토크나이저 파일만 받아 토큰 사전 라이브러리에 등록합니다 → 토큰 사전 페이지에서 확인·테스트, 커스텀 모델 사전학습에서도 선택 가능. (모델을 다운로드하면 토크나이저는 그 안에 이미 포함 — 이 기능은 토크나이저만 따로 쓰고 싶을 때입니다.) |
| 데이터셋 | 지정한 텍스트 컬럼을 추출해 한 줄 텍스트(.txt)로 변환 → datasets/text/에 저장. 이후 일반 데이터셋과 완전히 동일하게 학습·파인튜닝·지식 QA에 사용됩니다. |
전체 흐름
- 검색 — 키워드 또는 정확한 Hub ID(
skt/kogpt2-base-v2형태)로 검색하고, 카드를 클릭해 상세 스펙을 확인합니다 (어휘 크기·히든 크기 등은 커스텀 학습의 vocab/d_model에 해당 — 라벨에 마우스를 올리면 설명이 나옵니다). - 다운로드 — 진행 로그가 실시간 표시되고, 완료되면 아래 "로컬 캐시" 표에 나타납니다.
- 사용 — 로컬 캐시의 "사용" 버튼이 파인튜닝 페이지 HF 탭으로 이동해 모델을 자동 선택합니다. LoRA 학습 후 챗봇 페이지에서
hf:{id}:lora:{어댑터}로 대화합니다.
모델 공개 수준 3단계와 "소스" 버튼
| ① 완전 오픈소스 | 학습 데이터·학습 코드·구조·가중치 전부 공개 (OLMo, Pythia 등 연구용 일부만). |
| ② 오픈 웨이트 | 구조(코드)+가중치 공개, 학습 데이터·코드는 비공개. 여기서 다운로드하는 모델은 전부 이 단계이며, 라이선스로 세분됩니다 — 로컬 캐시 표의 배지 색: 초록=상업 가능(Apache/MIT), 주황=조건부(비상업 CC-NC, Llama 자체 라이선스 등). |
| ③ API 전용 | GPT-4·Claude·Gemini — 가중치 비공개, 다운로드 불가라 이 페이지에 나오지 않습니다. |
로컬 캐시의 "소스" 버튼을 누르면 받은 모델의 공개된 전부를 직접 볼 수 있습니다 —
구조 코드(transformers 라이브러리의 파이썬 소스), config.json(레이어 수·히든 크기 등), 파일 목록(가중치 포함).
커스텀 모델의
basic_model.py·bundle.json에 해당하는 것들이 전부 로컬에 있다는 뜻이며, 인터넷 없이도 열람됩니다.
관리 방법
| 로컬 캐시 | 다운로드된 모델 원본은 hf_models/ 폴더에 모델당 한 폴더씩 보관됩니다. "삭제"는 폴더째 제거하며, 그 모델로 만든 LoRA 어댑터는 가중치 페이지(HF 어댑터 탭)에 별도 보관되므로 영향 없습니다 — 단 추론하려면 베이스 모델을 다시 받아야 합니다. |
| 중복 다운로드 | 이미 받은 모델은 검색 카드와 상세에 "✓ 로컬" 배지가 표시되고, 다시 받으면 같은 폴더에 덮어씁니다. |
자주 묻는 문제
| 401/403 오류 | meta-llama 등 게이트 모델은 HF 웹사이트에서 라이선스 동의 후, Settings → Access Tokens에서 발급한 토큰을 입력해야 받을 수 있습니다. |
| 다운로드가 느려요 | 모델 크기에 비례합니다 (수백 MB~수십 GB). 로그가 멈춘 듯해도 큰 파일 수신 중일 수 있습니다. |
| 데이터셋 컬럼 오류 | "텍스트 컬럼"이 데이터셋의 실제 필드명과 달라서입니다 — HF 데이터셋 페이지의 미리보기에서 컬럼명을 확인하세요 (예: text, content, instruction). |
| 디스크가 부족해요 | 로컬 캐시에서 안 쓰는 모델을 삭제하세요. 모델은 다시 받을 수 있으니 삭제해도 잃는 것이 없습니다. |
GPU 가이드 — 파라미터 수 × 하드웨어 성능
내 모델로 바로 확인
100M 파라미터
100,000,000 params
| GPU | 수량 / VRAM | 학습 용량 | 학습 여부 | 추론 용량 | 추론 여부 |
|---|
* 학습: 파라미터당 16 bytes — FP16 가중치(2) + FP32 마스터 복사본(4) + FP16 그래디언트(2) + Adam 모멘텀·분산(8). 출처: ZeRO (Rajbhandari et al., 2020)
* 추론: 파라미터당 2 bytes — FP16 로드 기준. KV 캐시는 별도 (시퀀스 길이 비례)
* 활성화 메모리 미포함 — 배치 크기·시퀀스 길이에 비례해 추가 VRAM 소모. 소형 모델(배치=1)은 파라미터 메모리의 ~1~3% 수준으로 무시 가능
* Apple MPS 수치는 기기마다 다름 (M1 8GB ~ M3 Ultra 192GB). RTX 3060 12GB는 Desktop 전용 (Laptop 버전은 6GB)
* 💻 내 디바이스 행은 이 서버가 실제로 감지한 메모리 기준 실측값 — 다른 컴퓨터에서 열면 그 기기의 사양으로 표시됩니다
* 다중 GPU: VRAM 단순 합산 기준. DDP 학습 시 실제 처리 파라미터 수는 동일하지만 배치를 분산하므로 더 큰 배치/더 긴 시퀀스 사용 가능. 통신 오버헤드는 미포함
* 이탤릭체·보라색(*) 모델은 규모 비공개 모델의 외부 추정치입니다. Claude·GPT-4·Gemini 시리즈는 공식 파라미터 수를 공개하지 않습니다.
* AWS 비용: EC2 온디맨드 us-east-1 기준 (2025). Spot 인스턴스 이용 시 ~60% 절감 가능. Apple·RTX 소비자 카드는 AWS에서 직접 제공하지 않습니다.
* 환율 불러오는 중...
* 추론: 파라미터당 2 bytes — FP16 로드 기준. KV 캐시는 별도 (시퀀스 길이 비례)
* 활성화 메모리 미포함 — 배치 크기·시퀀스 길이에 비례해 추가 VRAM 소모. 소형 모델(배치=1)은 파라미터 메모리의 ~1~3% 수준으로 무시 가능
* Apple MPS 수치는 기기마다 다름 (M1 8GB ~ M3 Ultra 192GB). RTX 3060 12GB는 Desktop 전용 (Laptop 버전은 6GB)
* 💻 내 디바이스 행은 이 서버가 실제로 감지한 메모리 기준 실측값 — 다른 컴퓨터에서 열면 그 기기의 사양으로 표시됩니다
* 다중 GPU: VRAM 단순 합산 기준. DDP 학습 시 실제 처리 파라미터 수는 동일하지만 배치를 분산하므로 더 큰 배치/더 긴 시퀀스 사용 가능. 통신 오버헤드는 미포함
* 이탤릭체·보라색(*) 모델은 규모 비공개 모델의 외부 추정치입니다. Claude·GPT-4·Gemini 시리즈는 공식 파라미터 수를 공개하지 않습니다.
* AWS 비용: EC2 온디맨드 us-east-1 기준 (2025). Spot 인스턴스 이용 시 ~60% 절감 가능. Apple·RTX 소비자 카드는 AWS에서 직접 제공하지 않습니다.
* 환율 불러오는 중...