모델 + 토크나이저 + 설정이 하나의 번들로 묶여 관리됩니다
로딩 중...
가중치 관리 페이지 도움말
탭 구성
| 커스텀 번들 | 학습 페이지에서 완료된 모델. model.pt + tokenizer.pt + bundle.json이 하나의 번들로 묶여 있어 추론 시 토크나이저 미스매칭이 없습니다. |
| HF 어댑터 | HuggingFace 모델에 LoRA 파인튜닝한 어댑터. 기반 HF 모델 + 어댑터 조합으로 추론합니다. |
| 체크포인트 | 학습 중단·에러 시 자동 저장되는 재개용 상태. 카드의 "이어서 학습" 버튼이 사전학습/파인튜닝 페이지로 (체크포인트 종류에 맞게) 이동하며 자동 선택됩니다. |
이름 변경 (✎)
커스텀 번들·HF 어댑터·레거시 가중치는 카드의 ✎ 버튼으로 표시 이름을 자유롭게 바꿀 수 있습니다 (한글 가능, 예: "은행 상담봇 v2").
바뀌는 것은 표시 이름뿐이고, 실제 폴더 경로(
bundles/{id}/)와 추론 참조 ID(bundle:{id}, hf:...:lora:{id})는
그대로라 챗봇 추론·삭제·이어학습에 아무 영향이 없습니다. 챗봇 페이지 모델 드롭다운에는 새 이름이 바로 반영됩니다.
단, 체크포인트는 이름 변경이 없습니다 — 파일명 자체가 이어학습 매칭에 사용되기 때문입니다.
레거시 마이그레이션
v2.0 이전에 생성된 가중치는 커스텀 번들 탭 하단의 레거시 섹션에 나타납니다.
"번들로 변환" 버튼으로 새 번들 구조로 업그레이드하면 챗봇 페이지에서 정상 사용 가능합니다.
이미 동일한 가중치의 번들이 있으면(학습 완료 시 자동 생성된 번들) 중복 생성 없이 기존 번들에 연결되며,
원본 .pt 파일은 삭제하지 않고 보존합니다. HF 어댑터도 마찬가지로 "전체 hf_adapters/ 로 이동" 버튼으로 이동할 수 있습니다.
번들 구조
bundles/{bundle_id}/
├── model.pt ← 모델 가중치
├── tokenizer.pt ← 학습에 사용된 토크나이저
└── bundle.json ← 아키텍처·메타 정보
내 모델은 어디에 저장되나요? — 완전 로컬 방식
NeuroCosm은 연산(학습·추론)도, 결과물인 번들(가중치+토크나이저)도 전부 내 기기에서만
돌고 저장됩니다. AI 모델은 용량이 크고, 보안·프라이버시상 모델을 중앙 서버에 올리지 않는 것이
안전하기 때문입니다. 중앙(허브)에는 모델 사본을 두지 않습니다. 허브는 계정·팔로우 같은
소셜 그래프와 연결 중개만 담당합니다.
그래서 내가 공개한 챗봇을 다른 사람이 쓰려면, 내 기기가 켜져 있고 연결되어 있어야 합니다 — 질문이 오면 내 기기가 직접 추론해서 답하기 때문입니다. 내 기기가 꺼져 있으면 그 봇은 그동안 응답할 수 없습니다(대신 내 모델이 중앙 서버에 올라가 낯선 코드·데이터로 쌓일 일이 없어, 통제와 프라이버시는 내가 100% 쥡니다).
로그인은 소셜(공개·팔로우·다른 기기 연결)을 할 때만 필요합니다. 만들기·학습·추론은 로그인 없이 로컬에서 모두 사용할 수 있습니다.
그래서 내가 공개한 챗봇을 다른 사람이 쓰려면, 내 기기가 켜져 있고 연결되어 있어야 합니다 — 질문이 오면 내 기기가 직접 추론해서 답하기 때문입니다. 내 기기가 꺼져 있으면 그 봇은 그동안 응답할 수 없습니다(대신 내 모델이 중앙 서버에 올라가 낯선 코드·데이터로 쌓일 일이 없어, 통제와 프라이버시는 내가 100% 쥡니다).
로그인은 소셜(공개·팔로우·다른 기기 연결)을 할 때만 필요합니다. 만들기·학습·추론은 로그인 없이 로컬에서 모두 사용할 수 있습니다.
| 학습·추론(연산) | 내 기기에서 실행 (지금) |
| 가중치·토크나이저(번들) | 내 기기에만 저장 — 중앙 업로드 없음 (지금) |
| 로그인 없이 로컬 AI 사용 | 가능 (지금) |
| 내 공개봇을 남이 사용 | 내 기기가 켜져 있을 때만 응답 (내 기기가 직접 답함) (멀티유저 연결은 배포 시) |
| 기기 변경 시 이어받기 | 로그인 후 내 기기 간 직접 전송(양쪽 온라인) (예정) |
* 백업도 내 기기 기준입니다 — 중앙에 사본을 두지 않으므로 중요한 번들은 직접 보관(복사)을 권장합니다.
여러 기기에서 쓰려면 추후 기기 간 직접 전송(양쪽 모두 온라인일 때)을 제공할 예정입니다.
자주 묻는 문제
| 번들 변환 실패 | 대응하는 tokenizer.pt 파일을 찾지 못한 경우입니다. 토크나이저 페이지에서 ID를 확인하세요. |
| 추론 모델 목록에 없어요 | 챗봇 페이지에서 새로고침 버튼을 눌러보세요. 번들 변환이 완료된 후 나타납니다. |
| 체크포인트 정리 | 체크포인트 탭의 🧹 버튼이 같은 실험(데이터셋+모델+하이퍼파라미터)의 중복 중 최신 1개만 남기고, 재개 불가(완료된 파인튜닝의 잔재 등)를 정리합니다. 하이퍼파라미터를 달리한 실험 변형은 서로 다른 실험으로 취급되어 보존됩니다. 실행 전 삭제 목록과 확보 용량을 보여주고 확인을 받습니다. |
| 삭제 후 복구 | 삭제된 번들·어댑터는 복구할 수 없습니다. 삭제 시 추론 캐시와 DB 기록도 함께 정리됩니다. 단, 레거시에서 변환된 번들을 삭제해도 원본 .pt 파일은 보존되어 레거시 섹션에 다시 나타납니다. |
GPU 가이드 — 파라미터 수 × 하드웨어 성능
내 모델로 바로 확인
100M 파라미터
100,000,000 params
| GPU | 수량 / VRAM | 학습 용량 | 학습 여부 | 추론 용량 | 추론 여부 |
|---|
* 학습: 파라미터당 16 bytes — FP16 가중치(2) + FP32 마스터 복사본(4) + FP16 그래디언트(2) + Adam 모멘텀·분산(8). 출처: ZeRO (Rajbhandari et al., 2020)
* 추론: 파라미터당 2 bytes — FP16 로드 기준. KV 캐시는 별도 (시퀀스 길이 비례)
* 활성화 메모리 미포함 — 배치 크기·시퀀스 길이에 비례해 추가 VRAM 소모. 소형 모델(배치=1)은 파라미터 메모리의 ~1~3% 수준으로 무시 가능
* Apple MPS 수치는 기기마다 다름 (M1 8GB ~ M3 Ultra 192GB). RTX 3060 12GB는 Desktop 전용 (Laptop 버전은 6GB)
* 💻 내 디바이스 행은 이 서버가 실제로 감지한 메모리 기준 실측값 — 다른 컴퓨터에서 열면 그 기기의 사양으로 표시됩니다
* 다중 GPU: VRAM 단순 합산 기준. DDP 학습 시 실제 처리 파라미터 수는 동일하지만 배치를 분산하므로 더 큰 배치/더 긴 시퀀스 사용 가능. 통신 오버헤드는 미포함
* 이탤릭체·보라색(*) 모델은 규모 비공개 모델의 외부 추정치입니다. Claude·GPT-4·Gemini 시리즈는 공식 파라미터 수를 공개하지 않습니다.
* AWS 비용: EC2 온디맨드 us-east-1 기준 (2025). Spot 인스턴스 이용 시 ~60% 절감 가능. Apple·RTX 소비자 카드는 AWS에서 직접 제공하지 않습니다.
* 환율 불러오는 중...
* 추론: 파라미터당 2 bytes — FP16 로드 기준. KV 캐시는 별도 (시퀀스 길이 비례)
* 활성화 메모리 미포함 — 배치 크기·시퀀스 길이에 비례해 추가 VRAM 소모. 소형 모델(배치=1)은 파라미터 메모리의 ~1~3% 수준으로 무시 가능
* Apple MPS 수치는 기기마다 다름 (M1 8GB ~ M3 Ultra 192GB). RTX 3060 12GB는 Desktop 전용 (Laptop 버전은 6GB)
* 💻 내 디바이스 행은 이 서버가 실제로 감지한 메모리 기준 실측값 — 다른 컴퓨터에서 열면 그 기기의 사양으로 표시됩니다
* 다중 GPU: VRAM 단순 합산 기준. DDP 학습 시 실제 처리 파라미터 수는 동일하지만 배치를 분산하므로 더 큰 배치/더 긴 시퀀스 사용 가능. 통신 오버헤드는 미포함
* 이탤릭체·보라색(*) 모델은 규모 비공개 모델의 외부 추정치입니다. Claude·GPT-4·Gemini 시리즈는 공식 파라미터 수를 공개하지 않습니다.
* AWS 비용: EC2 온디맨드 us-east-1 기준 (2025). Spot 인스턴스 이용 시 ~60% 절감 가능. Apple·RTX 소비자 카드는 AWS에서 직접 제공하지 않습니다.
* 환율 불러오는 중...