NeuroCosm — Datasets

데이터셋 파일을 선택하세요

크기

글자

단어

줄

미리보기

데이터셋 페이지 도움말

데이터셋이란?

모델 학습과 파인튜닝에 사용되는 텍스트 파일을 관리하는 공간입니다. 커스텀 학습(학습 페이지)과 HuggingFace LoRA 파인튜닝 양쪽에서 공통으로 사용됩니다. HF 허브에서 내려받은 데이터셋도 여기서 텍스트로 변환되어 나타납니다.

목록의 두 부류 (형식 자동 감지)

💬 대화/QA 형식	한 줄이 `<USER>/<BOT>` 마커(또는 사용자:/AI: 교대)로 된 파일. 챗봇 학습용으로, 사전학습과 파인튜닝 모두 사용할 수 있으며 학습 시 대화 단위 보존 모드로 동작합니다.
📄 일반 텍스트	그 외 모든 텍스트. 주로 사전학습(언어 기반 다지기)에 쓰고, 파인튜닝에 쓰면 문체를 입히는 용도입니다.

형식 기준의 자동 분류일 뿐 용도를 강제하지 않습니다 — 어느 쪽이든 양쪽 학습에 선택할 수 있습니다.

파일 업로드

업로드 영역에 .txt 또는 .pdf 파일을 드래그하거나 클릭하여 업로드합니다.
업로드된 파일은 datasets/text/ 디렉토리에 저장됩니다.
PDF는 자동으로 텍스트로 변환됩니다.

파일 형식 가이드

커스텀 학습용	일반 텍스트 (.txt). 줄바꿈 구분 문장. 양이 많을수록 학습 효과 좋음.
파인튜닝용 (커스텀)	대화 형식 텍스트. `사용자: …\nAI: …` 교대 패턴.
HF LoRA 파인튜닝용	같은 .txt 파일 사용 가능. 포맷 처리는 파인튜닝 페이지에서 자동 수행.

삭제 시 주의

파일이 프로젝트나 학습 런에서 참조 중이면 참조 경고가 표시됩니다. 그래도 삭제하면 해당 프로젝트·런의 데이터셋 경로가 깨질 수 있습니다.

지식베이스를 선택하거나 새로 만드세요

지식베이스(RAG) 도움말

지식베이스란?

규정·매뉴얼·내부 문서를 업로드해 두면, 챗봇이 질문할 때마다 관련 문단을 찾아 그 근거에 기반해 답합니다(검색증강 생성, RAG). 모델을 새로 학습하지 않고도 전용 지식을 답변에 반영할 수 있습니다. 문서·색인은 전부 이 기기에만 저장됩니다.

사용 흐름

여기(데이터셋 → 지식베이스 탭)에서 KB를 만들고 TXT/PDF 문서를 업로드합니다.
임베딩 모델은 KB에 고정됩니다 — 디바이스 사양에 맞춰 고르세요(가벼움: E5-small / 고품질: BGE-M3).
챗봇 페이지에서 모델 + 이 지식베이스를 선택하면, 답변이 문서 근거로 더 정확해지고 출처가 표시됩니다.

💡 새로운 내용을 챗봇이 기억해서 대답하게 만들려면, 원문을 그대로 학습시키는 대신 내용을 질문→답변 쌍으로 만들어 파인튜닝해야 합니다. 아래에 텍스트를 붙여넣으면 문장별 QA 후보를 제안합니다 — 검토·수정 후 데이터셋으로 저장하세요.

① 지식 텍스트 입력

데이터셋에서 불러오기

새 파일은 데이터셋 탭에서 업로드한 뒤 여기서 선택하세요. 아래에 직접 입력해도 됩니다.

지식 QA 빌더 도움말

왜 QA로 변환하나요?

이 플랫폼의 커스텀 모델은 암기 기반으로 동작합니다. 원문을 그대로 파인튜닝하면 문체만 배우고 질문에 답하지 못합니다. 내용을 질문→답변으로 정리해야 챗봇이 그 내용으로 "대답"합니다.

QA 제안 원리 (인터넷 불필요)

AI가 아니라 순수 규칙(패턴 매칭)입니다 — 외부 호출이 없어 인터넷이 끊겨도 동일하게 작동합니다. 문장 분할 → 조사 앞 주제어 추출 → 질문 틀 적용(한국어/영어 자동 판별). 규칙 기반이라 질문을 자연스럽게 다듬는 것이 학습 품질을 좌우합니다.

알아둘 것

변형 질문	같은 답을 다른 표현으로 묻는 추가 학습 데이터. 실제로 물어볼 표현을 넣을수록 좋습니다.
기존 대화 섞기	새 QA만 학습하면 기존 대화 능력을 잊을 수 있습니다(망각). 기반 모델이 배운 챗 데이터셋을 섞어 완화합니다.
저장 위치	표준 챗 형식으로 `datasets/text/`에 저장 → 파인튜닝 페이지에서 학습에 사용.

GPU 가이드 — 파라미터 수 × 하드웨어 성능

내 모델로 바로 확인

100M 파라미터

100,000,000 params

GPU	수량 / VRAM	학습 용량	학습 여부	추론 용량	추론 여부

* 학습: 파라미터당 16 bytes — FP16 가중치(2) + FP32 마스터 복사본(4) + FP16 그래디언트(2) + Adam 모멘텀·분산(8). 출처: ZeRO (Rajbhandari et al., 2020)
* 추론: 파라미터당 2 bytes — FP16 로드 기준. KV 캐시는 별도 (시퀀스 길이 비례)
* 활성화 메모리 미포함 — 배치 크기·시퀀스 길이에 비례해 추가 VRAM 소모. 소형 모델(배치=1)은 파라미터 메모리의 ~1~3% 수준으로 무시 가능
* Apple MPS 수치는 기기마다 다름 (M1 8GB ~ M3 Ultra 192GB). RTX 3060 12GB는 Desktop 전용 (Laptop 버전은 6GB)
* 💻 내 디바이스 행은 이 서버가 실제로 감지한 메모리 기준 실측값 — 다른 컴퓨터에서 열면 그 기기의 사양으로 표시됩니다
* 다중 GPU: VRAM 단순 합산 기준. DDP 학습 시 실제 처리 파라미터 수는 동일하지만 배치를 분산하므로 더 큰 배치/더 긴 시퀀스 사용 가능. 통신 오버헤드는 미포함
* 이탤릭체·보라색(*) 모델은 규모 비공개 모델의 외부 추정치입니다. Claude·GPT-4·Gemini 시리즈는 공식 파라미터 수를 공개하지 않습니다.
* AWS 비용: EC2 온디맨드 us-east-1 기준 (2025). Spot 인스턴스 이용 시 ~60% 절감 가능. Apple·RTX 소비자 카드는 AWS에서 직접 제공하지 않습니다.
* 환율 불러오는 중...

로그인