https://medium.com/@shravankoninti/build-a-small-language-model-slm-from-scratch-3ddd13fa6470
ChatGPT 요약
핵심 요약
1. SLM이란? (Small Language Model)
-
현재 기준으로 1억 개 미만의 파라미터를 갖는 모델을 **작은 언어 모델(SLM)**로 정의합니다.
-
과거 GPT‑3 (~175B), GPT‑4(추정치: ~1T)와 비교할 때 매우 작은 크기의 모델입니다.
2. TinyStories 데이터셋
-
TinyStories는 GPT‑3.5 및 GPT‑4가 생성한, 3~4세 어린이가 이해할 수 있는 단어만으로 구성된 짧은 이야기들의 합성 데이터셋입니다. Hugging Face에서 불러올 수 있으며, 약 200만 건의 학습 데이터와 2만 건의 검증 데이터가 포함되어 있습니다.
3. 전처리: 토크나이제이션 및 입력-출력 구성
-
Tokenization에는 GPT‑2 서브워드 방식을 사용하고, 모든 토큰 ID를 하나의
.bin파일에 수집해 학습용 대형 토큰 시퀀스를 구성합니다.
4. 모델 설계 및 학습
-
글에서는 모델 구조나 학습 방법 등 자세한 내용은 제공되지 않았지만, 10~15M 파라미터 수준의 작은 구조로도 일관된 텍스트 생성이 가능할지에 대한 실험이 핵심으로 제시됩니다.
