로컬 LLM을 쓰다 보면 어느 순간 내장 드라이브가 빡빡해진다. 7B짜리 모델 하나가 4~5GB, 13B는 8~9GB, 70B 모델이면 압축해도 40GB 안팎이다. 모델 서너 개만 받아도 100GB가 훌쩍 넘어간다. 그래서 자연스럽게 드는 질문이 하나 있다. 외장 SSD에 모델을 옮기면 실제로 얼마나 느려질까?
결론부터 말하면, 스토리지 속도가 LLM 성능에 영향을 미치는 시점은 딱 하나다. 모델을 처음 메모리에 올릴 때, 즉 로딩 단계뿐이다. 모델이 일단 RAM(혹은 Apple Silicon의 통합 메모리)에 올라가고 나면, 그다음부터는 스토리지와 완전히 무관해진다. 추론 연산은 전부 메모리와 연산 유닛 사이에서 이뤄지기 때문이다. 따라서 “외장 SSD에 모델을 두면 토큰 생성 속도가 느려지나요?”라는 질문에 대한 답은 ‘아니오’다. 로딩 시간이 길어질 뿐이다.
그렇다면 로딩 시간 차이는 얼마나 될까. 인터페이스별 실측 읽기 속도를 기준으로 보면 차이가 상당히 극적이다.
| 인터페이스 | 대표 읽기 속도 |
|---|---|
| M4 MacBook Pro 내장 NVMe | ~7 GB/s |
| Thunderbolt 4 외장 NVMe | ~2.5–3 GB/s |
| USB 3.2 Gen2 외장 SSD | ~1 GB/s |
| USB-A 3.0 외장 HDD | ~100–150 MB/s |
70B 모델을 Q4 양자화 기준 약 40GB라 잡으면, 내장 NVMe에서는 6~7초면 로딩이 끝난다. Thunderbolt 4 외장 NVMe라면 13~16초, USB 3.2 Gen2 SSD라면 40초 전후다. 외장 HDD로 가면 얘기가 달라진다. 같은 모델을 올리는 데 4~7분이 걸릴 수 있다. 한 번 기다리는 거야 감수할 수 있지만, 모델을 자주 바꿔가며 쓰는 환경이라면 HDD는 현실적으로 쓰기 어렵다.
실제로 어느 조합이 쓸 만한가
Thunderbolt 4를 지원하는 외장 NVMe 인클로저는 요즘 그리 비싸지 않다. 삼성 990 Pro 2TB에 적당한 Thunderbolt 인클로저를 붙이면 총 20~25만 원 선에서 해결된다. 이 조합이라면 내장 대비 로딩 시간이 2~2.5배 느려지는 수준이고, 추론 속도 자체에는 아무 영향이 없으니 실용적으로 충분한 선택지다. 특히 Ollama나 LM Studio처럼 모델 경로를 자유롭게 지정할 수 있는 툴에서는 외장 드라이브 경로를 그대로 쓸 수 있다.
USB 3.2 Gen2 SSD도 나쁘지 않다. 초당 1GB 읽기면 7B~13B 모델 기준으로는 로딩이 10초 이내에 끝난다. 70B처럼 큰 모델을 자주 불러오지 않는 경우라면 이걸로도 충분하다. 가격 대비 용량을 최우선으로 보는 사용자라면, 외장 SSD 쪽이 내장 증설보다 훨씬 저렴하다.
이미지 출처: Unsplash
Mac Mini를 로컬 LLM 서버로 쓰는 경우에는 외장 SSD 조합이 특히 잘 어울린다. Mac Mini는 내장 스토리지 업그레이드가 불가능한 구조인데, M4 Pro 모델이라도 기본 구성이 512GB라 여러 대형 모델을 동시에 보관하기엔 빠듯하다. 여기에 Thunderbolt 4 외장 NVMe를 붙여두면 모델 보관 창고 역할을 충분히 한다. 자주 쓰는 모델 한두 개는 내장에, 나머지는 외장에 두는 식으로 운용하는 것이 현실적으로 가장 합리적인 구성이다. 어차피 추론 중에는 스토리지를 전혀 쓰지 않으니, 자주 불러올 모델 몇 개만 내장에 남기면 된다.
반대로 모델을 딱 하나만, 그것도 가끔씩 쓰는 경우라면 내장에 꼭 두어야 할 이유가 없다. 로딩을 하루에 한두 번만 한다면 Thunderbolt 외장에서 15초 기다리는 비용은 그냥 넘어갈 수 있다. 그보다 내장 스토리지 여유 공간이 시스템 전반의 쾌적함에 더 직접적인 영향을 미친다.
결국 이 선택의 핵심은 단순하다. 얼마나 자주 로딩하느냐, 그리고 몇 개의 모델을 운용하느냐다. 로컬 LLM 생태계가 성숙하면서 모델 크기는 계속 커지고 있고, 한편으로는 양자화 기술도 발전해 같은 성능을 더 작은 파일 크기로 담아내는 방향으로 가고 있다. 당장 Thunderbolt 외장 NVMe 하나만 있어도 모델 수십 개를 여유 있게 보관할 수 있는 환경이 가능해졌다. 스토리지 병목은 로딩 단계에서만 존재한다는 사실을 알고 나면, 외장 드라이브가 생각보다 훨씬 실용적인 선택지로 보이기 시작한다.
출처