bibitlabs

로컬에서 LLM을 돌려본 사람이라면 한 번쯤 파일 목록 앞에서 멈칫한 경험이 있을 것이다. Q4_K_M, Q5_K_S, Q8_0… 이름만 봐서는 무엇이 좋은지 직관적으로 와닿지 않는다. 다운로드 크기를 보면 두 배 가까이 차이가 나고, 그렇다고 무작정 큰 파일을 받자니 VRAM이나 RAM이 버텨줄지 걱정이 앞선다. 결국 품질을 얼마나 포기해야 메모리를 아낄 수 있는지, 그 거래 비율을 이해하는 것이 핵심이다. … 더 읽기

맥북에서 Ollama를 설치했는데 생각보다 느리다는 경험이 있다면, 범인은 모델 크기가 아닐 수 있다. 터미널 한 줄로 실행 아키텍처를 확인해보면 의외의 원인이 드러나는 경우가 꽤 있다. Rosetta가 하는 일과 하지 못하는 일 애플이 인텔에서 자체 실리콘으로 전환할 때 만든 Rosetta 2는 x86_64(인텔) 바이너리를 arm64(애플 실리콘) 환경에서 실행할 수 있게 해주는 동적 번역 레이어다. 처음 실행할 때 … 더 읽기

로컬 LLM을 써본 사람이라면 한 번쯤 이런 의문을 품는다. Ollama가 내부적으로 llama.cpp를 쓴다고 하는데, 왜 직접 llama.cpp를 빌드해서 실행하면 더 빠른 경우가 생기는 걸까. 같은 엔진 위에서 돌아가는 거라면 결과도 같아야 하지 않나. 사실 Ollama는 llama.cpp를 그대로 가져다 쓰지 않는다. 정확하게는 llama.cpp의 C++ 코어를 Go로 작성된 서버 레이어로 감싼 형태다. 사용자가 ollama run 명령을 실행하면 … 더 읽기

맥에서 로컬 LLM을 돌려본 사람이라면 한 번쯤 이 질문에 부딪혔을 것이다. MLX를 써야 할까, llama.cpp를 써야 할까. 두 런타임 모두 Apple Silicon에서 잘 돌아가고, 커뮤니티도 활발하며, 지원 모델도 점점 겹쳐가고 있다. 그런데 실제로 써보면 상황에 따라 체감 속도 차이가 꽤 크게 날 때가 있다. 단순히 “MLX가 애플 공식이니까 더 빠르다”는 식의 설명은 절반만 맞다. MLX가 … 더 읽기

Apple Silicon 맥북으로 로컬 LLM을 처음 돌려보려는 사람들이 한 번씩 막히는 지점이 있다. Ollama를 설치하면 되는 건지, llama.cpp를 직접 빌드해야 하는 건지, 아니면 요즘 이야기 많이 나오는 MLX를 써야 하는 건지. 각각의 GitHub 리포지토리를 열어보면 설명이 다 다르고, 벤치마크 숫자는 출처마다 제각각이다. 세 가지를 정확히 이해하려면 먼저 이것들이 같은 층위의 도구가 아니라는 점을 짚어야 한다. … 더 읽기

M4 Pro와 M4 Max 중 어느 쪽이 로컬 LLM에 더 유리할까. 코어 수를 보면 M4 Max가 앞서지만, 체감 차이는 스펙표에서 예상하는 것과 미묘하게 다르다. 핵심은 GPU 코어 수가 아니라 메모리 대역폭에 있다. LLM 추론은 연산보다 데이터 이동이 병목이다. 트랜스포머 모델이 토큰 하나를 생성할 때마다 모델 전체의 가중치를 메모리에서 읽어야 한다. 7B(70억) 파라미터 모델을 FP16으로 불러오면 … 더 읽기

M 시리즈 칩을 쓰는 맥북으로 로컬 LLM을 돌려본 사람이라면 한 번쯤 이런 의문을 가졌을 것이다. GPU 전용 메모리, 이른바 VRAM이 없는데 어떻게 70억~700억 파라미터짜리 모델이 돌아가는 걸까. 기존 PC에서 VRAM이 따로 존재하는 이유 일반적인 데스크톱 PC 구조를 먼저 이해해야 한다. 인텔·AMD CPU와 엔비디아·AMD GPU가 따로 존재하는 환경에서는 시스템 메모리(DDR5 RAM)와 그래픽 전용 메모리(GDDR6, GDDR6X 등)가 … 더 읽기