로컬에서 LLM을 돌리다 보면 결국 속도의 벽을 만난다. 모델 크기를 키울수록 응답이 느려지고, 빠른 소형 모델로 타협하면 품질이 아쉽다. MTP(Multi-Token Prediction) 기반 Speculative Decoding은 이 딜레마를 꽤 영리하게 피해가는 방법이다. 품질은 그대로 두고 속도만 높이는 기법인데, 이제 LM Studio에서 UI 몇 번 클릭만으로 켤 수 있다. LM Studio가 v0.3.10에서 Speculative Decoding을 정식 도입한 것은 2025년 … 더 읽기
장거리 비행 중에 ChatGPT가 필요했던 적 있으신가요. 기내 와이파이는 느리거나 없고, ChatGPT는 인터넷 없이 작동하지 않습니다. LM Studio를 사용하면 인터넷 연결 없이 내 노트북에서 AI를 실행할 수 있습니다. 설치부터 채팅 시작까지 30분이면 충분하고, 이후에는 비행기 모드에서도 완전히 동작합니다. LM Studio는 무료 앱입니다. AI 모델을 내 컴퓨터에 다운로드해서 완전히 로컬에서 실행하게 해주는 도구입니다. ChatGPT와 비슷한 채팅 … 더 읽기
올해 4월 Google DeepMind가 Gemma 4를 Apache 2.0 라이선스로 공개했을 때 개발자 커뮤니티의 반응이 빠르게 달아올랐습니다. 단순히 “성능 좋은 오픈소스 모델”이 생긴 것을 넘어, 합리적인 소비자 하드웨어에서 코딩 에이전트 수준의 성능을 기대할 수 있는 첫 번째 현실적인 선택지가 등장했다는 감각 때문입니다. Gemma 4는 E2B, E4B, 26B A4B, 31B의 네 가지 모델로 구성됩니다. 이름에서 눈치챌 수 … 더 읽기
유료 AI 구독을 끊겠다는 게 아니라, 병행하는 게 더 낫다는 걸 깨달은 시점이 있었다. 코딩이나 복잡한 분석은 여전히 유료 모델이 압도적이지만, 간단한 심부름이나 코드 리뷰, 빠른 질문 응답처럼 “굳이 클라우드까지 보낼 필요 없는” 작업에는 로컬 모델로도 충분하다는 판단이었다. 그 기준으로 한달 가까이 Gemma 4 E4B와 Qwen 3.5 9B를 번갈아가며 써왔고, 이제는 어느 쪽을 주력으로 쓸지 … 더 읽기
VS Code를 꽤 오래 썼다. 익숙하고, 확장 생태계도 방대하고, 모르는 사람이 없다는 것 자체가 일종의 안전망이었다. 그런데 어느 순간부터 에디터를 켤 때마다 느끼는 묵직함이 쌓이기 시작했다. 탭이 많아질수록 버벅거리고, 설치된 익스텐션들이 서로 충돌하고, 설정 파일은 어느새 수백 줄이 넘어 있었다. 코드를 쓰는 도구인데, 도구를 관리하는 데 시간을 쓰고 있다는 느낌이었다. VS Code에서 Zed로 갈아탄 이유 … 더 읽기
언어모델이 텍스트를 생성하는 방식은 본질적으로 순차적이다. 토큰 하나를 만들고, 그것을 바탕으로 다음 토큰을 만들고, 또 그것을 바탕으로 또 다음 토큰을 만든다. 모델이 아무리 크고 하드웨어가 아무리 좋아도, 이 구조 자체가 지연을 만들어낸다. 구글이 5월 5일 공개한 Gemma 4의 멀티-토큰 예측(MTP) 드래프터는 바로 이 병목을 정면으로 겨냥한다. 아이디어는 추측 디코딩(Speculative Decoding)에서 출발한다. 크고 정확한 타겟 모델이 … 더 읽기
At some point when you’re using the Claude Haiku API to filter web search results or narrow down relevant files in a codebase, a question creeps in: “Does this really need to go to a cloud API?” There’s also the nagging feeling that internal code or potentially sensitive file contents are passing through an external … 더 읽기
웹 검색 결과를 정리하거나, 코드베이스에서 관련 파일을 추려내는 작업에 클로드 하이쿠 API를 쓰다 보면 어느 순간 “이 정도 작업을 꼭 클라우드 API로 보내야 하나?”라는 의문이 든다. 민감할 수 있는 파일 내용이나 내부 코드가 외부 서버를 거친다는 점도 마음에 걸린다. 이미지 출처: Unsplash 마침 올라마(Ollama)에서 gemma4:e4b를 로컬에서 돌려본 뒤로 생각이 달라졌다. 반복성 높은 경량 작업에서는 하이쿠와 … 더 읽기