스마트폰에서 LLM이 돌아간다는 말은 이제 새롭지 않다. Qualcomm은 Snapdragon 8 Gen 3부터 온디바이스 AI를 마케팅 전면에 내세웠고, Apple은 iPhone 15 Pro 이후로 줄곧 “기기 내 AI 처리”를 강조하고 있다. 그런데 실제로 써보면 늘 뭔가 어설프다는 인상을 지우기 어렵다. 느리거나, 금방 뜨거워지거나, 모델 크기가 너무 작아서 쓸 만한 답변이 안 나오거나. NPU는 GPU의 축소판이 아니다 NPU(Neural … 더 읽기
ChatGPT나 Claude를 쓰면서 AI가 자연스럽게 웹 검색을 하거나 코드를 실행하는 걸 보면, 마치 모델이 스스로 판단해 적절한 도구를 꺼내 쓰는 것처럼 느껴진다. 그런데 그 안을 들여다보면, “지능적 선택”이라고 부르기에는 꽤 기계적인 과정이 담겨 있다. Function Calling이라는 이름에는 뭔가 특별한 메커니즘이 있을 것 같은 뉘앙스가 있다. 하지만 현재 대부분의 LLM에서 Function Calling은 특수한 회로나 별도의 모듈이 … 더 읽기
로컬에서 LLM을 돌려본 사람이라면 한 번쯤 이런 상황을 겪었을 것이다. Windows PC에 고급 GPU가 있는데도 70억 파라미터짜리 모델이 생각보다 느리거나, VRAM이 부족하다는 경고가 뜨면서 갑자기 추론 속도가 10분의 1로 뚝 떨어지는 경험. 반면 맥북 프로로 비슷한 모델을 돌리면 어디서 막히는 느낌 없이 그냥 흘러간다. 이 차이가 단순히 애플 하드웨어가 비싸거나 최적화가 잘 됐기 때문이라고만 알고 … 더 읽기
맥북 프로 구매를 앞두고 M4 Pro와 M4 Max 중 어느 쪽을 고를지 고민하는 사람들의 질문에는 공통된 패턴이 있다. “차이가 실제로 느껴지냐”는 것이다. 영상 편집이나 3D 렌더링이라면 벤치마크 숫자가 곧 답이지만, 로컬 LLM(Large Language Model) 추론에서는 조금 다른 이야기가 펼쳐진다. 단순히 CPU 코어 수나 GPU 코어 수의 문제가 아니라, 메모리 대역폭이라는 변수가 중심에 자리 잡기 때문이다. … 더 읽기
지난글에 Claude, Gemini, Codex CLI를 멀티 모델 오케스트레이션 환경으로 묶는 방법을 정리한 적이 있다. 다시 읽어보니 실제 쓰는 방식과 많이 다르다. 그 글은 터미널에서 bash 파이프라인을 손으로 연결하는 접근이었는데, 실제로는 Claude Code에 목표만 말하면 나머지는 알아서 돌아간다. 뒤에서 어떤 CLI가 돌아가는지 신경 쓸 필요가 없다. 그 구조를 실제에 맞게 다시 정리한다. 실제 사용 방식 내가 … 더 읽기
“안전한 소프트웨어를 만들고 싶다면 C를 버리고 Rust로 가라.” 최근 몇 년 사이 미국 NSA, 백악관 사이버 보안 전략 보고서까지 이런 방향을 공식 권고하고 있다. Microsoft 역시 내부 신규 프로젝트에서 Rust 채택을 적극 장려해온 곳이다. 그런데 이번에 내놓은 패는 예상과 달랐다. 이미지 출처: Unsplash Microsoft는 이번 주 lib0xc를 GitHub에 오픈소스로 공개했다. “C 표준 라이브러리 인접 API들을 … 더 읽기