여러분, 요즘 새로 나오는 스마트폰이나 노트북 스펙 보시면 ‘NPU’라는 단어, 자주 보이시죠? 성능이 무려 40% 향상되었다고 광고하는 그 칩 말이에요. 근데 솔직히 말해서, 이 NPU가 뭘 하는지, 우리 생활에 정말 어떤 변화를 가져오는지 잘 모르겠다는 생각, 한 번쯤 해보셨을 거예요. 저도 그래서 궁금했어요.
사실 요즘 몇 년간 모든 기술 혁신은 ‘생성형 AI’ 하나에 집중되고 있잖아요? ChatGPT나 미드저니 같은 거요. 그런데 문제는, 이렇게 화제가 되는 AI 대부분은 어딘가 데이터센터의 거대한 서버에서 돌아간다는 거죠. 그런데 정작 우리 손에 쥔 기기 안에는 NPU라는 전용 AI 칩이 들어가고 있어요. 왜 이런 일이 벌어지는 걸까요?
제가 요즘 관련 기사들을 보면서 느낀 건, 회사들이 새 제품 출시할 때 ‘최고’, ‘혁신적’ 같은 수식어와 모호한 마케팅 언어에 너무 빠져들어서, 기술적 세부사항을 설명하는 데는 서툰 경우가 많다는 거였어요. 그래서 일반 소비자 입장에서는 “내가 AI 작업을 돌리려면 왜 이 하드웨어가 필요하지?”라는 근본적인 질문에 답을 얻기 힘들죠. 장점들도 대부분 이론적이거든요.
우리 폰에 들어가는 최신 칩(퀄컴 스냅드래곤이나 구글 텐서 같은)은 ‘SoC’라고 불러요. CPU, GPU, 이미지 처리 컨트롤러 등 여러 계산 요소를 하나의 실리콘 칩에 때려 박은 거죠. NPU는 이 가족에 새로 합류한 막내 멤버 같은 존재예요.
근데 진짜 신기한 게, 이 NPU가 하루아침에 생겨난 건 아니라는 점이에요. 오랜 혈통이 있답니다. 퀄컴 관계자 분 말씀을 들어보면, 그들의 AI 처리 여정은 15~20년 전 디지털 신호 처리기(DSP)에서 시작됐대요. DSP는 원래 음성 인식이나 모뎀 신호 처리 같은 걸 하던, NPU보다 훨씬 단순한 아키텍처이죠.
시간이 지나면서 엔지니어들이 이 DSP를 더 다양한 병렬 처리(예를 들어 컴퓨터 비전의 기반이 되는 CNN)에 쓰기 시작했고, 결국 지금의 생성형 AI 처리에 필수적인 ‘행렬 함수’에 특화된 NPU로 진화하게 된 거예요. 미디어텍 관계자 분은 “NPU는 일반적인 의미의 DSP라고 할 수 있지만, 훨씬 진화해서 병렬 처리와 방대한 매개변수 처리에 최적화됐다”고 설명하시더라고요.
여기서 핵심 질문이 나와요. **그럼 이렇게 발전한 NPU가 있어야만 ‘엣지'(기기 내부)에서 AI를 돌릴 수 있는 걸까요?**
꼭 그렇지만은 않아요. CPU도 가벼운 AI 작업은 처리할 수 있고(대신 느리죠), GPU는 NPU보다 더 많은 데이터를 빨리 처리할 수 있어요(대신 전력을 많이 먹고요). 상황에 따라 다르게 쓰인다는 거죠. 예를 들어 게임을 하면서 동시에 AI 추천을 돌린다면, 이미 그래픽 처리하느라 바쁜 GPU보다는 NPU가 더 효율적일 수 있어요.
결국 현재의 아이러니는, NPU 성능은 계속 올라가는데, 우리가 매일 쓰는 진짜 유용한 AI 기능들은 여전히 클라우드에 의존한다는 점이에요. 기업들이 꿈꾸는 ‘완전히 개인적이고 안전한, 기기 내 AI’의 미래와 현실 사이에는 아직 간격이 있는 거죠.
그러니까 다음에 ‘NPU 성능 40% 향상’이라는 광고를 보시게 되면, “그래서 그게 **나한테** 뭐가 달라진다는 거지?” 하고 한 번 생각해보세요. 기술의 진정한 발전은 스펙 시트의 숫자가 아니라, 우리 일상의 불편함을 얼마나 해결해주는지에서 시작되니까요. 앞으로 이 NPU가 클라우드 없이도 정말 혁신적인 걸 해낼 수 있을지, 지켜봐야 할 것 같아요.
—
원문: [Ars Technica](https://arstechnica.com/gadgets/2025/12/the-npu-in-your-phone-keeps-improving-why-isnt-that-making-ai-better/)