요즘 코딩하시나요? 아니면 AI에게 시켜보시나요? 😄 저는 스타트업에서 일하면서 개발자 분들 이야기를 자주 듣는데, 요즘 화두는 단연 ‘AI 코딩 에이전트’더라고요. 몇 시간 동안 혼자서 앱을 만들고, 테스트하고, 버그까지 고친다는 소리에 ‘진짜 개발자 끝났나?’ 싶기도 했어요. 근데 알고 보니, 마법의 뚝딱 도구가 아니라 ‘잘 알고 써야 하는 도구’더라구요.
일단 기본 원리를 보면, 모든 AI 코딩 에이전트의 핵심에는 ‘LLM’이라는 큰 언어 모델이 있어요. 이 친구는 엄청난 양의 텍스트와 코드를 먹고 자란 패턴 매칭 머신이에요. 우리가 프롬프트(지시)를 주면, 그 패턴을 이어가는 ‘그럴싸한 다음 문장’을 뱉어내는 거죠. 마치 제가 경제학 공부할 때 수많은 그래프 패턴을 외우는 것처럼요. 잘하면 논리적인 추론도 하지만, 가끔은 아예 상상한 걸 지어내는 ‘환각’ 오류도 일으킨답니다.
이 기본 모델을 더 다듬어서 ‘에이전트’라는 프로그램으로 포장한 게 지금 우리가 보는 도구들이에요. 여기서 재미있는 건 구조인데, 마치 작은 IT 회사처럼 생겼어요. 사용자와 대화하는 ‘슈퍼바이저 LLM’이 있고, 이 친구가 작업을 쪼개서 여러 ‘평행 LLM’에게 나눠주는 거예요. 그리고 각각의 LLM은 코드를 쓰거나 테스트를 돌리는 등 실제 작업을 하고, 슈퍼바이저는 결과를 확인하면서 “어, 이건 아닌데?” 하면 중단시키기도 하죠. Anthropic 팀은 이 과정을 ‘정보 모으기 → 행동하기 → 작업 확인하기 → 반복하기’라고 설명했어요.
근데 진짜 신기한 게, 이 에이전트들 작업 방식이 두 가지로 나뉜다는 거예요. CLI(명령줄)로 로컬에서 돌리면, 우리 컴퓨터 파일을 마음대로 수정하거나 명령을 실행할 수도 있어요. 엄청 강력하지만, 위험할 수도 있으니까 조심해서 써야 해요. 반면 웹 버전(Claude Code 같은)은 ‘샌드박스’라는 격리된 공간에서 작업해요. 우리 코드 저장소를 복사해와서 그 안에서만 파일을 읽고, 명령을 실행하죠. 마치 요리 실습을 할 때 우리 집 주방이 아니라 학교 실습실에서 하는 느낌이에요.
여기서 중요한 제한이 하나 있는데, 바로 ‘컨텍스트’라는 짧은 기억력이에요. LLM은 대화 기록과 생성한 코드, 심지어 스스로 생각한 과정까지 모두 하나의 거대한 프롬프트로 기억해요. 문제는 이 프롬프트가 길어질수록 처리 비용이 기하급수적으로 늘고, 정확도도 떨어진다는 거죠. 연구자들은 이를 ‘컨텍스트 부패’라고 부른대요. 마치 우리가 너무 많은 일을 동시에 기억하려고 하면, 중요한 걸 까먹는 것처럼요.
솔직히, 이 모든 설명을 듣고 나니 AI 코딩 에이전트가 완벽한 해결사는 아니라는 게 느껴지네요. 엄청나게 강력한 도구이지만, 여전히 패턴에 의존하고, 기억력에도 한계가 있어요. 개발자 분들 말씀을 들어보면, 정말 반복적이고 구조적인 작업에는 빛을 발하지만, 복잡한 비즈니스 로직이나 창의적인 설계에는 인간의 감독이 필수라고 해요.
결국 요점은 ‘언제 쓸지 아는 것’인 것 같아요. 마치 주식이나 코인 투자할 때, AI 분석 도구를 맹신하지 않고 우리의 판단력과 결합시키는 것처럼요. AI 코딩 에이전트도 그냥 ‘클릭 한 번에 모든 게 해결된다’는 마법의 버튼이 아니라, 우리의 생산성을 높여줄 ‘똑똑한 동료’ 정도로 바라보는 게 현명해 보여요. 여러분은 어떻게 생각하시나요?
—
원문: [Ars Technica](https://arstechnica.com/information-technology/2025/12/how-do-ai-coding-agents-work-we-look-under-the-hood/)