요즘 개발하시는 분들, 혹시 AI 코딩 에이전트 써보셨나요? OpenAI, Anthropic, Google에서 나온 요즘 에이전트들은 인간의 감독 아래서 몇 시간씩 일하면서 앱을 완성하고, 테스트하고, 버그까지 고친다고 하더라고요. 완전 미래지향적인데, 솔직히 궁금하지 않나요? 저도 스타트업에서 일하면서 이런 소식 들으면 ‘와, 이거 진짜 우리 팀에 도입해봐야겠다’ 싶거든요.
근데 여기서 중요한 게 하나 있어요. 이 도구들은 마법이 아니라는 점! 오히려 잘못 쓰면 프로젝트를 더 복잡하게 만들 수도 있다고 해요. 그러니까 어떻게 작동하는지 원리를 알면, ‘언제’ 그리고 ‘정말’ 써야 할지 판단하는 데 도움이 될 거예요.
간단히 말하면, 모든 AI 코딩 에이전트의 핵심에는 ‘대형 언어 모델(LLM)’이라는 기술이 있어요. 이건 엄청난 양의 텍스트 데이터(프로그래밍 코드도 많이 포함되어 있죠)로 학습된 일종의 패턴 매칭 머신이에요. 우리가 프롬프트를 주면, 학습 데이터 속에서 통계적으로 가장 그럴듯한 다음 패턴을 뽑아내서 답을 주는 거죠. 잘하면 유용한 논리적 추론을 해내지만, 가끔은 완전 헛소리를 만들어내기도 해요. 우리가 ‘할루시네이션’이라고 부르는 그 현상이죠.
이 기본 모델은 더 나은 출력을 내기 위해 미세 조정이나 인간 피드백 강화 학습 같은 기술로 다듬어져요. 그리고 최근에는 ‘시뮬레이션 추론 모델’이나 ‘에이전트’ 같은 혁신이 등장했어요. 에이전트는 여러 LLM을 연결해서 동시에 작업을 수행하고 결과를 평가하는 응용 프로그램이에요.
그러니까 각 코딩 에이전트는 여러 LLM과 함께 일하는 프로그램 래퍼라고 생각하시면 돼요. 인간 사용자의 작업(프롬프트)을 해석하는 ‘감독’ LLM이 있고, 이 감독이 병렬 LLM들에게 소프트웨어 도구를 사용해 지시를 실행하도록 과제를 나눠주는 구조예요. Anthropic의 설명을 빌리자면, ‘맥락 수집 → 행동 취하기 → 작업 검증 → 반복’의 패턴이라고 하네요.
로컬 CLI로 실행하면, 에이전트는 파일을 쓰거나 명령어를 실행하는 등 조건부 권한을 받아요. 웹 기반 에이전트(예: Claude Code)는 샌드박스화된 클라우드 컨테이너 안에서 안전하게 작업을 수행하구요. 당연히 전자의 방식은 잠재적 위험이 따르니까 조심해서 써야 해요.
여기서 꼭 짚고 넘어가야 할 개념이 ‘컨텍스트’에요. LLM은 일종의 단기 기억을 가지고 있는데, 이게 처리할 수 있는 데이터 양에 한계가 있어요. 우리가 감독 에이전트에게 응답을 제출할 때마다, 지금까지의 모든 대화 기록과 생성된 코드, 모델이 ‘생각’하기 위해 사용하는 토큰까지 포함된 거대한 프롬프트가 만들어지는 거죠. 문제는 이 과정이 컴퓨팅 비용이 엄청나게 비싸고, 프롬프트 크기가 커질수록 그 비용이 제곱으로 증가한다는 거예요.
Anthropic 팀은 컨텍스트를 수확 체감의 법칙이 적용되는 유한한 자원이라고 설명해요. 연구에 따르면 컨텍스트 창의 토큰 수가 늘어날수록 모델의 성능이 떨어지는 ‘컨텍스트 부패’ 현상도 발견되었다고 하네요.
결국 요점은 이거예요. AI 코딩 에이전트는 분명 강력한 도구지만, 그 내부 작동 원리와 한계를 이해해야 비로소 ‘진짜’ 도구가 될 수 있다는 거죠. 막 썼다가 프로젝트가 꼬이는 것보다, 알고 차근차근 활용하는 게 훨씬 현명한 방법인 것 같아요. 우리 팀에도 한번 제안해봐야겠네요. 물론, 이 글 내용을 설명하면서요!
—
원문: [Ars Technica](https://arstechnica.com/information-technology/2025/12/how-do-ai-coding-agents-work-we-look-under-the-hood/)