컨텍스트 엔지니어링: 훌륭한 에이전트의 핵심
미디어 업계에서는 흔히 콘텐츠가 왕이라고 합니다. 에이전트에게는 맥락이 왕입니다.
오늘날 에이전트를 구동하는 대규모 언어 모델(LLM)은 질문에 답하는 것뿐 아니라 실제 업무를 수행하는 데도 놀라울 만큼 뛰어납니다. 주문 반품부터 주택담보대출 실행, 구독자 이탈 방지에 이르기까지 다양한 업무를 처리할 수 있습니다.
하지만 사람과 마찬가지로, 이들 역시 자신에게 없는 정보에 따라 행동할 수 없습니다. 또한 정보 과부하 상태에서는 무엇이 중요한지 놓치게 됩니다. 이러한 모델에 적절한 맥락을 적시에 제공하는 일은 정교한 실제 환경의 에이전트를 구축하는 데 있어 핵심 과제입니다.
해결책은 컨텍스트 엔지니어링입니다. 즉, 에이전트가 각 시점에 어떤 정보에 접근할 수 있는지와 그 정보를 언제 사용해야 하는지를 결정하는 것입니다.
고객 상호작용의 세 시대
그 이유를 이해하려면 고객과의 상호작용이 어떻게 변화해 왔는지 살펴보면 됩니다.
1세대: 대화형 음성 응답(IVR). IVR은 생각하거나 추론할 수 없습니다. 메뉴만 있을 뿐입니다. 청구 관련 문의는 1번, 반품은 2번, 상담원과 통화하려면 0번을 누르세요. 고객의 문제가 메뉴 항목과 정확히 맞지 않으면 꼼짝없이 막히게 됩니다.
2세대: 흐름. 오늘날 많은 AI 에이전트는 여전히 순서도, 의사결정 트리 또는 디지털화된 표준 운영 절차(SOP)처럼 미리 정해진 경로를 따릅니다. 고객은 자연스럽게 말할 수 있지만, 시스템은 여전히 “이러면 저렇게” 방식으로 작동합니다. 문제가 정해진 흐름을 벗어나면 상위 담당자에게 이관됩니다. 또한 SOP가 추가될수록 시스템 관리가 더 어려워지고 오류 위험도 커집니다.
3세대: 컨텍스트 엔지니어링. 오늘날 가장 정교한 에이전트는 이처럼 경직된 흐름에 의해 구동되지 않습니다. 목표를 따르고 가드레일의 제약을 받습니다. 기반 모델이 대화를 이끌고, 에이전트의 행동은 학습한 내용에 따라 그때그때 달라집니다. Sierra의 역할은 이들이 효과적으로 추론하고 올바르게 행동할 수 있도록 적절한 컨텍스트를 적시에 제공하는 것입니다.
점진적 공개
모델의 컨텍스트 윈도우에 포함된 토큰(텍스트 조각) 수가 늘어날수록 해당 정보를 정확히 기억하고 활용하는 능력은 떨어집니다. 관련 없는 토큰은 모두 실제로 중요한 토큰과 모델의 주의를 두고 경쟁합니다.
컨텍스트 엔지니어링은 대화의 각 단계에서 가장 관련성 높은 최소한의 정보만 제공하는 점진적 공개 방식을 통해 이 문제를 해결합니다.
예를 들어 고객이 유럽행 국제 배송에 관해 문의하는 경우, 상담원은 처음부터 모든 국가별 맞춤 규칙을 알 필요가 없습니다. 해당 정보는 목적지를 파악한 후에야 필요해집니다. 배송지가 독일이라면 상담원에게는 독일 관련 지침이 필요합니다. 그전까지는 그 정보가 불필요한 잡음일 뿐입니다.
조건: 연결 고리
조건은 점진적 공개가 작동하도록 하는 핵심 요소입니다. 즉, 어떤 상황에서 이 정보가 필요해지는지를 판단합니다.
조건은 상태(도구가 특정 데이터를 반환했는지, 고객이 인증되었는지, 구독 정보가 로드되었는지) 또는 관찰 내용(고객이 특정 주제를 언급했는지, 해지 의사를 밝혔는지, 특정 제품에 관해 질문했는지)을 기반으로 설정할 수 있습니다. 조건이 충족되면 해당 정보가 상담원에게 제공됩니다.
이러한 계층화 덕분에 대화는 기본 도구, 일반 정책, 브랜드 어조만 갖춘 최소한의 상태로 시작하면서도 길고 복잡한 고객 응대를 처리할 수 있습니다. 대화가 진행되고 상담원이 더 많은 정보를 파악할수록 추가 정보가 제공됩니다. 고객 인증이 완료되면 계정별 도구와 정책을 사용할 수 있습니다. 청구 내역에 대한 질문이 나오면 거래를 조사하는 데 필요한 이의 제기 절차, 정책 및 도구가 제공됩니다. 각 단계에서는 다음 단계에 필요한 항목만 정확히 사용할 수 있게 됩니다.
컨텍스트 유형
Sierra의 플랫폼은 맥락을 관리하기 쉬운 구성 요소로 체계화합니다. 구성 요소는 다음과 같습니다.
| Block | Purpose |
|---|---|
| Journey | A goal the agent knows how to pursue: dispute a charge, file a claim, book a flight. Each journey has a trigger and an outcome. |
| Tool | A way for the agent to interact with external systems: pull an itinerary, check coverage, process a refund. |
| Rule / Policy | Guardrails and business logic expressed in natural language (e.g., “Premium cardholders waive foreign transaction fees.”). |
| Workflow | Step-by-step guidance for situations that require a specific sequence, like regulated intake or multi-step verification. |
| Knowledge | Help center articles, product docs, FAQs, and internal policies the agent can access on demand. |
| Memory | The customer’s history: past conversations, preferences, and prior issues. |
| Glossary | The terminology your business uses: product names, plan tiers, and internal jargon. |
| Response phrasing | Brand voice and tone. |
워크플로에 대한 참고: 경직된 흐름이 왜 한계가 있는지 방금 살펴봤지만, 규제가 매우 엄격한 접수 절차처럼 실제로 이런 흐름이 필요한 상황도 있습니다. 차이점은 워크플로가 전체 시스템을 구성하는 패러다임이 아니라, 조건이 충족될 때 사용할 수 있는 또 하나의 맥락 정보가 된다는 점입니다.
Sierra가 컨텍스트 엔지니어링을 대신해 드립니다
그렇다면 실제로 이러한 시스템을 어떻게 구축할 수 있을지가 문제입니다. Sierra는 에이전트를 각각 조건이 연결된 조합 가능한 컨텍스트 블록의 집합으로 표현합니다. 제어력을 희생하지 않으면서 이 아키텍처를 활용할 수 있도록 통합 스택을 구축했습니다.
- Ghostwriter: 컨텍스트 엔지니어링을 대신해 주는 에이전트입니다. 자연어로 지시하거나 기존 SOP, 통화 기록 및 문서를 가져오도록 하면 컨텍스트 블록과 조건을 자동으로 생성합니다.
- Journeys: 코딩 없이 사용할 수 있는 편집기에서 Ghostwriter가 생성한 내용을 검토하고 다듬거나 UI에서 직접 만들 수 있습니다.
- Agent SDK: 에이전트를 코드로 관리하려는 팀을 위한 완전한 프로그래밍 제어 기능을 제공합니다. 개발자는 맞춤 블록을 정의하거나 원하는 코드를 작성할 수 있습니다.
어떻게 구축하든 내부에서는 동일하게 작동합니다.
중요한 이유
하나의 작업과 몇 가지 도구만 있으면 최신 에이전트는 자연스럽고 안정적으로 작동합니다. 하지만 수십 개의 지원 사용 사례, 여러 시스템, 세그먼트별 정책을 다루는 프로덕션 규모에서는 성능과 복잡성이라는 현실에 부딪히게 됩니다.
여정 다섯 개를 처리하는 에이전트는 느슨하게 맥락을 관리해도 됩니다. 하지만 50개를 처리하는 에이전트는 모든 맥락 정보가 정확히 필요한 순간에 도달해야 합니다. 이런 원칙이 없으면 모델이 과부하에 걸리고 사용자 경험이 저하됩니다.
컨텍스트 엔지니어링은 이를 아키텍처 차원에서 해결합니다. 모델에 관련성이 높은 토큰을 더 적게 보내면 환각을 줄이고 자연스러움과 성능을 높일 수 있습니다. 단순한 항공편 재예약을 위해 수하물 정책에 관한 수천 개의 토큰을 처리하는 비용을 지불할 필요도 없습니다.
더 중요한 점은 에이전트의 미래 경쟁력을 확보할 수 있다는 것입니다. 로직을 하드코딩하면 모델이 미리 정의된 경로 내에서만 작동하도록 제한됩니다. 컨텍스트 엔지니어링을 사용하면 에이전트가 더 자유롭게 추론할 수 있습니다. 새롭고 더 성능이 뛰어난 모델이 출시되면 에이전트도 그 개선을 그대로 이어받습니다.
더 똑똑한 모델이 컨텍스트 엔지니어링의 필요성을 없애주는 것은 아닙니다. 아무리 똑똑한 사람이라도 모르는 것을 알 수는 없습니다. 하지만 이를 제대로 하면 그만큼 더 큰 효과를 볼 수 있습니다.
컨텍스트 엔지니어링은 훌륭한 에이전트를 구축하는 작업입니다.
