모델의 집합체: Sierra 에이전트를 구동하는 아키텍처

“Sierra는 어떤 대규모 언어 모델을 사용하나요?”는 AI로 고객 경험을 개선하려는 기업들이 가장 자주 하는 질문 중 하나입니다. 하지만 LEGO 세트처럼 한 종류의 조립 블록만으로는 훌륭한 에이전트를 만들 수 없습니다. 그래서 Sierra 기반 에이전트는 수행할 작업에 따라 최첨단 모델, 공개 가중치 모델, 독점 모델 등 15개 이상의 모델을 조합해 구축됩니다.

이 모델 조합 방식에서는 각 구성 요소가 가장 잘하는 일을 기준으로 선택되고, 전체가 부분의 합보다 더 큰 가치를 발휘하도록 조율됩니다. 그 결과, 어떤 작업을 하든 빠르고 효과적이며 브랜드에 부합하는 다면적 에이전트를 구현할 수 있습니다. 모델을 직접 선별하거나 연결 방식을 세세하게 관리할 필요도 없습니다.

작업에 적합한 모델 선택

AI 에이전트는 추론하고 행동할 수 있는 정교한 소프트웨어로, 특정 제품이나 서비스를 추천하고, 발신자를 인증하며, 반품을 처리하고, 기술적 문제를 해결하거나, 해지하려는 구독자를 유지하는 등 다양한 작업을 수행할 수 있습니다.

작업마다 에이전트에 요구되는 사항은 크게 다릅니다. 예를 들면 다음과 같습니다:

• 낮은 지연 시간의 도구 호출 및 의사 결정 — 주문 관리, 재고 현황, 제품 조회처럼 비교적 단순한 작업은 지침도 더 단순한 편이며, 자연스러운 음성 대화에 필요한 엄격한 지연 시간 요구 사항을 충족하는 모델을 선택합니다.
• 고정밀 분류 — 의심스러운 사용자 행동을 식별하는 등의 일부 작업에는 행동을 세밀하고 일관되게 분류해야 합니다.
• 긴 맥락 추론 — 에이전트가 복잡한 정책이나 방대한 기술 정보 등 많은 정보를 읽고 처리하고 기억하며, 세부 사항을 빠뜨리거나 지어내지 않고 지침을 주의 깊게 따라야 하는 경우.
• 정확한 톤 — 특히 까다롭거나 민감한 상황에서도 에이전트가 따뜻하고 자연스럽게, 브랜드에 맞는 말투를 구사합니다.

모든 작업의 고유한 제약 조건을 충족하는 단일 모델은 없습니다. 추론에 뛰어난 모델도 더 빠른 응답을 요구받으면 성능이 크게 저하되는 경우가 많습니다. 마찬가지로 사람 같은 응답을 생성하는 데 탁월한 모델도 더 긴 컨텍스트가 주어지면 어려움을 겪을 수 있습니다. 모든 작업에 하나의 모델만 사용하면 속도, 정확성, 어조 사이에서 부자연스러운 절충을 해야 하고, 이는 결국 에이전트의 품질 저하로 이어집니다.

Sierra는 에이전트의 행동을 작업별로 나누고 각 작업에 가장 적합한 모델을 선택해 이러한 과제를 해결합니다. 이를 위해 작업별 평가를 수행하고, 현재 모델의 부족한 부분을 파악하며, 기성 모델이 당사의 제약 조건을 충족하지 못할 경우 미세 조정 모델에 투자합니다.

끊임없이 변화하는 최전선을 위해 설계되었습니다

Sierra의 Agent OS는 책임을 분리하는 모듈형 작업 추상화를 기반으로 하며, 오케스트레이션과 라우팅은 플랫폼이 내부에서 자동으로 처리합니다. 따라서 단일 구조의 에이전트를 작성하는 대신 검색, 분류, 도구, 정책, 어조 등 명확히 분리된 역량을 조합합니다. 일부 작업에는 추론, 성찰, 도구 사용의 여지가 더 큰 “자율성”이 부여됩니다. 이러한 수준의 자율성은 가드레일, 정책, 품질 검사를 적용하는 감독자를 통해 구현됩니다.

이 조직의 핵심 장점은 Sierra를 기반으로 구축된 에이전트가 최첨단 모델의 성능이 향상됨에 따라 자동으로 개선된다는 점입니다. 높은 수준의 자율성이 필요한 작업은 향상된 추론, 도구 호출, 지시 이행 능력의 혜택을 크게 받습니다. 대부분의 에이전트는 프롬프트를 약간만 조정해도 시간이 지남에 따라 개선됩니다. 모델이 발전하면서 일부 작업은 자연스럽게 불필요해지고, 이를 대체할 새로운 작업이 등장합니다.

프롬프트 방식은 모델 계열마다 다르지만, Sierra의 모듈형 아키텍처를 사용하면 민감한 안전장치를 건드리지 않고도 가치가 높고 위험이 낮은 작업을 쉽게 업데이트할 수 있습니다. 이를 통해 새로운 모델을 더 빠르고 안전하게 도입하고, 일반적인 위험 부담 없이 발전의 이점을 누릴 수 있습니다.

안정성과 가동 시간

Sierra는 핵심 업무를 위해 여러 모델 제공업체에 걸친 기본 이중화 기능을 제공합니다. 지연 시간, 오류율, 시간 초과를 추적하며 모델 상태와 성능을 지속적으로 모니터링합니다. 제공업체의 성능이 저하되기 시작하면 자동 라우팅이 더 안정적이고 동등한 모델로 원활하게 전환하여 에이전트가 계속 원활히 작동하도록 합니다.

그 결과, 단일 모델이나 제공업체에 장애가 발생하더라도 안정성을 유지하며, 가장 까다로운 에이전트에 필요한 속도, 정확성, 품질의 최적의 균형을 제공합니다.

에이전트를 정의하면 Sierra가 현실로 구현합니다

Sierra에서는 에이전트의 정책, 도구, 안전장치, 지식, 브랜드와 어조 등 에이전트의 작동 방식을 정의합니다. 이를 바탕으로 조합 가능한 작업으로 구성되고 감독 체계의 지원을 받으며, 귀사의 사용 사례에 맞춰 지속적으로 최적화되는 다양한 모델로 구동되는 실제 운영 환경에 바로 적용할 수 있는 에이전트를 구축합니다. 그 결과 신뢰할 수 있는 업계 최고 수준의 에이전트와, 모델이 발전할수록 에이전트도 함께 개선된다는 확신을 얻을 수 있습니다.

이것이 Sierra의 접근 방식이 약속하는 바입니다. 획기적인 기술을 빠르게 도입할 수 있을 만큼 모듈화되어 있고, 품질을 지킬 수 있을 만큼 체계적이며, 실제 환경에서 요구되는 신뢰성을 충족할 만큼 실용적인 시스템입니다. 탁월함의 기준을 정의해 주시면, 이를 구현하는 데 필요한 요소들이 정확히 맞물리도록 저희가 보장합니다.