AI 네이티브 인터뷰

Codex와 Claude Code 같은 코딩 에이전트는 우리가 알던 소프트웨어 엔지니어링의 판도를 뒤흔들고 있습니다. 그들의 역할은 기계를 만드는 것에서 기계를 설계하고 다듬는 것으로 바뀌고 있습니다. 엔지니어들이 컴파일러가 코드를 기계어 명령으로 어떻게 변환하는지 더는 신경 쓰지 않게 된 것처럼, 이제는 정확히 어떤 코드가 작성되는지보다 시간이 지나도 올바른 결과를 내는지에 더 집중해야 합니다.

이로 인해 면접에서 평가해야 할 요소도 달라집니다. 한 명의 엔지니어가 전체 스택을 아우르며 개발할 수 있는 환경에서는 기술 역량에 제품 관점과 비즈니스 맥락을 결합하는 능력이 강점으로 작용합니다. 이들은 단순히 코드를 작성하는 데 그치지 않습니다. 범위를 정의하고, 우선순위를 조율하며, 고객과 함께 반복적으로 개선해 실질적인 성과를 만들어 냅니다. 이러한 새로운 현실을 반영하기 위해 저희는 엔지니어링 면접 프로세스를 처음부터 새롭게 설계했습니다.

문제 정의

Sierra의 엔지니어링 면접 절차는 꽤 일반적인 방식이었습니다. 코딩 면접 두 차례와 알고리즘, 시스템 설계, 조직 적합성 면접을 거친 뒤 추천인 확인을 진행했습니다. 널리 검증된 확장 가능한 접근 방식으로, 오랫동안 잘 작동했습니다.

하지만 최근 들어 뭔가 잘못되어 가고 있다는 느낌이 들기 시작했습니다. 이 면접에서 얻는 신호의 상당 부분은 에디터에 문법을 입력하고, 알고리즘의 세부 사항을 기억하며, 프레임워크를 조합하는 등 기술적 역량에 관한 것이었습니다. 이는 우리 업무의 새로운 현실과 점점 더 동떨어져 보였습니다. 이러한 간극은 면접 후 평가에서 가장 분명하게 드러났습니다. 면접에서 뚜렷한 신호를 얻지 못하면 채용 담당자들은 추천과 이전 경력에 더 크게 의존했습니다.

세 가지 핵심 특징을 갖춘 AI 네이티브 인터뷰 프로세스를 구축하기 시작했습니다:

• 대표성: 엔지니어가 일상적으로 실제 수행하는 업무를 반영하고, 주도성, 오너십, 판단력, 시스템 이해도, 제품적 사고를 담아냅니다.
• 높은 변별력: 후보자가 뛰어난 역량을 발휘할 수 있는 부분과 지원이 필요할 수 있는 부분을 명확히 보여 줍니다.
• 긍정적인 경험: 지원자가 몰입감과 진정성을 느껴, 채용 제안을 받았을 때 기꺼이 수락하게 됩니다.

AI 네이티브 온사이트를 소개합니다

코딩 및 알고리즘 면접을 없애고 AI 네이티브 현장 면접으로 대체했습니다:

• 계획: 지원자와 함께 만들 제품을 정의하는 작업 세션입니다. 지원자가 아이디어 발상을 주도하고, 면접관은 아이디어를 발전시키기 위한 질문을 합니다. 지원자의 제품 사고방식을 실제로 확인할 수 있도록 지원자의 전문 분야와 관련된 아이디어에 집중합니다.
• 빌드: 면접관이 자리를 비운 뒤, 지원자는 원하는 AI 도구와 프레임워크를 활용해 2시간 동안 아이디어를 구현합니다. 진행 중에는 자유롭게 방향을 바꾸거나 범위를 조정할 수 있습니다.
• 검토: 후보자가 자신이 만든 결과물을 시연합니다. 주요 제품 흐름과 선택 사항을 논의하고, 기술적 판단력(데이터 모델, 추상화, 확장성 등)을 파악하기 위해 코드를 검토하며, 프로덕션 배포까지의 과정을 논의합니다. 또한 그 과정에서 AI를 어떻게 활용했는지도 자세히 살펴봅니다.

이 새로운 형식이 훨씬 더 효과적이라는 것을 확인했습니다. 지원자는 현장 인터뷰에서 만들 수 있을 법한 것에 관해 이야기만 하는 대신 실제로 무언가를 만들어 볼 수 있으므로, 실제 업무를 더 잘 반영할 뿐 아니라 더 많은 정보를 얻을 수 있습니다. 주도성(막히면 방향을 전환하는가?)과 판단력(주어진 시간 안에 만들 범위를 어떻게 정하는가?)도 훨씬 더 쉽게 평가할 수 있습니다.

지원자들이 처음에는 긴장하더라도, 이 방식이 더 몰입감 있습니다. 기대치를 명확히 하기 위해 평가 기준과 조언을 미리 공유합니다. 예를 들어, 개발하면서 범위를 줄여도 괜찮고, 고유한 부분에 집중하기 위해 보일러플레이트(CRUD, 인증)는 건너뛰어도 됩니다. Gmail의 제작자인 Paul Buchheit의 말처럼, 훌륭하다면 반드시 잘 만들어질 필요는 없습니다.

나머지 절차 마무리

AI 네이티브 온사이트 면접을 다듬는 동시에, 나머지 면접 과정도 재고했습니다. 기존 코딩 전화 면접에서는 지원자들이 온라인 편집기에서 AI 없이 코드를 작성해야 했습니다. 하지만 앱을 바이브 코딩하는 것은 쉽습니다. 더 어렵고 중요한 문제는 이를 확장 가능한 방식으로 프로덕션 환경에 배포하는 것입니다. 이를 더 잘 반영하기 위해 전화 면접을 시스템 설계 면접으로 대체했습니다.

AI 네이티브 온사이트는 제품 감각과 0->1 구축 역량을 평가하지만, 기존의 복잡한 코드베이스에서 기능을 1->N으로 확장하는 역량은 포착하지 못합니다. 이를 보완하기 위해 디버깅 인터뷰를 시범 운영하고 있습니다. 지원자에게는 여러 영역에 영향을 미치는 기능을 추가한 동료의 PR 초안과 중간 규모의 코드베이스가 제공됩니다. 지원자는 코드를 내려받아 결과를 확인하고, 코딩 에이전트와 반복적으로 작업하며 이를 검토하고 개선해야 합니다. 새 모델이 많은 수정 사항을 제로샷으로 해결할 수 있기 때문에, 이 인터뷰에서 AI를 어느 수준까지 사용할지는 아직 TBD입니다.

무엇을 배웠나요?

저희는 단순히 약점이 없다는 점이 아니라 강점을 보고 채용합니다. 이러한 접근 방식은 지원자의 뚜렷한 강점과 부족한 부분을 훨씬 더 잘 파악하게 해 줍니다. 예를 들어, 어떤 사람은 제품 전략과 주도성에는 뛰어나지만 시스템에 대한 이해에는 빈틈이 있을 수 있습니다. 채용 검토도 “이 사람을 채용해야 할까?”에서 “이 사람은 어디에서 가장 잘 역량을 발휘할 수 있을까? 어떻게 지원하면 좋을까?”로 바뀌었습니다.

모든 지원자에게 피드백을 요청하는데, 많은 분이 지금까지 본 면접 중 가장 재미있었다고 말했습니다. 한 퀴즈 애호가는 사용자가 몰입 상태를 유지할 수 있도록 설계된 AI 기반 게임을 만들었고, 데모에서는 면접관이 직접 게임을 플레이하기만 했습니다. 또 다른 사례에서는 백엔드 엔지니어가 헤드리스 시뮬레이션 도구를 만들고 마크다운 파일과 에이전트를 활용해 데모를 진행했습니다.

이 형식에도 어려움은 있습니다. 개방형 방식이라 표준화하기가 더 어렵습니다. 이를 보완하기 위해 지원자가 무엇을 만들든 적용할 수 있는 평가 기준을 마련했고, 평가 기준을 맞추기 위해 두 명이 함께 면접을 진행합니다. 또한 이 방식이 인프라 분야에도 적용될 수 있는지 논의했고, 적용 가능하다는 결론을 내렸습니다. 많은 인프라 엔지니어가 풀스택 도구나 에이전트를 구축하고 고객의 요구 사항을 수직적으로 통합하기 위해 제품 팀과 긴밀히 협업합니다. 다만 인프라에 필요한 역량 신호를 더 잘 파악할 수 있도록 면접을 약간 수정했습니다.

고도로 숙련된 코딩 에이전트의 등장은 Sierra를 처음부터 다시 생각하게 만들고 있습니다. Ghostwriter를 활용해 에이전트로 에이전트를 구축하고 최적화하는 방식부터 채용 방식까지 말이죠. 변화의 속도를 생각하면 이는 시작에 불과합니다. 물론 지금도 채용 중입니다. 함께 만들어 가는 데 관심이 있다면 여기에서 자세히 알아보세요: sierra.ai/careers.