Cognition이 2026년 10월 15일 Devin Oncall의 일반 제공을 발표했다. 알림과 버그 보고를 자동 조사하고 운영 장애의 진단·해결을 돕는 제품이다. 도입을 검토하는 팀이 먼저 물을 것은 “밤중 호출을 얼마나 줄일까”만이 아니다. AI가 어떤 데이터와 권한으로 어디까지 움직여도 되는가를 함께 정해야 한다. Cognition 공식 발표
100%는 17개 장애로 구성된 벤치마크의 결과다
발표의 100%는 회사가 수행한 SREGym-Lite 평가 결과다. 각주는 평가 범위를 17개 장애로 명시하며, 같은 실행에서 원인을 찾고 실제 시스템의 문제를 완화·해결하는 end-to-end 성공을 측정했다고 설명한다. 같은 각주에는 공개 리더보드의 CloudThinker도 GPT-6 Astra로 100%에 도달했다고 적혀 있다. 전체 운영 장애를 언제나 해결한다는 보장이나, Devin만 달성한 기록으로 읽으면 안 된다. 공식 발표의 SREGym-Lite 차트·각주
일부 대기업에서 하루 수천 건의 실제 알림을 처리한다는 설명과 고객 사례도 회사 발표에 담겨 있다. 이는 도입 사례를 보여주는 자료이지, 이 글에서 독립적으로 재현한 성능 측정은 아니다. 우리 서비스의 장애 유형·로그 품질·권한 구조에서도 같은 결과가 나올지는 별도 평가가 필요하다. 공식 발표의 고객 사례와 처리 규모
자동 조사와 자동 복구는 같은 권한이 아니다
제품 문서는 일을 세 갈래로 나눈다. Responders는 들어오는 알림·버그·지원 질문을 조사하고, Incidents는 장애 채널에서 원인과 완화 방안을 찾으며, Reports는 반복되는 문제와 개선할 알림 기준 등을 정리한다. Incidents는 조직의 Slack 연결이 필요하고, 엔터프라이즈에서는 한 번에 한 조직만 활성화할 수 있다고 안내한다. Devin Oncall 제품 문서
Responders 설정에는 agent mode, 실행 주체인 Run as, 사용할 MCP 커넥터, ACU·호출 제한 등이 있다. Incidents에도 실행 주체와 커넥터를 지정한다. 제품이 제공하는 설정 항목과 “모든 수정·배포가 반드시 사람 승인을 거친다”는 보장은 다른 이야기다. 확인한 문서만으로 모든 조직에 적용되는 보편적인 사람 승인 보장을 확인하지는 못했다. 읽기·코드 수정·PR 생성·배포 권한을 각각 확인해야 한다는 것이 Aside의 판단이다. Responder settings·Incident settings
설정이 있다는 것과 강제된다는 것은 다르다
Security Profiles 문서는 네트워크 목적지, MCP 접근, Git 권한 등을 제한하는 방식을 설명한다. Git의 Read-only는 저장소를 복제·가져올 수 있지만 브랜치를 push하거나 PR을 열 수 없는 수준이다. 다만 Git만 읽기 전용으로 만들었다고 다른 커넥터의 운영 시스템 쓰기 권한까지 없어지는 것은 아니다. 각 연결 수단과 실제 운영 계정의 권한도 함께 좁혀야 한다. Security Profiles의 MCP access·Git access level
Recommended 프로필은 적절한 권한을 가진 하위 수준에서 바꾸거나 제외할 수 있는 기본값이다. Mandatory는 하위에서 완화할 수 없는 제한선이다. 문서는 프로필·연결 설정의 변경이 이미 실행 중인 세션에 자동 전파되지 않으며, 새 세션이나 기존 세션의 다음 재개 시 적용된다고 설명한다. 설정 화면을 고쳤다는 사실만으로 현재 실행의 권한도 즉시 바뀌었다고 판단하면 안 된다. Mandatory vs. recommended enforcement·When changes take effect
한국 운영팀의 첫 도입은 읽기 전용으로 좁혀라
다음은 제품의 기본 보장이 아니라 Aside의 시범 도입 권고다. 처음부터 자동 복구 성과를 목표로 삼기보다, 조사 결과의 품질과 통제 가능한 범위부터 확인하는 편이 낫다.
- 허용할 로그와 코드 범위를 먼저 정한다. 로그의 개인정보·비밀정보 처리, 보관 기간, 처리 지역과 국외 이전 조건을 계약·보안 검토에서 확인한다.
- 로그 조회·Git·MCP 커넥터·운영 계정의 권한을 함께 읽기 전용으로 제한한다. 쓰기 요청이 실제로 거부되는지 시험하고, 금지 사항을 프롬프트에 쓰는 것만으로 대신하지 않는다.
- 이미 원인을 아는 과거 장애나 제한된 재현 환경에서 진단을 비교한다. 정답 원인, 놓친 단서, 오탐, 조사 비용과 사람이 다시 확인한 시간을 기록한다.
- 쓰기 권한 확대는 별도 단계로 둔다. PR 병합·배포의 승인 담당자, 변경 범위와 되돌리기 절차를 정한 뒤 확대 여부를 판단한다.
문서는 조직별 일회성 설정과 시스템 학습에 통상 1~2시간이 걸린다고 안내한다. 이는 설정 과정에 대한 설명이지, 우리 환경의 검증이나 보안 검토가 그 시간 안에 끝난다는 뜻은 아니다. 공식 문서 Setup
가격표와 실제 Oncall 비용도 별도로 확인해야 한다
확인한 공개 가격표만으로 Oncall의 개별 알림당 비용이나 우리 계약에 포함되는 사용량을 확정하지는 못했다. 문서에 ACU·호출 제한 설정이 있다는 사실도 실제 청구 금액을 알려주지는 않는다. 같은 알림량에서 조사 횟수·중복 알림 묶음·재조사와 사람의 검토 시간을 함께 기록하고, 포함량·추가 과금·상한 적용 범위를 공급자에게 확인해야 한다. 공개 가격표 · Oncall의 Limits 설정
이번에 확인한 자료만으로 한국 리전 제공, 데이터 처리 위치, 국내 조직의 계약·규제 충족 여부는 확정하지 않았다. “일반 제공”을 한국의 모든 조직이 같은 조건으로 쓸 수 있다는 뜻으로 확대해서는 안 된다.
도입 판단의 기준은 벤치마크 점수 하나가 아니다. 읽을 데이터, 실제 쓰기 권한, 강제되는 정책, 승인·복구 절차와 실제 청구 조건이 함께 맞아야 한다. 먼저 좁은 범위의 조사 업무에서 품질과 비용을 확인하고, 그 증거를 바탕으로 운영 권한 확대를 결정하는 것이 순서다.
자료 확인: 2026년 10월 17일 KST. 공개 발표와 제품·보안·가격 문서를 직접 대조한 해설이며, 직접 사용·독립 벤치마크는 하지 않았다. 집필과 분리된 Grok의 AI 검토를 거쳤으며, 이는 사람 검토나 독립 실험이 아니다. 제품·보안 문서의 게시·갱신일은 확인 화면에 표시되지 않아 열람일을 기준으로 삼았다. 정정·문의: Fluxaivory 운영자에게 연락하기.
