코그니션, 코딩 평가 FrontierCode 2.0 공개…Opus 5.5도 45.5%

상위 모델 점수는 과제가 커지고 기준이 강화된 2.0에서 1.1보다 낮아졌다

코그니션 글에 따르면 2.0은 1.0의 방법을 이어받아 더 많은 저장소에서 과제를 뽑고, 보안 패치와 성능 최적화까지 범위에 넣었다. 채점 기준은 정확성과 설계 요구를 더 폭넓게 요구하고 철저함을 특히 강조한다. 과제는 1.0보다 55% 더 많은 저장소에서 나왔고 필수 통과 기준은 43% 더 많다.

비교표를 보면 Grok 4.7은 47.6%에서 28.6%로, Gemini 4 Argon은 47.5%에서 26.3%로, Muse Wonder 1.0은 47.0%에서 24.3%로 내려갔다. 코그니션은 2.0이 1.1보다 모델 등급을 더 선명하게 가르고, 최고 점수가 45%라 아직 포화되지 않았다고 설명한다. 각 모델은 최고 추론 노력 설정에서 잰 값이다.

철저함 기준이 평가의 중심으로 올라온 점이 이번 버전의 특징이다

코그니션이 공개한 범주별 필수 통과 기준 수를 보면 철저함은 1.1의 168개에서 2.0의 501개로 크게 늘었다. 핵심 동작 기준은 399개에서 353개로 줄었다. 필수 통과 기준(blocking criteria)을 통과하지 못한 해법은 0점을 받는다. 철저함 기준의 예로는 한 경로의 버그를 고치라는 요청에 같은 버그가 있는 형제 경로까지 고치는 일, 새 기능이 한 입력 형식만 언급해도 비슷한 코드가 다루는 다른 형식을 함께 지원하는 일이 나온다.

코그니션은 Terminal-Bench 4.0의 vf2-speedup-networkx 과제를 예로 들어, 그런 벤치마크는 접근법과 스타일까지 명세에 적혀 있어 환경에서 추론할 일이 적다고 설명한다. FrontierCode는 기존 추상화 재사용, 저장소 관례 따르기, 버그를 실제로 잡는 테스트 쓰기 같은 말하지 않은 제약을 요구한다.

품질 관리 수치와 제작사의 이해관계를 함께 읽어야 점수의 무게가 보인다

코그니션은 20명이 넘는 세계적 수준의 오픈소스 개발자가 자기가 유지하는 저장소를 바탕으로 과제 하나에 40시간 넘게 들였다고 밝혔다. 2.0 과제의 80%에서 참조 해법이 업스트림 PR과 다르며, 1.0의 60%보다 높아졌다. 자동 감사 파이프라인에서 에이전트가 업스트림 구현의 보안 취약점을 찾았고, 사람이 검토한 뒤 저장소 관리자에게 보고했다고도 적었다.

비용 대비 성능 도표에서 Opus 5.5는 고성능 쪽에 놓인다. GPT-6 Luna와 Claude Haiku 5.5와 GPT-6.1 Sol은 저비용 쪽 파레토 전선에 놓인다. 코그니션은 특히 GPT-6.1 Sol의 비용 대비 성능이 좋다고 적었다. 다만 평가를 만든 곳이 코딩 에이전트 제작사이므로, 도입 검토에서는 이 점수로 후보를 좁힌 뒤 자기 저장소의 과제 샘플로 따로 시험해 보는 편이 안전하다.

코그니션 글은 비용을 정가 API 단가에 공개 할인을 반영한 롤아웃당 평균 지출로 정의한다. 코그니션은 결과가 오픈소스 모델의 개선 여지가 크다는 점도 보여 준다고 적었다.

작은 모델이 이전 세대보다 앞섰다는 주장은 구조 변경과 학습량에서 나온다

리퀴드 AI 블로그에 따르면 LFM3-1.7B는 24개 층 가운데 13개가 게이트 짧은 합성곱, 5개가 256토큰 창의 슬라이딩 윈도우 어텐션, 6개가 전역 어텐션이다. 합성곱 커널 크기는 LFM2의 3에서 7로 커졌다. 리퀴드 AI는 하드웨어를 루프에 넣은 자동 구조 탐색을 LFM2의 휴대폰 한 대와 노트북 한 대 CPU에서 LFM3의 14개 기기와 백엔드 조합으로 넓혔다고 설명한다. 삼성과 OnePlus의 휴대폰, 라즈베리 파이 5, Apple M4 Max와 AMD Ryzen AI 노트북, 클라우드 CPU와 GPU, 퀄컴 Hexagon NPU가 들어간다.

학습은 22조 토큰 규모다. LFM2보다 과학 논문, 저장소 단위 코드, 수학 비중을 늘렸고, 마지막 3.5조 토큰의 중간 학습 단계에서는 에이전트 추적과 도구 호출 데이터 비중을 키우면서 컨텍스트 창을 256K로 늘렸다.

블로그에 따르면 여섯 모델은 모두 LFM3-1.7B-Base에서 갈라져 나왔다. 넷은 입력 방식별 모델(텍스트, 비전, 오디오, 옴니)이고, 나머지 둘은 비전과 옴니 모델에서 특화한 의사결정 모델이다.

모델 카드 평가표에서 1.7B는 더 큰 모델과 평균 점수가 가깝다

모델 카드의 평균 점수는 LFM3-1.7B가 49.37, LFM2.5-2.6B가 31.55, Qwen3.5 4B가 39.27, Qwen3.5 9B가 47.24다. 카드는 예전에는 9B급이 필요하던 에이전트 앱을 이 모델로 돌릴 수 있다고 적는다. 반면 지식 시험 GPQA Diamond에서는 Qwen3.5 9B가 80.40, LFM3-1.7B가 63.37로 차이가 크다.

속도 수치도 있다. 모델 카드에 따르면 32K 컨텍스트에서 세 기기 모두 비교 모델보다 프리필이 2.5배 이상, 디코딩이 1.8배 이상 빠르고 메모리를 가장 적게 쓴다. 블로그는 매개변수당 기준으로 짧은 입력에서는 LFM2-1.2B와 속도가 같고 8K 토큰에서는 약 25% 빠르다고 적었다. 이 값들은 모두 리퀴드 AI의 측정이다.

도입 전에는 쓸 곳을 좁히고 권장 범위와 라이선스를 먼저 읽어야 한다

모델 카드가 권하는 용도는 로컬 에이전트, 도구 호출, 구조화 출력, 도메인 미세 조정이다. 지식이 많이 필요한 작업에는 검색을 붙이라고 적었고, 에이전트형 코딩과 복잡한 다단계 추론은 권하지 않는다. 일반 용도의 샘플링 설정은 temperature 0.1, top_k 50, repetition_penalty 1.1로 제시된다.

모델 카드는 TRL 기반 미세 조정 예제를 네 가지 제공한다. SFT로 지저분한 문서에서 JSON을 뽑고, DPO로 검색된 문서에 근거해 답하거나 거절하고, GRPO로 108개 도구가 있는 폰 앱에서 맞는 도구를 고르고, CPT로 터키어를 배우게 한다. 팀에서 시험한다면 이런 좁은 과제에서 출발해, 라이선스 조건을 확인한 뒤 자기 데이터로 효과를 따로 재 보는 편이 맞다.

소리와 대화가 세계와 함께 생성된다는 점이 이번 발표의 핵심 차이다

딥마인드 블로그는 Genie 4가 네이티브 멀티모달이라 음악, 주변 소리, 상호작용 대화가 세계와 동시에 만들어진다고 설명한다. 소개 영상에 담긴 소리는 모두 Genie 4가 직접 낸 것이라고 밝혔다. 사용자가 사건을 일으키면 모델이 세계가 어떻게 반응하고 어떤 소리가 나며 그 안의 사람들이 어떻게 움직이고 반응하고 말하는지를 시뮬레이션한다.

구조로는 Gemini Omni가 시뮬레이션을 현실의 외관과 행동에 붙들어 두고, 다른 Gemini 모델이 장면의 일관성과 연속성에 필요한 복잡한 추론을 맡는다. 딥마인드는 세계를 이해하고 시뮬레이션하는 일이 AGI를 만드는 데 중요하다고 적었다.

모델 페이지는 소리 기능을 낙엽이 발밑에서 바스락거리고 군중이 환호하며 캐릭터가 사용자와, 또 서로와 말할 수 있는 세계로 소개한다. 블로그는 향상된 사실감, 부드러운 움직임, 네이티브 오디오를 이번 모델의 특징으로 든다.

말로 장면을 바꾸는 방식은 키보드 조작과 텍스트 입력을 함께 쓴다

블로그의 실시간 상호작용 영상에서 사용자는 표준 키보드로 이동과 카메라를 조작하고 텍스트 입력으로 장면을 조종한다. 날씨 바꾸기, 카메라 이동, 새 사람이나 물체 넣기가 예로 나온다. Gemini가 입력을 주변 장면에 맞게 조정하고, 사용자의 입력 사이에도 장면을 살피며 세계가 앞뒤가 맞게 진행되도록 이끈다고 한다.

모델 페이지는 물체가 부딪히고 물이 흐르며 나무가 바람에 흔들리는 환경을 만들 수 있다고 소개한다. 로봇 연구 예시에서는 Gemini 4 Argon이 여러 단계 계획을 세우고 그 단계가 텍스트 캡션으로 Genie 4에 전달된다. 딥마인드는 이를 로봇 시뮬레이션을 위한 끝없는 놀이터라고 부른다.

지금은 신뢰된 테스터 대상으로만 제공된다

딥마인드는 소비자와 개발자에게 내놓기 전에 피드백을 모으려고 신뢰된 테스터에게 연구 프리뷰로 먼저 풀고 있다고 밝혔다. 초기 제공 대상으로는 Project Genie의 Google AI Ultra 구독자, 그리고 Gemini API와 Google AI Studio의 초기 접근 파트너도 언급된다. Project Genie 대기자 명단은 열려 있다.

모델 페이지는 Genie 4가 초기 단계의 진화 중인 기술이라고 적고, 시각 세부와 사물의 지속성이 시간이 지나며 변하거나 흐트러질 수 있다고 한계를 밝혔다. 활용 방향으로는 SIMA 같은 에이전트가 새 기술을 배우는 세계를 만드는 일이 언급된다. 지금은 공개된 시연으로 방향을 읽고 대기자 명단에 올려 두는 정도가 현실적이다.

증명이 여러 논문에 흩어져 있다는 점이 형식화의 배경으로 소개된다

Axiom 글에 따르면 분류 정리는 유한군의 구성 요소인 유한 단순군의 완전한 목록을 준다. 목록은 소수 위수의 순환군, 5개 이상 기호의 교대군, 리 유형 군의 무한 가족 16개, 그리고 정확히 26개의 산발군으로 이뤄진다. 가장 큰 산발군이 Monster다.

증명의 역사도 글에 길게 적혀 있다. 1972년 Gorenstein이 16단계 계획을 세웠고, 1983년의 완료 선언은 성급했다. quasithin 사례는 2004년 Aschbacher와 Smith의 1,221쪽 논문으로 닫혔다. 결과들이 수십 년간 여러 논문에 흩어져 표기도 서로 달라, 전체를 점검하려면 상당한 전문 지식이 필요했다고 글은 설명한다. 2012년 Gonthier 팀이 6년에 걸쳐 255쪽짜리 Feit와 Thompson의 정리를 Coq로 형식화한 일이 그 전 단계로 소개된다.

Axiom 글은 이 분류가 수학물리와도 닿아 있다고 적는다. Monster는 Frenkel, Lepowsky, Meurman이 구성한 양자 이론의 대칭군이다. 2007년 Witten은 이 이론이 2차원 공간과 1차원 시간으로 이뤄진 단순화한 우주의 중력을 기술할 수 있다고 제안했다.

Lean으로 옮기는 과정이 기존 증명의 약한 지점을 드러냈다고 Axiom은 설명한다

Lean은 정의와 진술과 증명을 컴퓨터가 모든 단계를 확인할 수 있을 만큼 정밀하게 쓰는 프로그래밍 언어다. Axiom은 증명을 Lean으로 다시 쓰는 과정에서 발표된 논증의 문제들이 드러났다고 밝혔다. 대부분은 오탈자, 표의 오류, 빠진 가정 같은 사소한 것이었다.

다만 바로잡아야 했던 눈에 띄는 불일치가 34건 있었고, 가장 큰 것은 Unbalanced Group Theorem과 관련됐다. 작업에서 새 군론 결과도 하나 나왔다. Axiom은 분류가 기대는 연구를 한 전문 군론자들과 상의해 긴 오류 목록을 모두를 위해 공개하겠다고 했다. 34건의 성격은 그 목록이 나와야 외부에서 판단할 수 있다.

완전한 컴퓨터 확인이라는 표현은 Axiom의 주장으로 읽어야 한다

Axiom은 이번 결과를 첫 번째 완전한 컴퓨터 확인 증명이라고 쓴다. Axiom이 내세우는 규모는 AI 에이전트 스웜이 24일간 만든 약 4,310만 줄의 Lean 코드다(공식 X 게시물은 5,000만 줄이라고 적는다). 코드 분량과 작업 기간이 완전한 컴퓨터 검증을 입증하는 것은 아니며, Lean 진술이 원래의 분류 정리와 같은 내용인지에 대한 외부 수학자들의 검토는 제공된 자료에서 확인되지 않는다.

팀에서 AI가 만든 증명이나 코드를 받아들일 때도 같은 구분이 필요하다. 형식 검증이 어디까지 이뤄졌는지, 진술 자체를 사람이 검토했는지, 독립 검토자가 있는지를 따로 적어 두는 편이 안전하다. 이 결과는 AI 에이전트가 수 주 만에 대규모 형식 증명을 만들 수 있다는 한 사례로 읽는 것이 맞다.

순위는 두 곳에서 나왔고 평가 단위는 서로 다르다

Microsoft AI 글은 MAI Image 2.7이 프리뷰로 Arena Edit 3위에 올라 Microsoft AI가 No. 2 연구소가 됐다고 적었다. Artificial Analysis의 이미지 편집 순위에서는 No. 2다. 글 제목은 Artificial Analysis에서 GPT Image 2.5 Flare보다 위라고 밝힌다.

Artificial Analysis는 편집을 10개 사용 사례와 7개 편집 동작으로 나눠 평가하는데, 2.7은 2.6보다 이 모두에서 나아졌다. 개선과 복원, 추론 기반 편집, 장면과 스타일, 글자나 기호 편집의 네 부문에서는 해당 범주의 최전선에 닿았다고 한다.

편집 모델의 차이는 장면 전체를 바꾸거나 글자를 고치는 어려운 작업에서 갈린다

Microsoft AI는 좋은 이미지 편집이 중요한 세부에 대한 제어에서 나온다고 설명한다. 제품을 새 배경으로 옮기고, 조명과 분위기를 바꾸고, 큰 그림을 잃지 않으면서 개별 사물만 고치는 일이 예로 나온다. 사물과 조명과 환경이 서로 어떻게 맞물려야 하는지 이해해야 하는 편집이 가장 어렵다는 설명이다.

발표문은 2.7이 장면 전체를 다시 꾸미거나 조명을 바꾸고, 이미지에 녹아든 글자와 기호를 고치고, 기존 자료를 복원하고 향상하는 편집을 겨냥한다고 적었다. 가장 큰 우위는 장면과 스타일 부문이고 다음 모델보다 24 Elo 앞선다. 이 격차가 실제 작업에서 얼마나 체감되는지는 글에 나오지 않는다.

글자와 기호를 바꿀 때도 이미지에 자연스럽게 녹아든 상태를 유지해야 한다고 Microsoft AI는 적었다. 단순히 문자를 바꾸는 일보다 주변 질감과 조명을 함께 맞춰야 하는 작업이라는 뜻이다.

써 보려면 세 경로가 열려 있고 텍스트로 그림을 만드는 기능은 아직이다

시험할 수 있는 곳은 Arena, Artificial Analysis, MAI Playground 세 군데다. Microsoft AI는 편집부터 시작했고 텍스트로 이미지를 만드는 기능은 곧 추가한다고 밝혔다. 발표문에는 정식 제공 조건이 나오지 않는다.

순위표 순위만으로는 맡길 작업에 맞는지 알 수 없다. 제품 사진의 배경 교체나 이미지 속 글자 수정처럼 실제로 맡길 작업이 있다면, 같은 샘플을 지금 쓰는 모델과 이 모델에 맡겨 결과를 나란히 비교해 보는 편이 안전하다. 비교하기 전에 결과를 눈으로 판정할 기준을 미리 정해 두면 좋다.