SemiAnalysis의 GDPx는 11개 분야 206개 과제를 평가하며, Claude Opus 5.5가 종합점수 12.0%로 선두에 올랐습니다. 사전학습 데이터 오염으로 CLI 에이전트에 백도어를 심은 Qwen3 실험과, 같은 표현 정렬에 필요한 학습 샘플을 줄인 JEPA 연구도 나왔습니다. 업무 성능 점수의 계산 방식, 보안 실험의 적용 범위, 표현 정렬과 범용 능력의 차이를 함께 살펴봅니다.
오늘 담긴 것
- GDPx 공개, Claude Opus 5.5가 종합점수 12.0%로 선두: SemiAnalysis의 에이전트 평가
- Qwen3 사전학습 0.1% 오염으로 CLI 에이전트 백도어 유도: 사전학습 데이터 오염 연구
- JEPA, 같은 표현 정렬에 필요한 학습 샘플 42배 절감: 표현 수렴 조건과 학습 효율 연구
업무 성능 평가
GDPx 공개, Claude Opus 5.5가 종합점수 12.0%로 선두

11월 2일 기준 SemiAnalysis의 GDPx 평가 페이지에는 14개 전문 데이터 파트너와 함께 만든 11개 분야 206개 과제의 평가 결과가 공개돼 있다. 종합점수는 Claude Opus 5.5가 12.0%, Gemini 4 Carbon이 10.9%, GPT-6 Astra가 9.6%다.
- 범위: 칩 설계, 소프트웨어 엔지니어링, 사이버보안, 생물학, 금융, 법률 등을 포함한 11개 분야다.
- 채점: 분야마다 같은 가중치를 주고, 같은 분야의 파트너도 동등하게 반영하며 기본 점수는 3회 시도 평균이다.
- 비용: 과제당 비용은 Opus 5.5가 51.41달러, Gemini 4 Carbon이 16.29달러, GPT-6 Astra가 53.99달러로 표시됐다.
무엇이 달라지나
여러 전문 분야의 점수와 과제당 비용을 함께 비교할 평가가 추가됐다. 총점 순위뿐 아니라 분야별 결과를 볼 수 있어, 맡기려는 업무와 가까운 평가를 따로 읽을 수 있다.
한계
제공된 평가 페이지 발췌문에는 최초 공개 시각, 인간 기준선, 모델별 공개 접근 조건이 공개되지 않았다. 채점 오류의 구체적 내역과 수정 여부도 이 발췌문에는 공개되지 않았다.
커뮤니티 반응
■이선 몰릭은 인간 기준선이 필요하며 0% 점수가 경제적으로 의미 있는 차이를 가릴 수 있다고 지적했다. 몰릭은 GPT-6 Pro가 채점 오류를 찾았다고 전했고, Chubby는 Gemini 4 Carbon의 점수와 비용에 주목했다. 모델 비교 답글에서는 Gemini 4 Carbon을 공개적으로 이용할 수 없다는 지적도 나왔다.
본문 펼치기 · 약 4분
종합점수 12.0%를 해결한 과제 비율로 바꿀 수는 없다
GDPx의 채점 설명에 따르면 과제는 분야에 따라 성공과 실패로 나누거나 연속적인 점수를 부여한다. 기본 점수는 각 과제에 의도된 채점 방식을 적용한 뒤 3회 시도를 평균한다. 따라서 표에 나온 백분율은 모든 과제를 같은 기준으로 통과했는지만 센 값으로 읽을 수 없다.
종합점수에는 가중치도 들어간다. 모든 분야의 비중이 같고, 한 분야에 참여한 파트너 사이의 비중도 같다. 206개 과제의 구성과 집계 방식을 보면, 과제를 한데 모아 성공한 개수를 나누는 계산과는 다르다. Opus 5.5의 12.0%와 Carbon의 10.9% 차이에 전체 과제 수를 곱해, 해결한 과제가 몇 개 차이 난다고 해석할 수 없는 이유다.
성공과 실패로 나누는 채점은 과제의 통과 여부를 보여 주고, 연속 채점은 해당 과제가 정한 기준에 따라 성취 정도를 반영한다. 둘을 함께 집계한 종합점수는 평가 전체를 비교하는 데 쓰이지만, 개별 과제에서 어떤 결과물을 냈는지까지 설명하지는 않는다. 점수가 낮다는 사실과 모든 시도에서 아무 성과도 없었다는 해석 사이에도 차이가 있다. 분야별 결과를 볼 때는 점수와 함께 채점 단위를 읽어야 한다.
과제당 비용을 함께 보면 점수 순위와 다른 선택 기준이 생긴다
상위 모델의 점수와 비용은 같은 순서로 움직이지 않는다. 평가 표에서 Opus 5.5는 종합점수 12.0%에 과제당 51.41달러, Carbon은 10.9%에 16.29달러다. GPT-6 Astra는 9.6%에 53.99달러로 표시됐다. 평가에서 가장 높은 점수를 받은 모델과 과제당 비용이 낮은 모델을 구분해서 볼 수 있는 구성이다.
페이지에는 비용과 성능을 함께 보여 주는 비교도 있다. 다만 Muse Wonder Full은 종합점수 9.0%가 표시돼 있어도 공개 가격이 없어 비용 비교에서 빠진다. 점수가 있다는 사실만으로 가격까지 비교할 수 있는 것은 아니다. 이처럼 점수, 비용, 가격 정보의 공개 여부는 서로 다른 항목이며, 같은 표에서 하나의 순위로 합쳐 읽기 어렵다.
과제당 비용이라는 항목도 성공한 결과물을 얻는 비용과 그대로 같지는 않다. 표에 적힌 비용의 단위는 과제이며, 점수는 별도의 채점 방식을 거쳐 계산된다. 따라서 비용만 나누어 특정 모델이 모든 업무에서 경제적이라고 결론내리거나, 종합점수 차이를 생산성 차이로 바꾸기는 어렵다. 이 평가가 제공하는 것은 명시된 과제를 수행할 때의 점수와 비용을 나란히 놓고 볼 수 있는 자료다.
평가에 등장한 모델이 곧바로 이용 가능한 모델을 뜻하지는 않는다
GDPx 페이지는 모델의 평가 결과와 분야별 비교를 제공한다. 반면 해당 모델을 어떤 서비스에서 누가 이용할 수 있는지, 평가와 같은 실행 조건을 일반 사용자가 선택할 수 있는지는 제공된 발췌문에 나오지 않는다. 평가에 참여했다는 사실과 독자가 현재 접근할 수 있다는 사실 사이에는 별도의 확인이 필요하다.
인간 기준선과 채점의 정확성도 점수 순위와 구분할 항목이다. 인간과 비교한 생산성이나 오류 수정 여부를 판단하려면 그에 해당하는 자료가 있어야 한다. 공개된 종합점수만으로 인간 업무의 대체 비율을 계산하거나 채점 논란의 결론을 내릴 수는 없다. 지금 읽을 수 있는 결과는 명시된 분야, 가중치, 시도 횟수와 채점 방식에 따른 모델 비교다.
모델을 고르는 독자에게는 평가 성적과 이용 조건이 모두 필요하지만, 이 페이지에서 확인되는 정보의 범위는 서로 다르다. 분야별 성적은 평가 화면에 제시돼 있고, Gemini 4 Carbon을 공개적으로 이용할 수 없다는 답글은 있으나 공식적인 접근 조건은 제공된 자료에서 확인되지 않는다. 따라서 표에서 관심 있는 모델을 찾았더라도 같은 조건으로 바로 업무에 투입할 수 있다고 단정할 수 없다. 접근 가능 여부에 관한 반응 역시 공식 제공 조건을 대신하는 자료로 쓰기는 어렵다.
자세히 읽기 · SemiAnalysis의 GDPx 평가 페이지 ↗
에이전트 보안
Qwen3 사전학습 0.1% 오염으로 CLI 에이전트 백도어 유도

한국 시각 10월 28일, Xinyan Hu 등 연구진의 Agentic Backdoors via Pretraining Poisoning이 arXiv에 처음 제출됐다. UTC 기준 제출일은 10월 27일이다. 연구진은 Qwen3 모델을 처음부터 사전학습하고 깨끗한 후속 학습으로 CLI 에이전트로 만든 뒤, 사전학습 단계에 심은 백도어가 명령 실행으로 이어지는 실험 결과를 보고했다.
- 설계: 논문 초록에 따르면 0.6B, 1.7B, 4B 규모의 Qwen3 모델을 직접 사전학습하고 깨끗한 파이프라인으로 에이전트화했다.
- 결과: 사전학습 코퍼스의 0.1%를 오염시켰을 때 4B 모델의 공격 성공률은 약 92%였다.
- 저율 실험: 오염 비율을 0.0005%로 낮춘 조건에서도 공격 성공이 관찰됐지만, 초록에는 그 조건의 정확한 성공률이 나오지 않는다.
무엇이 달라지나
연구진은 사전학습 데이터 오염이 깨끗한 후속 학습을 거쳐 에이전트의 명령 실행까지 이어질 수 있음을 실험으로 보였다고 밝혔다. 트리거가 있는 입력에서는 공격자가 고른 명령을 실행하고, 깨끗한 입력에서는 정상적으로 행동했다.
한계
구체적인 경로 트리거, 후속 학습 단계별 결과, ASR의 세부 집계 방식은 제공된 초록에 공개되지 않았다. 코드 공개 안내는 있지만 저장소 주소와 모델 가중치의 라이선스·이용 경로도 이 발췌문에는 공개되지 않았다.
커뮤니티 반응
■Jinyan Su는 깨끗한 후속 학습 뒤에도 백도어가 남는다는 점과 실행 단계의 권한 통제를 강조했다. Jacob Steinhardt는 Xinyan Hu의 사전학습 오염 연구를 높이 평가했다. 한국어 해설에서는 폴더 경로를 트리거로 쓰는 방식과 후속 학습을 거친 뒤의 공격 지속성을 핵심으로 소개했다.
본문 펼치기 · 약 4분
기존 배포 모델을 조사한 결과와 처음부터 학습한 실험을 구분해야 한다
논문 초록이 밝힌 실험 경로는 사전학습부터 시작한다. 연구진은 0.6B, 1.7B, 4B 규모의 Qwen3 모델을 처음부터 학습하고, 이후 깨끗한 파이프라인으로 각각을 CLI 에이전트로 만들었다. 사전학습 데이터에 들어간 오염이 후속 학습을 지나 실제 에이전트 행동으로 이어지는지를 연결해서 살핀 설계다.
따라서 이 결과의 대상은 연구진이 해당 경로로 만든 모델이다. 같은 이름의 모델을 사용하는 모든 배포 서비스에서 백도어가 발견됐다는 조사 결과로 확대할 수 없다. 초록이 제시한 성과는 공격 가능성을 끝까지 연결해 보인 실험이며, 기존 상용 에이전트의 감염 여부나 현장에서 발생한 피해 규모를 보고한 내용은 아니다.
실험의 출발점과 도착점을 함께 읽으면 연구가 보여 준 범위가 분명해진다. 출발점은 오염된 사전학습 코퍼스이고, 도착점은 후속 학습을 거친 에이전트의 명령 실행이다. 이 경로에서 백도어가 남았다는 결과는 학습 단계 사이의 연결을 보여 준다. 반면 외부에서 제공되는 모델을 조사해 같은 행동을 찾았다는 결과와는 검증 대상이 다르므로, 모델 이름만으로 두 경우를 이어 붙일 수 없다.
오염 비율 0.1%와 공격 성공률 약 92%는 분모가 다르다
초록에 제시된 0.1%는 사전학습 코퍼스에서 오염된 데이터가 차지하는 비율이다. 약 92%는 그 비율로 오염시킨 4B 모델에서 보고한 공격 성공률, 즉 ASR이다. 하나는 학습 데이터의 구성이고 다른 하나는 공격 평가의 결과이므로, 두 수치를 같은 종류의 비율로 읽거나 모든 사용자 요청의 약 92%가 악성 행동으로 이어진다고 해석해서는 안 된다.
초록은 트리거가 있을 때 악성 명령을 실행하면서 깨끗한 입력에서는 정상적으로 행동했다고 설명한다. 또 모델 규모가 커질수록 ASR이 높아졌다고 보고한다. 오염 비율을 0.0005%까지 낮춘 조건에서도 공격 성공은 관찰됐지만, 그때도 약 92%였다는 설명은 없다. 높은 성공률을 기록한 조건과 더 낮은 오염 비율에서 공격이 남은 조건을 따로 읽어야 한다.
정상 입력에서의 행동과 트리거가 포함된 입력에서의 행동은 서로 다른 평가 조건이다. 평소처럼 작동한다는 관찰만으로 숨은 행동의 부재를 판단할 수 없다는 점이 이 실험의 특징이다. 동시에 공격 성공률을 해석하려면 어떤 입력을 공격 평가에 넣었고 성공을 어떻게 집계했는지가 필요하다. 제공된 초록은 이 세부 조건을 모두 설명하지 않으므로, 보고된 비율을 일상적인 사용 환경의 발생 확률로 바꾸기는 어렵다.
깨끗한 후속 학습을 거쳤다는 사실이 모든 방어의 실패를 뜻하지는 않는다
이 연구는 오염된 사전학습 뒤에 깨끗한 후속 학습을 적용해도 백도어가 남을 수 있다는 결과를 제시한다. 사전학습에서 들어온 행동을 이후의 깨끗한 데이터만으로 제거할 수 있다고 가정하기 어렵게 만드는 사례다. 다만 초록은 가능한 모든 후속 학습 방식이나 실행 단계의 방어를 시험했다고 쓰지 않았다.
직접 활용할 수 있는 모델 공개와도 구분해야 한다. 연구에는 모델 규모와 코드 공개 안내가 있지만, 제공된 발췌문만으로 가중치를 어디서 받아 어떤 조건으로 사용할 수 있는지는 알 수 없다. 논문의 실험 결과를 읽는 경로와 같은 모델을 실행하는 경로는 별개다. 코드가 있다는 안내만으로 모델 가중치와 실행 환경까지 제공된다고 해석할 수는 없다.
후속 학습 뒤에도 공격이 남았다는 결과는 연구에서 사용한 파이프라인에 관한 관찰이다. 여기서 후속 학습의 단계별 효과나 다른 방어 방식의 성적을 끌어내려면 각각의 실험 결과가 필요하다. 제공된 초록에는 그 비교가 없으므로, 특정 방어가 충분하다거나 어떤 방어도 통하지 않는다는 결론을 함께 붙일 수 없다. 학습으로 제거하는 문제와 실제 명령 실행을 허용하는 문제도 같은 실험 결과로 평가된 것은 아니다.
자세히 읽기 · 연구진의 Agentic Backdoors via Pretraining Poisoning 논문 초록 ↗ · 연구진의 Agentic Backdoors via Pretraining Poisoning DOI ↗
표현 학습 연구
JEPA, 같은 표현 정렬에 필요한 학습 샘플 42배 절감

10월 29일 랜들 발레스트리에로와 얀 르쿤이 Proving and Improving the Platonic Representation Hypothesis with JEPAs를 arXiv에 처음 제출했다. 연구진은 서로 다른 모달리티에서 따로 학습한 JEPA가 같은 표현으로 수렴하는 조건을 제시하고, 그 조건에 맞춘 학습의 표현 정렬과 샘플 효율을 보고했다.
- 수렴 조건: 논문이 제시한 정리는 양성 쌍이 같은 장면의 두 관찰인 good views이면 하나의 회전 변환을 제외하고 같은 표현을 학습한다는 내용이다.
- 규모 비교: 109M 텍스트 JEPA가 DINOv2·CLIP 이미지 인코더와의 정렬에서 평가한 최대 72B 언어 모델과 CLIP 텍스트 인코더를 앞섰다.
- 샘플 효율: 같은 코퍼스에서 같은 정렬 수준에 도달하는 데 good views가 다음 토큰 예측보다 42배 적은 학습 샘플을 필요로 했다.
무엇이 달라지나
표현 정렬을 높이는 조건으로 모델 크기뿐 아니라 학습 때 어떤 입력을 짝짓는지가 제시됐다. 연구진은 같은 장면의 관찰 쌍을 쓰는 방식이 다음 토큰 예측보다 적은 샘플로 같은 정렬 수준에 도달했다고 보고했다.
한계
초록의 42배는 같은 표현 정렬에 필요한 샘플 수의 비교이며 총학습 비용이나 범용 성능의 개선 배수가 아니다. 109M 모델 가중치의 라이선스, 직접 이용 경로와 총학습 비용은 제공된 초록에 공개되지 않았다.
커뮤니티 반응
■Shruti와 한국어 해설은 작은 JEPA의 표현 정렬 결과와 학습 샘플 절감에 주목했다. 얀 르쿤은 선언적 지식의 축적과 이해를 구분하며 JEPA가 더 적은 메모리와 학습 데이터로 유용할 수 있다고 설명했다. 반론에서는 이미지·텍스트 정렬을 추론·생성 능력과 구분해야 한다는 지적과 같은 규모의 언어 모델링 비교를 요구하는 질문이 나왔다.
본문 펼치기 · 약 4분
표현 수렴 정리에는 같은 장면을 관찰한 쌍이라는 조건이 붙는다
논문 초록은 서로 다른 모달리티로 학습한 모델이 같은 세계의 표현에 도달하는지를 다룬다. 연구진이 제시한 정리에서 핵심 조건은 양성 쌍이 같은 장면의 두 관찰이어야 한다는 것이다. 이를 good views라고 부르며, 이 조건에서 따로 학습한 JEPA의 표현은 하나의 회전 변환을 제외하고 같아진다고 설명한다.
조건이 맞지 않을 때는 정렬 오차에 경계가 있다는 설명도 들어 있다. 연구진은 다음 토큰 예측을 한 문서의 서로 다른 부분을 사용하는 bad views의 JEPA로 해석한다. 따라서 발표의 핵심을 모델이 커지면 언제나 같은 표현을 얻는다는 무조건적 결론으로 읽기 어렵다. 어떤 관찰을 학습 쌍으로 구성했는지가 정리와 실험을 잇는 조건이다.
여기서 같은 장면의 관찰이라는 조건은 학습 데이터가 많다는 설명과 다르다. 서로 다른 입력을 짝지었다는 사실만으로 정리의 조건을 만족하는 것도 아니다. 논문은 양성 쌍이 어떤 관계인지에 따라 표현 수렴을 설명하고, 그 조건에 맞춘 학습의 효율을 실험으로 살핀다. 따라서 수렴 조건에 관한 수학적 주장과 실제 모델에서 관찰된 정렬 성적은 연결돼 있으면서도 각각의 범위를 가진 결과다.
109M과 최대 72B의 비교 대상은 이미지 인코더와의 표현 정렬이다
109M 텍스트 JEPA의 비교 대상은 연구진이 평가한 최대 72B 규모의 언어 모델이다. 초록은 DINOv2와 CLIP의 이미지 인코더에 대한 정렬에서 이들을 모두 앞섰으며, CLIP의 텍스트 인코더보다도 정렬이 높았다고 적었다. 이 수치는 모델 규모에 관한 비교이고, 앞섰다는 결과의 대상은 이미지 인코더와의 표현 정렬이다.
학습 샘플 42배 절감도 같은 범위에서 읽어야 한다. 비교는 같은 코퍼스를 사용해 같은 정렬 수준에 도달하는 데 필요한 샘플 수를 대상으로 한다. 모든 언어 작업의 성능을 유지하면서 데이터를 그만큼 줄였다는 결과나, 전체 학습 비용이 같은 비율로 내려갔다는 결과는 제시되지 않았다. 작은 모델의 정렬 효율과 범용 언어 모델의 능력은 구분할 항목이다.
이 비교에서 모델 규모는 평가에 참여한 모델의 크기를 설명하고, 정렬은 그 모델들에 대해 관찰한 결과를 설명한다. 작은 모델이 정렬에서 앞섰다는 사실을 다른 작업의 성적까지 앞섰다는 뜻으로 바꾸면 평가 대상이 달라진다. 또한 같은 정렬 수준이라는 목표를 유지한 샘플 비교와, 서로 다른 크기의 모델을 평가한 비교도 따로 읽어야 한다. 두 결과를 합쳐 범용 능력이나 총비용의 개선 배수를 만들 수는 없다.
캡션 생성과 이미지 분류의 수치는 정렬 성적과 별도로 제시됐다
연구진은 표현 정렬 외의 활용 예시도 초록에 적었다. 따로 학습한 인코더를 하나의 회전 변환으로 연결해 이미지 캡션을 생성했고, COCO에서 CIDEr 0.838을 보고했다. 이는 이미지에 설명문을 붙이는 예시의 성적이다. 앞서 언급한 최대 72B 언어 모델과의 표현 정렬 비교를 그대로 캡션 생성 능력의 순위로 옮긴 결과는 아니다.
짝지은 데이터 없이 평가하는 별도 벤치마크에서는 ImageNet-100의 top-5 정확도 64%를 제시했다. 초록이 비교한 최대 8B 언어 모델의 보고값은 최대 56%다. 이 비교의 모델 범위는 앞선 72B 정렬 비교와 다르고, 지표도 이미지 분류 정확도다. 표현 정렬, 캡션 생성의 CIDEr, 분류 정확도를 하나의 종합 능력 점수로 합쳐 읽을 수는 없다.
캡션 생성은 이미지에 대한 설명문을 내는 예시이고, 분류 평가는 이미지의 범주를 맞히는 정확도를 다룬다. 표현 정렬은 앞서 설명한 이미지 인코더와의 정렬을 비교한다. 같은 연구 안에 실린 결과여도 출력과 평가 지표가 다르므로, 어느 실험의 성적인지 붙여 읽어야 의미가 유지된다. 활용 예시가 있다는 사실과 독자가 동일한 모델을 받아 실행할 수 있다는 사실 역시 별개이며, 제공된 초록에는 직접 이용 조건이 나오지 않는다.
자세히 읽기 · 발레스트리에로·르쿤의 Proving and Improving the Platonic Representation Hypothesis with JEPAs 논문 초록 ↗ · 발레스트리에로·르쿤의 Proving and Improving the Platonic Representation Hypothesis with JEPAs DOI ↗