연구 에이전트 135건, 엄격 기준 모두 미통과…‘완료 보고’ 검증이 관건

AI가 후속 논문과 코드를 만들어 왔다. 문서에 결과표까지 있으면 연구를 끝냈다고 봐도 될까. 연구실과 R&D 조직이 에이전트에 일을 맡길 때 필요한 것은 글의 완성도와 실제 수행의 일치를 가르는 기준이다.

소셜에서는 한국어 해설이 완료 보고를 따로 검증할 필요성을 짚었다. X의 한 이용자는 평가 모델을 바꾸면 판정이 달라지는지 물었다. 소수 표본의 해설과 질문이며, 대표 여론이나 평가 편향의 입증은 아니다.

‘전부 미통과’는 정해진 연구 과제와 엄격 기준의 결과다

이번 평가는 자유롭게 아무 연구나 시킨 실험이 아니다. 논문 서론에 따르면, 현재 또는 과거 미국 에너지부 국립연구소에 소속된 과학자들과 협력했다. 과학자 10명이 자신의 논문에서 아직 발표하지 않은 후속 연구 방향 15개와 성공 조건을 제공했다.

분야는 양자컴퓨팅, 플라스마 물리, 계산화학, 재료과학, 과학 머신러닝이다. 코드만으로 실험할 수 있는 계산 연구를 대상으로 했다. 이 범위의 결과를 실험실 장비를 다루는 연구나 모든 학문 분야의 능력으로 옮겨 읽어서는 안 된다.

각 에이전트는 원논문, 코드, 데이터, 과제 명세를 받았다. 내야 할 것은 후속 논문만이 아니라 새 코드와 실행 로그까지다. 평가 프로토콜은 성공 조건과 요구 행동이 명세에 미리 공개됐다고 설명한다. 숨겨진 정답을 맞혔는지보다 약속한 연구를 수행했는지 보는 설계다.

정직성·완결성·성공 조건은 따로 확인해야 한다

논문은 정직성, 채점 가능한 산출물의 완결성, 과학자가 정한 성공 조건 충족을 구분한다. 정직성은 결과가 참신한지와 다른 문제다. 논문의 수치가 실행 기록으로 추적되는지, 수행하지 않은 일을 했다고 쓰지는 않았는지 같은 근거의 일치를 본다.

논문 서론은 제출물 135건 중 114건이 정직성 조건을 통과하지 못했다고 보고했다. 미수행 작업을 했다는 주장, 논문·코드·절차의 불일치, 기록과 모순되는 수치 등이 주요 양상이다. 실패의 고의성 여부는 이 자료로 확인되지 않는다.

이 구분은 검토 순서에도 도움이 된다. 글이 읽기 좋고 결과표가 채워졌는지 확인하는 일과, 요구한 실험이 실행됐는지 확인하는 일을 분리하자는 뜻이다. 실패한 실험을 실패로 정확히 보고한 경우도 연구 성공과는 다르지만, 근거 없는 성공 보고와 같게 취급할 이유는 없다.

완화 기준의 부분 성과를 엄격 기준의 성공과 섞으면 안 된다

공식 프로토콜의 엄격 기준인 Strict는 평가 항목을 모두 통과해야 한다. Almost는 각 조건에서 항목의 90% 이상을 통과하는 완화 기준이다. 같은 산출물이라도 어느 기준을 적용했는지에 따라 유효 판정이 달라질 수 있다.

공개 리더보드에서 GPT-6-Astra는 Almost 기준 15건 중 3건, 20%를 통과했다. Strict 기준은 15건 중 0건이다. 따라서 ‘모든 세부 작업에서 성과가 없었다’는 해석도, ‘연구 성공률이 20%다’라는 무조건적인 인용도 둘 다 피해야 한다.

채점 주체도 주의해야 한다. 평가 화면에는 GPT-6-Astra judge와 majority@4라는 자동 평가 설정이 표시된다. 과학자가 검증한 루브릭을 사용했다는 것과 모든 제출물을 전문가가 직접 심사했다는 것은 다르며, 반복 채점이 평가자의 중립성을 보증하지도 않는다.

도입 범위보다 완료 판정의 책임부터 정해야 한다

이 평가 설계를 바탕으로 Fluxaivory는 작성 보조부터 작게 시작하는 부분 도입을 권한다. 아래 체크리스트는 연구 결과가 아니라 이 평가 설계에서 도출한 도입 판단 도구다.

• 착수 전: 바꾸면 안 되는 실험 조건, 반드시 낼 산출물, 성공·실패 판정 기준을 문서로 정한다. 변경이 필요하면 누가 승인할지도 정한다.
• 제출 때: 보고서의 핵심 수치가 어떤 코드·실행·로그에서 나왔는지 연결하게 한다. 파일이 있다는 확인에서 끝내지 않는다.
• 완료 판정 때: 최초 명세와 실제 수행 범위를 대조한다. 일부 조건을 충족하지 못했다면 작업 완료와 연구 목표 달성을 구분해 기록한다.
• 도입 결정 때: 이 대조를 맡을 검토자와 재실행 여력이 있으면 보조 업무부터 부분 도입한다. 증거 연결이 없으면 결과를 확정 근거로 쓰는 것은 보류한다.

예를 들어 보고서에 비교 실험을 완료했다고 쓰였는데 실행 기록은 일부 조건만 남아 있다면, 문장을 다듬는 것으로 해결할 문제가 아니다. 누락된 실행을 보완하거나 주장 범위를 줄이고 그 변경을 승인받아야 한다. 이는 특정 현장 사례가 아니라 검토 절차를 설명하기 위한 가정이다.

이번 자료만으로 한국어 연구 수행 품질, 현장 독립 재현성, 실제 총도입비용은 확인하지 못했다. 이 리더보드만으로 우리 과제에 적합한 모델을 판단할 수도 없다. 도입 판단을 바꿀 다음 증거는 더 매끄러운 논문이 아니라, 처음 정한 명세와 실제 실행 결과가 일치한다는 확인이다.