앤트로픽 프런티어 레드팀이 AI 응답이 약속한 모델에서 나왔음을 암호학으로 보이는 FlashProve를 공개했고, Llama 4 Maverick에서 H100 1장으로 초당 약 110토큰의 증명을 만든다고 밝혔습니다. Phone Harness는 에이전트용 클라우드 폰 MCP를, Deep Principle은 753B 과학 모델 Hydrogen-1.0 가중치를 냈고, arXiv에는 시뮬레이션 환자로 훈련한 정신과 초기 평가 논문이 올라왔습니다. 네 소식에서 문서로 읽을 수 있는 것과 아직 주장인 것을 함께 살펴봅니다.
오늘 담긴 것
- 앤트로픽 FlashProve 증명 가능한 추론 공개, Llama 4 Maverick 응답을 H100 1장으로 증명: 앤트로픽의 연구 공개
- Phone Harness MCP 사용법, Claude Code·Codex에 클라우드 아이폰과 안드로이드 연결: Phone Harness의 MCP 서버 공개
- Hydrogen-1.0 과학 모델, GLM-5.3을 후속 학습한 753B 오픈 가중치: Deep Principle의 모델 공개
- 정신과 초기 평가 인터뷰 AI, 시뮬레이션 환자 RL로 훈련한 arXiv 연구: arXiv 연구 논문
모델 응답 검증
앤트로픽 FlashProve 증명 가능한 추론 공개, Llama 4 Maverick 응답을 H100 1장으로 증명

앤트로픽 프런티어 레드팀이 11월 2일 연구 글에서 증명 가능한 추론 시스템 FlashProve를 공개했다. 모델 제공자가 응답마다 암호학 증명서를 붙여, 사용자가 가중치를 모른 채 그 응답이 약속한 모델에서 나왔는지 확인하게 하는 연구다. 글에는 앤트로픽의 Roy Rinberg와 Alex Allain, EPFL, MIT, StarkWare 소속 연구자 등이 이름을 올렸다.
- 수치: Llama 4 Maverick(4000억 파라미터 혼합 전문가 모델, 4비트 가중치)에서 H100 1장이 초당 약 110토큰의 증명을 만들고, 1,024토큰 요청당 증명서는 약 19MB다.
- 비용: 같은 길이의 입력을 vLLM으로 처리하는 GPU 시간의 약 70~95배다.
- 공개물: 글, 기술 보고서, 프로토콜 설명, 증명기와 검증기 2종(C++ 고속판, Lean 정확성판) 코드, Lean 증명과 시각화 도구 다섯 가지를 Apache 2.0으로 냈다.
무엇이 달라지나
지금까지는 응답이 좋아 보여도 어느 모델에서 나왔는지 출력만으로 가릴 수 없었다. 이 연구는 중개 서비스의 몰래 모델 교체나 토큰 흐름 조작을 증명서로 가려내는 방식이 400B급 모델에서 실제 속도로 돌아간다는 것을 프로토타입으로 보였다. 사용자가 바로 쓰는 서비스가 아니라 연구 단계의 공개다.
한계
속도, 증명서 크기, 70~95배 비용은 모두 앤트로픽이 보고한 값이다. 이 글이 읽은 블로그 앞부분(요약부터 과제 소개까지)에는 검증 시간 측정값이 없고 ‘몇 초’가 이상적 목표로만 적혀 있다. 소셜에서는 20초 안과 2.9초라는 값이 따로 나왔다. 기술 보고서, GitHub 저장소, 기존 시스템과의 비교 절은 열어 보지 못했다. 시연 모델은 Llama 4 Maverick 하나이고 그 밖의 모델 지원 여부는 읽은 범위에 나오지 않는다.
커뮤니티 반응
■4,000억 파라미터 모델의 답변에 19MB 증명서를 붙이면 가중치를 보지 않고 일반 CPU로 20초 안에 진위를 가릴 수 있다는 소개가 나왔고, Claude가 만든 시스템이라는 점과 GitHub에 유지보수하지 않는 연구용 프로토타입으로 표시돼 있다는 점이 함께 전해졌다.
■70배 느리지만 API 뒤에서 모델이 바뀌었는지 마침내 확인할 수 있게 됐다는 반응이 있었다.
■소스를 받아 돌렸다는 사용자는 로컬 검증이 2.9초 만에 YES를 냈지만 연동한 중계 서비스는 0곳이고, 지원 모델은 Llama 4 Maverick뿐이며, 증명 생성에 H100 80GB 한 장이 통째로 필요해 일반 사용자에게는 멀다고 적었다.
본문 펼치기 · 약 4분
증명서는 모델 제공자가 가중치를 숨긴 채 응답이 그 모델에서 나왔음을 보이는 방식이다
앤트로픽 글은 영지식 간결 증명(zkSNARK)을 쓴다고 설명한다. 제공자가 먼저 모델에 대한 약속을 하고, 이후 응답마다 그 모델이 만들었다는 짧은 증명서를 붙인다. 증명서는 가중치에 대해 아무것도 알려 주지 않고, 사용자는 모델을 다시 돌리지 않고 제공자가 보낸 응답과 증명서를 모델에 대한 약속에 맞춰 검사한다. 숨겨지는 것은 가중치이며 모델 구조를 숨기는 것은 이 시스템의 목표가 아니라고 글은 밝힌다.
글이 드는 쓰임새는 네 가지다. 규제 기관이 일정 기간의 요청마다 증명서를 요구해 하드웨어가 추론에 쓰였는지 보는 일, 침해된 서버가 다른 모델이나 악의적 응답을 섞는 것을 알아채는 일, 보안 점검을 특정 모델로 했다는 주장을 확인하는 일, 승인된 모델만 서비스하는지 보는 일이다. 첫 번째 쓰임새에 대해 글은 하드웨어가 추론에 쓰였음을 보일 뿐 옆에서 학습을 돌리지 않는다는 것까지 보이지는 못한다고 스스로 적었다.
서버 침해의 영향은 두 곳에 간다. 침해된 서버에서는 가중치 유출이나 악성 응답 전달이 일어날 수 있고, 피해는 서버를 운영하는 제공자와 그 응답을 받는 사용자가 진다. 제공자가 응답마다 유효한 증명서를 요구하면 침해된 서버나 다른 모델로 위장한 모델은 약속한 가중치에 맞는 증명서를 만들지 못해 들킨다는 것이 글의 논리다. 이는 응답의 출처를 가리는 장치이며, 서버 침해 자체를 막는다는 설명은 이 글이 읽은 범위에 없다.
속도 수치는 400B 모델 한 종류의 프리필 기준이어서 서비스 전체 비용으로 읽기는 이르다
앤트로픽 글이 보고한 수치는 Llama 4 Maverick 한 모델, 4비트 가중치, H100 1장 조건이다. 증명 생성은 초당 약 110토큰이고 요청 1,024토큰당 증명서는 약 19MB다. 정수 연산을 프리필, 곧 입력을 처리하는 단계에서 쓴다고 적었고, 비교 기준인 70~95배도 같은 길이의 입력을 vLLM으로 처리하는 GPU 시간이다. 응답을 한 토큰씩 만드는 생성 단계의 증명 비용은 이 글이 읽은 범위에 따로 나오지 않는다. 한 단계의 수치를 전체 비용으로 읽으면 안 되는 이유다.
가정을 하나 세워 계산해 보면, 하루 100만 건의 요청마다 증명서를 19MB씩 보관하는 서비스는 증명서만 하루 약 19TB를 쌓게 된다. 증명서를 만들어 붙이는 쪽은 모델 제공자이므로 늘어나는 GPU 시간과 저장 비용도 제공자의 몫이다. 사용자는 짧은 증명서를 검사하는 쪽이다.
글은 기존 오픈소스 시스템이 이보다 몇 자릿수 느리다고 쓰고 그 근거를 6절에서 다룬다고 적었지만, 그 절은 읽은 범위 밖이다. 기존 시스템과의 격차는 앤트로픽의 주장으로 남아 있다.
Claude가 개선을 만들었고 사람은 Lean 진술로 검수하는 구조라 공개 자료를 직접 읽을 수 있다
앤트로픽은 이번 개선을 Claude가 만들었다고 밝힌다. 글에 따르면 Claude는 최적화에 뛰어나지만 크고 복잡한 시스템에서는 평가하기 어려운 결정을 내리기도 한다. 이를 상쇄하려고 주장하는 보안 보장의 최상위 진술을 형식 검증 언어 Lean으로 읽을 수 있게 냈고, 증명기와 함께 C++ 고속 검증기와 Lean 정확성 검증기를 공개했다.
공개 범위는 완성된 연구가 아니라 중간 성과이며, 다른 연구자가 가져가 개선하길 바란다고 글은 적었다. 앤트로픽은 별도 프로젝트로 추론 트래픽에 서명하고 신뢰 서버에서 다시 계산하는 방식을 만들어 2026년 9월 30일까지의 프로토타입 목표를 맞췄다고 쓰고, 이번 글은 같은 목표를 다른 방법으로 추구한다고 설명한다.
팀이 이 결과를 참고하려면 검증기 코드와 Lean 진술을 보안 담당자가 읽을 수 있는지, 지원 모델이 실제로 쓰는 모델과 맞는지부터 따져 볼 만하다. 이 글이 읽은 범위에서 시연된 모델은 Llama 4 Maverick뿐이다.
자세히 읽기 · Anthropic의 증명 가능한 추론 연구 글 ↗
에이전트 도구
Phone Harness MCP 사용법, Claude Code·Codex에 클라우드 아이폰과 안드로이드 연결

제작자 shawn이 11월 3일 새벽(한국시간) X에서 Phone Harness MCP를 소개했다. MCP를 지원하는 에이전트가 클라우드의 아이폰이나 안드로이드 에뮬레이터 화면을 보고 탭, 입력, 스와이프하게 하는 호스팅 서버이며, 주소 하나와 로그인으로 붙는다. 저장소 README의 최근 커밋 제목은 호스팅 MCP 출시에 맞춘 개정이라고 적고 있다.
- 연결: 주소는 https://mcp.phone-harness.com/mcp, 방식은 Streamable HTTP이고 로그인은 OAuth(phone:drive 권한)다. API 키를 bearer 토큰으로 보내는 방법도 있다.
- 도구: 기기 목록, 시작과 종료, 스크린샷, 화면 글자 목록, 탭, 길게 누르기, 스와이프, 글자 입력, 버튼, 앱 목록과 실행 등 14개다.
- 요금: 안드로이드 에뮬레이터는 시작 무료 뒤 분당 5센트, 아이폰은 월 80달러(eSIM 포함 100달러)다.
무엇이 달라지나
README는 Mac, adb, 페어링 없이 주소와 로그인만으로 쓴다고 설명한다. 폰은 사용자의 기기가 아니라 클라우드에서 돌아가므로 에이전트가 쓰는 폰을 별도로 준비하고 청구받는 구조다.
한계
안드로이드는 실기기가 아니라 에뮬레이터다. 저장소 소개문은 실제 아이폰과 안드로이드라고 쓰지만 설정 안내는 클라우드 아이폰과 안드로이드 에뮬레이터로 구분한다. URL을 여는 도구는 없다. 요금은 README에 적힌 값이고 공식 요금 페이지의 현재 값은 읽은 범위 밖이다. 이 소식은 문서에 적힌 동작이며 실제 연결 결과는 이 글에 없다. 호스팅 서버의 응답 속도와 화면 데이터 저장 위치는 읽은 README에 설명이 없다.
커뮤니티 반응
■개인정보가 가득한 폰을 에이전트에 맡기기가 두렵고 어떻게 믿느냐는 댓글이 달렸다.
■로컬 폰은 제약이 많아 결국 유료 클라우드 폰으로 이어지는 서비스라는 지적이 나왔다.
■도구 안내 글은 내 폰을 직접 모는 Mobile MCP는 무료이고, Phone Harness는 클라우드 폰이라 안드로이드 분당 5센트와 아이폰 월 80~100달러가 든다고 비교했다.
본문 펼치기 · 약 5분
연결은 주소 하나로 끝나지만 클라이언트마다 계정과 권한 조건이 다르다
README는 클라이언트별 연결법을 나열한다. 대상은 Claude, Cursor, ChatGPT, Codex, VS Code, Windsurf, Devin, Gemini CLI 등이다. 공통은 주소와 로그인이지만 계정 조건은 갈린다.
Claude는 Team과 Enterprise에서 조직 Owner가 Organization settings의 Connectors에 먼저 추가해야 구성원이 연결한다. Devin은 사용자 지정 서버를 추가하는 데 Manage MCP Servers 권한이 필요하다.
ChatGPT 웹의 사용자 지정 MCP 서버는 Business, Enterprise, Edu 워크스페이스용이며 관리자가 플러그인을 만든다. Pro 계정은 읽기와 가져오기 도구만 연결할 수 있어 폰을 조작하려면 이 세 플랜이 필요하다고 README는 적었다.
Grok 커넥터는 서버가 공개 인터넷에서 닿아야 한다고 README가 적었다. 호스팅 주소는 그 조건을 이미 충족한다. Docker나 Vercel로 직접 세운 서버는 주소를 입력하는 것만으로는 부족하고 서버를 실제로 인터넷에 공개해야 한다. 연결할 주소를 적는 일과 서버를 바깥에 여는 일은 별개의 설정이다.
실행 예시는 등록 명령과 폰 시작, 화면 읽기, 종료 순서면 충분하다
Claude Code에서는 아래 명령으로 서버를 등록한 뒤 /mcp에서 로그인한다. 기본은 현재 프로젝트에만 저장되고 --scope user를 붙이면 모든 프로젝트에서 쓴다.
- claude mcp add --transport http phone-harness https://mcp.phone-harness.com/mcp
Codex는 두 줄이다. 등록 뒤 로그인한다.
- codex mcp add phone-harness --url https://mcp.phone-harness.com/mcp
- codex mcp login phone-harness
Cursor는 ~/.cursor/mcp.json에 아래 설정을 넣고 재시작하면 OAuth 로그인이 시작된다.
- {“mcpServers”: {“phone-harness”: {“url”: “https://mcp.phone-harness.com/mcp”}}}
등록한 뒤 에이전트에 보낼 첫 요청은 “사용 가능한 폰을 나열하고, 임시 안드로이드를 시작해 홈 화면 스크린샷을 찍은 뒤 종료해 줘” 정도면 된다.
도구 설명을 따르면 phone_list_available_devices로 기기 id를 얻는다. 이름을 지정하지 않은 phone_start_device는 임시 안드로이드 에뮬레이터를 시작한다. 화면은 phone_take_screenshot과 phone_list_elements_on_screen으로 읽고, 탭은 phone_click_on_screen_at_coordinates로 한다.
종료는 phone_stop_device다. 종료하면 저장하지 않은 것은 사라지고 클라우드 안드로이드의 분당 과금이 멈춘다고 README는 적었다.
비용과 계정 위험은 로그인한 계정과 폰 안의 로그인 상태에 걸린다
안드로이드 에뮬레이터는 시작은 무료이고 이후 분당 5센트다. phone_start_device의 minutes는 세션이 도는 시간(기본 30)일 뿐 과금 단위가 아니라고 README는 설명한다. 기본 30분을 끝까지 채운다고 가정하면 5센트에 30분을 곱해 1.5달러가 든다.
아이폰은 분 단위가 아니라 월 정액 80달러, eSIM 포함 100달러다. 연 결제 시 20% 할인으로 각각 64달러와 80달러라고 README는 적었다. 실제 요금은 공식 요금 페이지에서 따로 봐야 한다.
보안에서는 두 가지를 구분해야 한다. 저장해 둔 안드로이드 폰은 앱과 로그인이 유지된다고 README가 적으므로, 에이전트가 그 폰을 켜면 폰에 로그인된 서비스가 모두 조작 대상이 된다.
API 키(pck_로 시작하는 bearer 토큰)는 설정 파일에 넣을 수 있다. 키를 가진 쪽은 그 계정의 폰을 시작하고 조작하는 요청을 보낼 수 있다. 키가 새면 계정 소유자의 잔액과 폰 안의 로그인이 함께 위험해진다. Codex 예시는 키를 환경 변수 PHONE_HARNESS_API_KEY에서 읽게 해 설정 파일에 키를 적지 않는다.
제작자 게시물과 README가 같은 말을 하는 부분과 게시물에만 있는 주장은 다르다
제작자 shawn의 소개 게시물은 Claude, ChatGPT, Cursor, Codex 등에서 사용자 지정 커넥터로 쓸 수 있고, 설치 없이 주소를 붙여 넣고 로그인하면 되며, 화면을 보고 탭하고 입력하고 스와이프한다고 썼다. 이 세 가지는 README의 설정 안내와 도구 표에 같은 내용이 있다. 게시물에만 있는 것은 phone-harness 0.3.3에서 쓸 수 있다는 버전 표기와, 답글에서 API로도 폰을 제어할 수 있다는 말이다. README에는 API 키 방식이 나오지만 해당 API 문서 페이지는 이 글이 읽은 범위 밖이다.
저장소의 커밋 13개, 태그 1개, 현재 버전 표기는 이 서버가 언제부터 있었는지를 말해 주지 않는다. 그래서 발표 근거로는 제작자 게시물의 날짜(11월 3일 한국시간)와 README 커밋 제목의 호스팅 MCP 출시 표기를 썼다. README의 폰 조작 설명은 문서에 적힌 동작이며 이 글에서 실행한 결과가 아니다.
자세히 읽기 · Phone Harness의 MCP 서버 README ↗
과학 연구용 모델
Hydrogen-1.0 과학 모델, GLM-5.3을 후속 학습한 753B 오픈 가중치

Deep Principle이 과학 연구용 모델 Hydrogen-1.0을 블로그와 Hugging Face 모델 카드로 공개했고, 제작자 Chenru Duan이 11월 2일 X에서 소개했다. 블로그에는 게시일이 적혀 있지 않다. GLM-5.3을 화학, 재료, 생명과학 데이터와 자체 실험실의 기록, 에이전트 궤적으로 후속 학습한 모델이다.
- 규모: 753B 파라미터이고 BF16 가중치 외에 NVIDIA Blackwell(B200, B300)용 NVFP4판과 AMD Instinct MI350X, MI355X용 MXFP4판이 있다. 컨텍스트는 100만 토큰, 최대 출력은 128K 토큰이다.
- 라이선스: 가중치는 MIT이며, 파일을 보려면 Hugging Face에서 약관에 동의해야 한다.
- 주장: FrontierScience-Research에서 GPT-6 Astra를 넘고, GPQA-Diamond에서 GLM-5.3보다 오르며 Kimi-K3와 비슷하다는 자체 평가다.
무엇이 달라지나
과학 연구용으로 후속 학습한 대형 모델의 가중치를 받아 직접 점검하고 조정할 수 있게 됐다. 다만 전체 학습 데이터와 레시피는 가중치와 함께 공개되지 않았다고 모델 카드는 밝힌다.
한계
비교 수치는 모두 Deep Principle의 자체 평가다. 블로그의 FrontierScience-Research와 GPQA-Diamond 점수는 그래프로만 나와 이 글이 읽을 수 있는 텍스트에는 값이 없고, 38.3% 대 33.3%와 GPQA 93.0%는 소셜 게시물이 소개한 값이다. 내부 평가에서 NMR 구조 해석은 Astra가 3.33점 앞선다. 블로그의 실험실 시연은 가상 환경 재생이며 실제 장비 연결이 없다. 모델 카드는 시연이 외부 도구와 특정 연구 환경을 결합한 것이고 출력은 과학자의 검토가 필요하다고 적는다.
커뮤니티 반응
■과학 연구에 특화된 오픈소스 AI가 GPT-6-Astra를 앞섰다며 FrontierScience-Research 38.3% 대 33.3%와 GPQA-Diamond 93.0%를 소개하는 글이 올라왔다.
■제작자는 폴리에틸렌 용융물 구축, GROMACS 실행, 토폴로지 오류 수리, 40 ns 궤적 분석을 보여 주며 새 실험과 발견에서 배우는 모델을 모두가 함께 만들자고 호소했다.
■한 분석 글은 이 벤치마크가 60문항이라 38.3%는 23문항, 33.3%는 20문항이며 격차는 3문항이라고 짚으면서도, 연구 궤적이 실제로 어디에 닿았는지에 보상을 주는 학습 방식이 눈여겨볼 부분이라고 평했다.
본문 펼치기 · 약 5분
Hydrogen-1.0은 GLM-5.3 위에서 과학 데이터와 실험 기록으로 후속 학습한 모델이라 처음부터 새로 만든 모델이 아니다
블로그에 따르면 Hydrogen-1.0은 GLM-5.3을 화학, 재료과학, 생명과학 도메인 데이터와 자체 실험실의 기록 및 에이전트 궤적으로 후속 학습한 모델이다. 가설, 행동, 관찰, 수정의 기록을 실패와 예상 밖 결과까지 포함해 배우게 하는 것이 접근의 핵심이라고 설명한다. 모델 카드는 학습 개요에 지도 미세조정과 강화학습, 도메인 지식과 연구 시나리오, 실험실 기록, 발견 궤적이라는 데이터 범주가 있다고 적고, 전체 데이터셋과 완전한 레시피는 공개하지 않는다고 밝힌다.
라이선스도 갈린다. 가중치는 MIT이고, Deep Principle이 독자적으로 쓴 코드와 문서는 Apache 2.0이며, 제3자 파일은 각자의 라이선스를 유지한다. 기반 모델 GLM-5.3은 Z.AI의 것이라고 카드가 명시한다. 양자화판인 NVFP4와 MXFP4는 BF16과 출력이 다를 수 있으므로 쓰려는 판을 용도에 맞게 따로 점검하라는 안내가 카드에 있다. 이 저장소는 어떤 추론 제공자에도 배포돼 있지 않고, 카드는 예시가 호스팅 엔드포인트의 존재를 뜻하지 않는다고 적는다.
벤치마크 우위는 자체 평가이고 과제에 따라 앞뒤가 갈린다
블로그 문장은 FrontierScience-Research에서 GPT-6 Astra를 넘고, GPQA-Diamond에서는 GLM-5.3보다 오르며, 열린 프런티어 모델 Kimi-K3와 대략 비슷하다는 데까지다. 제작자 게시물은 FrontierScience-Research에서 SOTA, GPQA-Diamond에서 SOTA와 비슷한 수준이라고 한층 강하게 썼다. 이 글은 블로그 본문의 표현을 기준으로 삼는다.
내부 연구 시나리오에서는 과학 계산과 정방향 반응 예측에서 Hydrogen-1.0이 Astra의 세 가지 사고 설정 모두보다 높고, Astra 최대 사고 대비 앞선 폭은 각각 5.13점과 4.76점이다. NMR 구조 해석은 Astra 최대 사고가 3.33점 앞선다. 블로그는 과제 사이의 절대 점수 차이가 내부 사례의 난도를 반영하므로 모델 능력의 직접 비교로 읽지 말라고 적었다.
실험 설계와 계획 비교는 117개 공통 문제에서 10점 만점 루브릭 평균이 Hydrogen-1.0 5.59, Kimi-K3 4.57이고 문제당 출력 비용 추정은 각각 0.0119달러와 0.2937달러다. GPT-6-Astra와 Opus-5.5는 이 평가에서 요청의 절반 넘게 거부해 비교에서 빠졌고, 비용에는 입력과 채점 비용이 들어 있지 않다. 한 평가에서 빠진 모델이 있다는 것은 다른 평가에서 Astra가 앞선 사실과 함께 읽어야 한다.
직접 서버를 띄운다면 8GPU 시험 조건과 포트 공개 설정, 응답 확인 항목을 먼저 따져야 한다
모델 카드는 SGLang으로 GPU 8장에서 시험했다고 적는다. generation_config.json을 두어야 하며, 없으면 답이 끝나는 자리에서 생성이 멈추지 않는다. 서버 비용은 GPU 8장을 돌리는 운영자가 전부 진다.
- 실행 명령: python -m sglang.launch_server --model-path deep-principle/Hydrogen-1.0 --served-model-name hydrogen-1.0 --tp 8 --trust-remote-code --reasoning-parser glm45 --tool-call-parser glm47 --host 0.0.0.0 --port 8001
주소 설정은 둘로 나뉜다. 클라이언트 예시의 MODEL_BASE_URL은 클라이언트가 접속할 주소를 적는 설정일 뿐 서버를 바깥에 여는 설정이 아니다. 예시 값은 http://localhost:8001/v1이다.
서버를 네트워크에 여는 것은 --host 0.0.0.0이며, 모든 네트워크 인터페이스에서 연결을 받겠다는 뜻이다. 카드의 실행 명령에는 인증 옵션이 없고 클라이언트 예시의 키 기본값도 not-required다.
같은 네트워크에서 포트에 닿는 누구나 호출할 수 있고 그 호출이 쓰는 GPU 시간은 운영자의 몫이다. 방화벽이나 인증은 별도로 걸어야 한다. --trust-remote-code는 모델 저장소에 딸린 코드를 실행하도록 허용하는 옵션이라는 점도 감안해야 한다.
클라이언트 예시는 스트리밍 응답에서 finish_reason과 본문 content를 함께 읽는다. finish_reason이 length이면 응답이 잘린 것이라 max_tokens를 올리라는 오류를 내고, 최종 답변이 비어 있으면 요청 상태와 출력 예산을 확인하라는 오류를 낸다.
모델 id는 --served-model-name으로 정한 hydrogen-1.0이며 /v1/models에서 확인하고, 추론 노력은 reasoning_effort를 max로 요청한다. 모델 카드의 max_tokens=4096은 모델의 최대 출력이 아니라 요청당 예산의 예시다.
자세히 읽기 · Deep Principle의 Hydrogen-1.0 소개 블로그 ↗ · Hugging Face의 Hydrogen-1.0 모델 카드 ↗
의료 AI 연구
정신과 초기 평가 인터뷰 AI, 시뮬레이션 환자 RL로 훈련한 arXiv 연구

10월 29일 arXiv에 제출된 논문 Training language models in simulation for psychiatric intake는 시뮬레이션 환경의 다중 턴 강화학습(RL)이 언어 모델의 텍스트 기반 정신과 초기 평가 성능을 높였다고 보고한다. 병력 청취, 감별 진단, 초기 관리 계획이 대상이며 첫 저자는 Samuel Schmidgall이다.
- 설계: 짝지은 시나리오 60쌍, 120회 상담의 무작위 이중맹검 교차 시험이다. 정신과 전문의 32명이 환자 역할을 했고 별도 전문의 15명이 익명화한 대화록을 채점했다.
- 결과: 훈련한 에이전트가 같은 지시를 받은 기반 모델보다 60쌍 중 76.7%에서 앞섰다.
- 안전: 적대적 사례 256개에서 급성 안전 위험을 낮게 분류하는 비율이 30.5%에서 12.9%로 줄었다.
무엇이 달라지나
시뮬레이션 환경이 정신과 대화 에이전트를 훈련하고 시험하는 통제된 도구가 될 수 있음을 보였다. 시뮬레이션에서 얻은 이득이 정신과 의사가 환자를 연기한 상담에서도 나타났다고 논문은 쓴다.
한계
환자는 실제 환자가 아니라 정신과 전문의가 연기한 텍스트 상담이다. 비교 상대는 훈련 전 기반 모델이며, 임상의가 같은 사례를 푼 결과는 초록에 나오지 않는다. 초록에는 훈련한 모델의 이름과 소속도 없다. 저자 한 명의 소셜 글은 제미니를 RL로 훈련했다고 적었고, 다른 소셜 글은 구체 모델명과 구글 딥마인드 소속을 소개했지만 이 글이 읽은 논문 초록으로는 확인되지 않는다. 76쪽 논문의 본문은 읽지 못했고, 저자도 잔여 격차 때문에 안전장치와 임상 감독이 필요하다고 쓴다.
커뮤니티 반응
■자기 기반 모델을 이기는 것은 쉬운 비교이고, 같은 적대 사례에서 사람 임상의가 어떤 점수를 받는지가 아직 빠져 있다는 지적이 나왔다.
■첫 정신과 진료를 몇 달씩 기다리는 사람이 많으니 대기 중에 쓸 만한 초기 평가라면 쓰지 않을 이유가 없다는 의견도 있었다.
■한 의사는 사람 평가에서 적절한 치료 권고가 46.7%에 그치고 시뮬레이션에서 핵심 질문을 하나 이상 빠뜨린 비율이 60.6%이며, 같은 계열 모델이 채점한 보상을 외부 채점자로 바꾸면 이득이 0.270에서 0.165로 줄었다고 짚었다.
본문 펼치기 · 약 3분
시험은 같은 지시를 받은 기반 모델과 짝 비교했고 환자는 정신과 의사의 연기였다
논문 초록에 따르면 시험은 무작위 이중맹검 교차 설계다. 60쌍의 시나리오를 훈련한 에이전트와 같은 지시를 받은 기반 모델에 각각 맡겨 모두 120회 상담을 만들었다. 환자 역할은 이사회 인증 정신과 전문의 32명이 표준화 환자로 연기했고, 별도의 독립 전문의 15명이 이름을 지운 대화록을 채점했다.
대상은 텍스트로 진행하는 구조화된 초기 평가이고, 병력 청취부터 감별 진단과 초기 관리 계획까지를 포함한다. 비교 상대가 임상의가 아니라 훈련 전 모델이라는 점이 결과를 읽는 기준이다. 훈련한 에이전트가 기반 모델보다 낫다는 것과 사람 임상의만큼 한다는 것은 다른 문장이다.
항목별 결과는 임상 점수, 의사소통, 감별 진단, 안전 분류로 나뉘어 한 숫자로 요약하기 어렵다
훈련한 에이전트는 60쌍 중 76.7%에서 앞섰고(p<0.0001), 변형 임상 시험 루브릭에서 효과 크기 dz가 0.77이었다. 환자 중심 의사소통은 82.0% 대 65.2%, 감별 진단의 적절성은 68.3% 대 33.3%다. 정신과 전문의가 타당성을 검증한 시뮬레이션 시나리오 127개에서는 임상 루브릭 점수가 0.706 대 0.379로 거의 두 배였고 종합 보상은 0.564 대 0.294다.
안전은 따로 시험했다. 임상 안전 위험과 관계 역량의 두 가지 델파이 합의 분류 체계에서 도전적인 적대적 사례 256개를 만들었고, 급성 안전 위험을 낮게 분류하는 비율이 30.5%에서 12.9%로 절반 넘게 줄었다. 줄었다는 것과 없어졌다는 것은 다르다. 256개 사례에서 12.9%는 개선 뒤에도 남는 값이고, 사례 수로 환산한 값은 초록에 없다.
저자도 남은 격차 때문에 안전장치와 임상 감독이 필요하다고 쓴다
초록의 마지막 문장은 시뮬레이션 환경이 정신과 대화 에이전트를 훈련하고 스트레스 시험하는 통제된 시험대이며, 이득이 정신과 의사가 연기한 상담으로 옮겨 갔지만 잔여 격차는 안전장치와 임상 감독을 요구한다고 정리한다. 임상 현장에서 쓸 준비가 됐다는 주장이 아니라 훈련과 평가 방법에 대한 보고다.
비슷한 에이전트 평가를 설계하는 팀이라면 이 논문의 구성을 체크리스트로 쓸 수 있다. 시뮬레이션 점수와 사람이 연기한 상담 점수를 따로 보고하고, 환자 역할과 채점자를 분리하고, 기반 모델과의 짝 비교에 더해 적대적 사례 모음으로 안전 지표를 따로 재는 것이다. 이 논문이 읽은 범위 밖의 본문 표와 부록에서 각 지표가 어떻게 계산됐는지는 원문으로 따로 봐야 한다.
논문은 본문 27쪽에 부록이 더해진 76쪽이라 초록만으로는 읽을 수 없는 부분이 크다
arXiv 초록 페이지에 따르면 논문은 76쪽, 그림 8개, 표 15개로 이뤄져 있고 이 가운데 본문은 27쪽, 본문 그림 7개, 본문 표 2개다. 제출은 2026년 10월 29일 UTC 17시 10분의 v1이며 분류는 인공지능(cs.AI)과 계산·언어(cs.CL)다. 초록은 핵심 수치를 요약하지만 지표별 계산 방식과 표는 본문과 부록에 있다.
그래서 이 글이 확인한 범위는 초록까지다. 훈련한 모델의 이름과 소속, 채점 루브릭의 항목, 안전 분류 체계의 세부는 초록에 나오지 않는다. 이 항목들을 따져 보려면 논문 원문의 PDF를 직접 열어 확인해야 한다.
자세히 읽기 · arXiv의 Training language models in simulation for psychiatric intake ↗