AI News Nov 6, 2026 8 min read

World Labs Frameboy 체험 데모 공개, 최대 15fps 스트리밍

World Labs Frameboy 체험 데모는 클라우드 GPU에서 최대 15fps로 장면을 스트리밍하는 연구 프리뷰다. ERNIE 5.5 Flash Base, Meet 번역, Gemini Computer Use, OpenAI PSP도 함께 다룬다.

World Labs가 11월 5일 Atlas 기반 Frameboy 연구 프리뷰를 공개했습니다. 바이두는 총 280B 파라미터의 오픈소스 기본 모델 ERNIE 5.5 Flash Base를 내놓았습니다. 구글 Meet 음성 번역의 63개 언어 확대(10월 22일)와 Gemini API Computer Use 정식 출시(10월 30일), OpenAI Private Safety Processing 가이드도 사용 조건과 한계 중심으로 함께 살펴봅니다.

오늘 담긴 것

월드 모델과 오픈 모델

World Labs Frameboy 체험 데모, Atlas를 클라우드 GPU에서 최대 15fps로 스트리밍

클라우드 GPU에서 스트리밍되는 Frameboy 장면을 상징하는 휴대용 게임기와 작은 거실 모형

World Labs가 11월 5일 블로그에서 Atlas 기반 Frameboy 연구 프리뷰를 공개했다. 브라우저에서 카메라를 움직이면 클라우드 GPU가 새 시점의 프레임을 만들어 최대 초당 15프레임으로 보내 주는 데모다. World Labs는 두 달 전 소개한 자기회귀 세계 모델 Atlas를 크게 최적화한 변형이 이 데모에서 돌아간다고 밝혔다.

  • 핵심: Frameboy는 연구 프리뷰이며, 클라우드 GPU에서 브라우저로 최대 15fps 프레임을 스트리밍한다.
  • 탐험 범위: 공개 데모는 큐레이션된 장면 목록을 돌아보고, 직접 만든 장면은 비공개 베타 앱 Viewfinder(대기자 명단)에서 쓴다.
  • 조건: 강력한 클라우드 GPU 서버가 필요해 로컬 렌더링에 비해 비용이 높다고 World Labs는 적었다.

무엇이 달라지나

블로그가 든 비교는 두 가지다. 수동 방식은 키포인트 카메라를 배치하고 생성을 누른 뒤 영상이 나올 때까지 기다리며, 카메라를 옮기면 다시 기다린다. 실시간 방식은 카메라를 움직이는 동안 화면이 계속 갱신된다.

한계

읽은 두 문서(Frameboy 블로그와 AMD 합류 발표)에는 사용 GPU 종류, 이용료, 한국에서의 접속 가능 여부가 없다. 15fps는 상한이고 장면별 실제 프레임 수와 지연 시간은 밝혀지지 않았다. 실시간 성능과 시점 품질에 대한 설명은 World Labs의 서술이다.

커뮤니티 반응

■15fps는 아직 거칠지만 세계 모델로 실시간 탐험이 가능해진 점은 큰 진전이라는 반응이 나왔다.

■접근 방법을 묻는 질문이 이어졌고, 대기자 명단 운영을 믿지 못하겠다는 글도 있었다.

■사진 한 장으로 만든 공간을 바로 돌아다닐 수 있다고 소개한 글도 있지만, 공식 블로그 기준으로 직접 만든 장면은 Viewfinder 비공개 베타에서 쓰고 공개 데모는 큐레이션된 장면 목록이다.

본문 펼치기 · 약 3분

공개 데모는 브라우저에서 카메라를 움직여 큐레이션된 장면을 돌아보는 방식이다

World Labs 블로그에 따르면 Frameboy는 클라우드 GPU에서 만든 프레임을 브라우저로 최대 15fps로 스트리밍하고, 사용자는 카메라를 직접 조작한다. 데모가 보여 주는 장면은 큐레이션된 목록이다.

블로그에 실린 장면 예시는 각각 입력 이미지 한 장에서 시작했다. Atlas가 나머지 시점을 추가로 만들어 Frameboy의 공간 맥락에 넣은 뒤 탐험하는 구조다. 유명 랜드마크 같은 실제 장소는 여러 시점에서 찍은 사진을 입력으로 쓴다.

블로그가 Atlas의 활용 예로 든 것은 랜드마크 탐험, 영화 촬영용 가상 시점 물색, 건설 현장 진행 점검, 3D 게임 레벨 구상, 로봇이 다닐 환경 시뮬레이션이다. 이는 Atlas 전반에 대한 설명이며, Frameboy 데모에서 이 용도가 모두 가능한지는 적혀 있지 않다.

직접 만든 장면은 Viewfinder 비공개 베타에서 쓰며, 블로그는 대기자 명단 등록을 안내한다

Viewfinder는 Atlas를 감싼 웹 앱으로, 사용자의 입력으로 장면을 프레임 단위로 쌓아 간다. 가상 카메라를 쓰듯 여러 각도로 이동하며 3D 일관성이 있는 시점을 만든다고 블로그는 설명한다.

새 프레임마다 Atlas가 색상과 깊이를 함께 생성한다. 장면이 준비되면 Frameboy 오버레이를 켜서 탐험하는 동안 생성된 프레임을 스트리밍으로 받는다.

Viewfinder에서 만든 장면은 어느 것이든 Frameboy 실시간 세션의 입력으로 쓸 수 있다. 현재는 비공개 베타이고, 블로그가 안내하는 참여 방법은 대기자 명단 등록이다. 공개 데모가 정해진 장면만 보여 주는 것과 달리 Viewfinder는 자기 입력에서 출발한다는 점이 다르다.

속도는 반복 횟수를 바꾸지만 비용과 하드웨어 조건은 아직 무겁다

World Labs는 결과를 기다리는 시간이 길면 사용자가 신중하게만 장면을 짜게 된다고 설명한다. 지연과 비용이 충분히 내려가면 생성이라는 행위가 따로 느껴지지 않는다는 것이다. 같은 거실 장면으로 수동 방식과 실시간 방식을 비교한 예시도 실었다.

반면 Frameboy는 강력한 클라우드 GPU 서버에서 돌아야 하고 로컬 렌더링보다 싸지 않다고 블로그는 인정한다. 회사는 느리고 비싸게 시작한 기술이 하드웨어와 소프트웨어의 발전으로 빠르고 싸진 전례가 있다고 내다봤다.

모델 쪽 변화도 있다. 블로그에 따르면 작년 연구 프리뷰 RTFM은 효율적이고 가벼운 프레임 생성 모델이었고 기존 시점 사이를 보간하는 데 맞춰져 있었다. Atlas는 RTFM의 개념을 키운 모델로, 훨씬 크고 자릿수가 다른 양의 데이터로 학습했다. 이미지 한 장이나 텍스트 설명만으로 장면을 처음부터 만든다고 한다.

World Labs의 AMD 합류 발표는 9월 28일 AMD와 최종 계약을 맺었다고 밝혔다. 거래는 규제 승인 등 통상 조건을 전제로 2026년 말까지 마무리될 예정이다. Fei-Fei Li는 AMD의 수석 부사장 겸 최고 과학자로 합류한다.

두 회사는 지난해부터 AMD GPU에서의 모델 학습과 추론 최적화 협력을 해 왔다. 다만 Frameboy 블로그는 서비스가 어떤 GPU에서 도는지 밝히지 않아, 두 소식의 직접 연관은 읽은 문서에 적혀 있지 않다.

자세히 읽기 · World Labs의 Frameboy 블로그 ↗ · World Labs의 AMD 합류 발표 ↗

바이두 ERNIE 5.5 Flash Base 사용법, SGLang·vLLM로 띄우는 280B 오픈소스 기본 모델

바이두 ERNIE 5.5 Flash Base의 전체 규모와 작은 활성 부분을 상징하는 상자와 작은 불빛 핵

바이두가 11월 5일 오픈소스 모델 ERNIE 5.5 Flash Base를 Hugging Face에 공개한 것으로 전해졌다. 모델 카드에 따르면 총 280B 파라미터 중 토큰당 14B가 활성화되는 희소 MoE 언어 모델이고, 33.5T 토큰으로 처음부터 사전 학습했다. 사전 학습이 끝난 시점, 중간 학습과 사후 학습 전의 체크포인트다.

  • 핵심: 총 280B, 토큰당 활성 14B의 텍스트 전용 MoE 기본 모델이며 학습 문맥은 최대 128K, 미세 조정과 추론은 1M 토큰을 지원한다.
  • 사용: FP8과 BF16 safetensors 가중치를 받아 SGLang 또는 vLLM으로 서버를 띄우고, 기본 모델이라 completions 엔드포인트로 호출한다.
  • 조건: 모델 카드의 언어 태그는 영어와 중국어이고, 벤치마크는 바이두가 같은 평가 조건으로 직접 보고한 값이다.

무엇이 달라지나

사후 학습을 거치지 않은 체크포인트를 풀어, 도메인 적응과 지시 튜닝, 강화학습 연구의 공통 출발점으로 쓰게 하는 구성이다. 바이두는 어텐션부터 MoE 층, 출력 헤드까지 효율을 기준으로 다시 설계했다고 소개한다.

한계

비교 수치는 바이두가 DeepSeek-V4-Flash-Base, Hy3-preview-Base, MiMo-V2.5-Base와 같은 파이프라인으로 낸 값이며 모든 항목에서 앞서지는 않는다. 한국어 성능을 따로 밝힌 항목은 없다. 라이선스 이름은 ernie-5.5-flash-base-model-license-v1.0이지만 조건 본문은 읽지 못했고, 모델 카드가 안내한 기술 블로그와 게시일도 읽은 범위에 없다.

커뮤니티 반응

■가중치가 열린 점을 반기는 글이 올라왔다.

■바이두가 내세운 ‘해당 크기에서 최고 수준’ 표현에 대해, 비교 대상이 몇 달 전 모델이라 과하다는 비판이 나왔다.

■바이두가 안내한 기술 블로그 주소가 열리지 않는다는 제보도 있었다.

본문 펼치기 · 약 5분

서버를 띄우는 방법은 SGLang과 vLLM 두 가지를 모델 카드가 안내한다

모델 카드의 SGLang 방법은 도커 이미지 lmsysorg/sglang:dev-ernie-55-flash를 --gpus all, --network host, --ipc host 옵션으로 띄우는 것이다. 이어서 sglang serve에 --model-path baidu/ERNIE-5.5-Flash-Base를 주고 --tp 4, --attn-dp-size 4, --context-length 131072를 지정한다. 나머지 옵션은 --max-running-requests 1024, --host 0.0.0.0, --port 30000이다.

vLLM 방법은 uv venv --python 3.12로 가상환경을 만들고 vllm==0.32.0과 baidu/vLLM-ERNIE 저장소의 ERNIE 5.5 플러그인을 설치하는 것이다. 이어서 vllm serve baidu/ERNIE-5.5-Flash-Base를 실행한다. 옵션은 --kv-cache-dtype fp8, --enable-expert-parallel, --data-parallel-size 4이고, 여기에 --max-model-len 131072, --port 30000, --moe-backend humming을 더한다.

예시 명령은 문맥 길이를 131072로 두지만, 카드는 두 서버 모두 최대 1,048,576 토큰의 긴 문맥 추론을 받을 수 있다고 적는다. 기본 모델이라 completions 엔드포인트로 호출한다. 카드의 예시는 localhost:30000/v1/completions에 model, 입력 문구 “Large language models are”, max_tokens 256, temperature 0을 보내는 curl 요청이다.

필요한 GPU 종류와 메모리는 카드에 없다. 가중치 크기만 단순 계산하면 FP8은 파라미터당 1바이트라 280×10^9×1바이트로 약 280GB, BF16은 2바이트라 약 560GB다. KV 캐시는 빠진 값이고, 카드의 정밀도 표기가 FP8 mixed여서 실제 파일 크기와는 다를 수 있다.

벤치마크에서는 지식·코딩 항목이 앞서고 중국어 지식과 재순위 항목은 뒤진다

카드의 평가표에서 ERNIE-5.5-Flash-Base는 MMLU(5-shot, EM) 93.3으로 DeepSeek-V4-Flash-Base 89.4, Hy3-preview-Base 87.5, MiMo-V2.5-Base 87.6보다 높다. MMLU-Pro는 78.4 대 69.2, 66.9, 65.7이고 GPQA는 60.2 대 55.9, 50.2, 51.4다.

코드에서는 HumanEval+(Pass@1)가 82.3 대 69.5, 78.0, 74.4, LiveCodeBench(Pass@1)가 40.1 대 31.9, 33.5, 32.4다. 비교 모델의 활성 파라미터는 순서대로 13B, 21B, 15B다.

반대로 뒤지는 항목도 표에 있다. ChineseSimpleQA는 73.0으로 DeepSeek-V4-Flash-Base 75.3과 Hy3-preview-Base 73.2보다 낮고, HELMET-Rerank(NDCG@10)는 56.2로 DeepSeek-V4-Flash-Base 60.0에 못 미친다.

FullStackBench는 54.6으로 Hy3-preview-Base 56.7보다, BBH CoT는 89.2로 Hy3-preview-Base 90.0과 MiMo-V2.5-Base 89.8보다 낮다. InfiniteBench는 46.5로 DeepSeek-V4-Flash-Base 48.0과 MiMo-V2.5-Base 46.7보다, INCLUDE-lite는 79.5로 DeepSeek-V4-Flash-Base 79.8보다 낮다.

효율 설계에 대한 수치도 모두 바이두의 설명이다. 어텐션 출력 게이트를 쿼리 잠재 벡터에서 계산해 게이트 투영 파라미터를 75% 줄였다고 하고, 압축 어텐션(HCA) 층은 128토큰마다 캐시 항목 하나를 둔다고 한다.

학습 인프라 항목에서는 FlashMask-4 커널이 SM100에서 FlashAttention-4 MaskMod보다 순전파가 최대 175%, 역전파가 74% 빠르다고 적었다. 이 수치는 학습 커널 기준이다.

기본 모델이라 바로 대화에 쓰기보다 미세 조정의 출발점으로 읽는 편이 맞다

카드는 이 체크포인트가 사전 학습 직후, 중간 학습과 사후 학습 이전의 것이며 도메인 적응과 지시 튜닝, 강화학습 연구의 출발점이 될 수 있다고 설명한다. 구성은 43개 층(밀집 FFN 1개와 MoE 42개)이다.

층마다 라우팅 전문가 512개 중 상위 10개와 공유 전문가 1개를 쓰고, 은닉 크기는 4096, 어휘는 201,216개다. 숫자는 오른쪽에서 왼쪽으로 세 자리씩 끊어 토큰화한다. 입력은 텍스트뿐이다.

사전 학습 데이터는 웹 문서, 저장소와 웹의 코드, 긴 문맥 데이터로 나뉜다. 코드에는 커밋, 이슈, 풀 리퀘스트, 코드 리뷰, CI로 확인된 수정 같은 소프트웨어 변화 기록이 포함된다고 한다. 긴 문맥에는 자연스러운 긴 문서와 비슷한 방해 문서를 붙인 시퀀스, 검색·인용·다단계 질의응답용 합성 데이터가 들어간다.

서버를 직접 띄우지 않고 쓰는 길은 Hugging Face Inference Providers 문서에서 볼 수 있다. 이 서비스는 종량제이고 PRO 사용자와 Team·Enterprise 조직에는 월 포함 크레딧이 있다.

hf models ls --warm 명령은 제공업체 한 곳 이상이 서빙하는 모델을 나열한다. 읽은 문서에는 ERNIE 5.5 Flash Base가 제공업체에 올라 있다는 내용이 없으므로 이 명령으로 먼저 확인해야 한다.

자세히 읽기 · 바이두의 ERNIE-5.5-Flash-Base 모델 카드 ↗ · Hugging Face의 Inference Providers 문서 ↗

회의와 개발자 도구

Google Meet 음성 번역 63개 언어, 요금제별 회의당 90분 또는 8시간 한도

Google Meet 음성 번역의 언어 확대와 시간 한도를 상징하는 회의 스피커, 말풍선, 모래시계

구글이 10월 22일 Workspace Updates 블로그에서 Google Meet의 Gemini 기반 음성 번역을 63개 언어로 넓힌다고 밝혔다. 웹과 모바일(Android, iOS)에서 쓸 수 있고 Meet 하드웨어 기기는 듣기만 지원한다. 순차 제공(Scheduled Release) 도메인에는 11월 2일부터 최대 15일에 걸쳐 적용된다.

  • 핵심: Gemini 3.5 Live Translate 기반으로 한 회의 안에서 63개 언어를 어떤 조합으로든 번역하며, 말하는 언어는 자동으로 감지한다.
  • 사용 조건: 회의 주최자가 적격 Workspace 또는 Google AI 요금제여야 하고, 1:1 통화는 한 사람만 적격이어도 된다.
  • 한도: 회의당 기본 Workspace와 Google AI Pro는 90분, AI Expanded Access와 Google AI Ultra 계열은 8시간이다.

무엇이 달라지나

이전에는 제한된 언어 쌍만 지원했고 회의 전체에 언어 쌍 하나를 설정해야 했다. 이제는 참가자가 각자 툴바의 번역 버튼으로 켜고, 이미 아는 언어를 추가해 번역에서 뺄 수 있으며, 번역 음성에 맞춘 자막이 동기화된다.

한계

한국어가 63개 언어에 들어 있는지는 지원 언어 목록을 읽지 못해 알 수 없다. 한국 제공 여부도 문서에 없고, 지역과 연령(18세 미만 제외) 제한이 있다고만 적혀 있다. 라이브 스트림, 녹화, 클라이언트 측 암호화(CSE) 회의, 전화 접속과 타사 상호운용 통화, 적응형 오디오 사용 시에는 쓸 수 없다. 요금제 가격은 읽은 문서에 없다.

커뮤니티 반응

■격식체와 비격식체 설정이 있었으면 좋겠다는 요청이 나왔다. 말투가 틀리면 맞는 단어도 틀린 메시지가 된다는 이유다.

■중국에서 시험해 볼 수 있는지, 키냐르완다어를 지원하는지 묻는 질문이 달렸다. 공식 문서는 지역 제한이 있다고만 적었다.

■한국어로 말하고 영어로 답하는 해외 고객과의 회의를 예로 든 Threads 글(OpenAI Codex 앰배서더를 내세운 채널)에는 존댓말 뉘앙스와 지연 시간이 관건이라는 댓글이 이어졌다. 한국어 포함 여부는 읽은 공식 문서에 없다.

본문 펼치기 · 약 4분

회의 중 켜는 순서는 자막·번역 버튼, 음성 번역, 언어 선택, 내 목소리 번역 순이다

Meet 도움말의 순서는 이렇다. 회의 하단의 captions & translation 버튼에 마우스를 올리고 Translate speech를 누른다. 처음 쓰면 번역을 들을 언어를 고르고 Next를 누르며, 내 말을 다른 사람에게 번역해 주려면 Translate me를 누른다.

자막을 함께 보려면 Translate speech를 누른 뒤 Turn on captions를 선택하고, 끄려면 Translating to [언어] 버튼을 누른다. 내 목소리 번역만 끄려면 음성 번역 설정의 Translate my voice에서 Don’t translate me를 고른다.

다른 참가자가 번역을 들으려면 본인도 음성 번역을 켜야 하고, 켜면 알림이 뜬다. 말하는 사람이 번역에 동의해야 하며, 동의는 영상 타일의 배지에서 Allow Translation을 눌러 한다. 일반 사용자 쪽은 회의 시작 때 기본이 꺼져 있고, 모바일은 Meet 앱을 업데이트해야 한다.

도움말은 실시간 번역이 녹음이나 텍스트 번역보다 오류가 많다고 적는다. 문법 오류, 알아듣기 어려운 단어, 예상 밖의 억양, 명사의 성 오류, 화자가 바뀔 때 번역 음성 스타일 변화, 네트워크 품질에 따른 품질 차이가 예로 나온다.

번역은 완성도를 위해 몇 초 늦게 나오고, 화자 타일의 번역 표시가 사라진 뒤에 답하라고 안내한다. 불분명하면 말을 바꿔 다시 하고, 자막과 채팅을 보조로 쓰라는 권고도 있다.

요금제 판정은 주최자 계정 기준이고 기본 한도는 90분이다

블로그의 제공 대상은 Business Standard·Plus, Enterprise Standard·Plus, Frontline Plus, 개인용 Google AI Pro·Ultra, Google AI Pro for Education, 애드온 AI Expanded Access·AI Ultra Access다. 주최자가 적격 요금제면 다른 도메인 게스트를 포함한 모든 참가자가 번역을 쓸 수 있다. 1:1 직접 통화는 한 사람만 적격이어도 둘 다 쓴다.

한도는 회의당 기준이다. 도움말 표는 Google AI Pro, Business Standard·Plus, Enterprise Standard·Plus, Frontline Plus, AI Pro for Education을 90분으로, Google AI Ultra와 AI Expanded Access를 8시간으로 적는다.

8시간 대상의 표기는 문서마다 조금 다르다. 블로그는 AI Expanded Access, AI Ultra Access, Google AI Ultra를 8시간으로 적고, 도움말 표에는 AI Ultra Access가 따로 보이지 않는다. 회의실 하드웨어 참가자는 번역을 들을 수는 있지만 회의실 안에서 나온 발언은 번역되지 않는다.

관리자 쪽에서는 적격 Workspace 버전에서 기본이 켜져 있다. 단, Meet의 Gemini 관리자 설정이 켜져 있어야 하고, Admin 콘솔의 Apps, Google Workspace, Google Meet, Gemini settings에서 조직 단위나 그룹별로 끄거나 켤 수 있다.

도움말은 이 설정이 사용자의 자격을 바꾸는 것이 아니라 사용자가 연 회의에서 참가자가 번역을 켜도 되는지를 정한다고 설명한다. 순차 제공은 11월 2일부터 최대 15일에 걸치고, 초기에는 기능 표시와 자막 동기화가 다를 수 있다.

회의록 기능과 함께 쓰면 언어 범위가 달라지니 따로 확인해야 한다

도움말은 전사나 “Take notes for me”가 설정된 언어로 말한 내용만 담고, 음성 번역이 지원하는 모든 언어에서 동작하지는 않는다고 적는다. Take notes for me 도움말에 따르면 이 기능은 한 번에 한 언어만 지원한다.

지원 언어는 영어, 프랑스어, 독일어, 이탈리아어, 일본어, 한국어, 포르투갈어, 스페인어다. 다른 언어가 30초 이상 쓰이면 노트 언어를 바꾸라는 알림이 뜬다.

개인정보 측면에서 블로그는 사용자가 자기 발화를 다른 사람에게 번역할지 선택하고 Meet 설정에서 언제든 바꿀 수 있다고 밝혔다. 구글은 음성 데이터를 저장하거나 목소리로 모델을 학습하지 않는다고 설명하며, 도움말은 번역이 사용자의 목소리와 비슷한 음성으로 나온다고 적는다.

번역을 쓰는 한국어 회의에서 회의록까지 남기려면 번역 지원 언어 목록과 회의록 언어 목록을 각각 봐야 한다. 번역 지원 언어 목록은 읽은 범위에 없다. 녹화와 라이브 스트림에는 번역이 적용되지 않는다는 점도 감안해야 한다.

자세히 읽기 · Google Workspace Updates 블로그의 음성 번역 확대 글 ↗ · Google Meet 도움말의 Use Speech Translation ↗ · Google Meet 도움말의 Take notes for me ↗

Gemini API Computer Use 정식 출시, 브라우저·모바일·데스크톱 에이전트 구현 절차

Gemini API Computer Use 정식 출시를 상징하는 커서 화살표, 키보드, 안전 방패 태그

구글이 10월 30일 Gemini API 릴리스 노트에서 Computer Use 도구를 Interactions API와 GenerateContent API 전반에서 정식 출시(GA)했다고 밝혔다. 문서에 따르면 모델이 화면 스크린샷을 보고 클릭과 키 입력 같은 UI 동작을 제안하고, 개발자 쪽 코드가 그 동작을 실행하는 구조다.

  • 핵심: 모델이 스크린샷을 보고 function_call로 동작을 제안하고, 실행은 개발자의 클라이언트 코드가 맡는다.
  • 지원 모델: gemini-4-argon, gemini-3.8-flash(권장), gemini-3.5-flash-lite, gemini-3-flash-preview다.
  • 안전: prompt injection 탐지는 옵트인(기본값 false)이며 Gemini 3.5 Flash-Lite 이후 모델에서 지원한다.

무엇이 달라지나

두 API에서 정식 기능이 됐다. 문서는 Gemini 4와 3.x 모델에서 브라우저, 모바일, 데스크톱 환경을 지원하고, 동작마다 모델의 판단 이유를 담은 intent 필드가 붙으며, 안전 정책을 설정할 수 있다고 적는다.

한계

문서는 Computer Use에 오류와 보안 취약점이 있을 수 있다며, 중요한 결정과 민감한 데이터, 되돌릴 수 없는 동작에는 쓰지 말고 가까이서 감독하라고 권고한다. Computer Use 도구 자체의 별도 요금과 한국 제공 여부는 읽은 문서에 없다.

커뮤니티 반응

■OpenAI Codex 앰배서더를 내세운 채널의 글에서는 AI가 화면을 보고 버튼을 누르고 내용을 입력하는 기능이 정식으로 열렸다는 소식으로 소개됐다.

■웹사이트 정보 입력 같은 반복 업무를 맡기는 에이전트를 만들 수 있다는 예가 함께 언급됐다.

■시험 버전 코드를 고치지 않고 쓸 수 있다는 소개도 있었으나, 읽은 공식 문서와 릴리스 노트에는 그 내용이 없다.

본문 펼치기 · 약 4분

구현은 요청, 응답 해석, 실행, 새 스크린샷 전송의 네 단계를 반복하는 루프다

Computer use 문서의 순서는 이렇다. 먼저 computer_use 도구, 대상 환경, 사용자 입력 문장, 현재 화면 스크린샷을 담아 요청한다. 응답에는 클릭, 스크롤, 키 입력 같은 function_call이 온다.

Gemini 4와 3.x 모델에서는 그 동작을 고른 이유를 담은 intent도 함께 온다. 응답에 safety_decision이 있으면 일반 허용, 사용자 확인 필요(require_confirmation), 차단 중 하나다.

세 번째 단계에서 클라이언트는 0~1000으로 정규화된 좌표를 실제 뷰포트에 맞게 환산해 Playwright 같은 자동화 도구로 동작을 실행한다. 네 번째 단계에서는 새 스크린샷을 function_result로 돌려보낸다. 병렬 호출이 있었다면 호출마다 function_result를 보내야 하고, 대화 기록에는 모델 응답과 함수 응답을 모두 이어 붙여야 한다.

작업이 끝나거나 중단될 때까지 이 과정을 반복한다. 요청 설정에서는 화면 크기를 지정할 필요가 없고, 모델이 화면 높이와 너비에 맞춘 픽셀 좌표를 예측한다.

문서의 Python 예시는 google-genai SDK 2.7.0 이상을 요구한다. 실행 환경은 샌드박스 VM이나 컨테이너로 격리하라고 하며, 참조 구현에 Docker 기반 샌드박스가 있다고 안내한다.

환경과 모델에 따라 쓸 수 있는 기능과 사고 수준, 토큰 단가가 다르다

환경 설정 값은 ENVIRONMENT_BROWSER, ENVIRONMENT_MOBILE, ENVIRONMENT_DESKTOP 세 가지다. 사람 개입이 필요한 흐름에서는 기본 동작(예: click)을 빼고 yield_to_user 같은 사용자 정의 함수를 등록할 수 있다고 문서는 예를 든다. 표준 자동화에는 낮은 사고 수준이 대체로 균형이 좋다고 적었다.

모델별 조건은 Gemini 3.8 Flash 안내와 Gemini 4 Argon 안내에 있다. Gemini 3.8 Flash는 사고 수준 low, medium(기본), high를 지원하고 minimal은 오류가 난다.

Gemini 3.8 Flash는 100만 토큰당 입력 0.75달러, 출력 3.75달러의 도입 가격이 2026년 12월 31일까지 적용된다. 2027년 1월 1일부터는 입력 1.50달러, 출력 7.50달러다. 이 모델은 길고 복잡한 작업에서 설계상 토큰을 더 쓸 수 있다고 문서가 적었다.

Gemini 4 Argon은 low, medium(기본), high를 지원한다. 100만 토큰당 입력 2달러, 출력 10달러의 도입 가격이 11월 30일까지이고 이후 입력 4달러, 출력 20달러다.

이 값들은 모델 토큰 단가이며 Computer Use 도구에만 붙는 요금이 아니다. gemini-3.5-flash-lite와 gemini-3-flash-preview의 단가는 읽은 문서에 없다.

안전 결정을 처리하지 않으면 확인이 필요한 동작을 그대로 실행하게 된다

문서는 safety_decision이 require_confirmation이면 사용자에게 승인을 받고, 승인하면 function_result에 safety_acknowledgement를 넣으라고 안내한다. 차단이면 실행을 멈추거나 중단 상황을 처리한다.

안전 정책 일부를 재정의(override)할 수 있지만 그래도 모델이 require_confirmation을 돌려줄 수 있다. 앱은 설정과 상관없이 안전 결정 처리를 구현해야 한다.

Prompt injection 탐지는 스크린샷에 숨은 적대적 지시(예: 이전 명령을 무시하라)가 있는지 검사하고 감지되면 실행을 막는다. 옵트인이며 기본값은 false다.

문서의 권고에는 사용자 확인 단계, 사용자 정의 시스템 지시, 제한된 권한의 샌드박스(VM·컨테이너·전용 브라우저 프로필)가 있다. 입력 정제, 콘텐츠 가드레일, 허용·차단 목록도 권고하며, 입력 문장·스크린샷·제안 동작·안전 응답·실제 실행 동작을 기록하라고 한다.

예기치 않은 팝업이나 레이아웃 변화는 모델을 혼란스럽게 하므로 작업마다 깨끗한 상태에서 시작하라고도 적었다. 입력 정제는 도움이 되는 한 겹일 뿐 안전한 실행 환경을 대신하지 못한다고 문서가 못박았다. 시험 삼아 써 보는 방법으로는 Browserbase 데모 환경과 참조 구현을 안내한다.

자세히 읽기 · Gemini API 릴리스 노트 ↗ · Gemini API의 Computer use 문서 ↗ · Gemini API의 What’s new in Gemini 3.8 Flash ↗ · Gemini API의 What’s new in Gemini 4 Argon ↗

데이터와 보안

OpenAI Private Safety Processing, ZDR 승인 고객 저장소에 선별 기록 30일 보관

OpenAI Private Safety Processing의 고객 저장소 30일 보관을 상징하는 금고 상자와 달력 한 장

OpenAI Developers 계정이 11월 6일(한국 시간) 소개한 ZDR with Private Safety Processing 가이드는, 요청 내용과 응답을 OpenAI가 보관하지 않으면서 오프라인 자동 안전 검토를 하는 방식을 설명한다. 약칭은 PSP다. 가이드와 데이터 통제 문서에는 게시일이 적혀 있지 않다.

  • 핵심: 안전 분류기가 넘긴 건이나 승인된 표본 정책에 뽑힌 상호작용만 이중 암호화해 고객 클라우드 저장소에 TTL 30일로 기록한다.
  • 검토: 하드웨어 증명을 받은 Safety Review Runtime이 자동 검토하고 사람 접근은 막혀 있으며, 평문으로 나가는 것은 정해진 안전 신호와 운영 메타데이터뿐이라고 OpenAI는 설명한다.
  • 조건: ZDR 같은 데이터 보관 통제는 OpenAI의 사전 승인이 필요하고, 저장소 등록과 검증이 따라야 해서 API 사용자 전체에 해당하지 않는다.

무엇이 달라지나

ZDR을 쓰는 고객도 안전 검토를 받는 구조가 문서화됐다. 검토용 기록은 OpenAI가 아니라 고객 저장소에 남고, OpenAI는 운영 메타데이터와 저장소 참조를 담은 색인만 둔다고 가이드는 설명한다.

한계

‘보관하지 않는다’는 OpenAI 쪽 표현이며 고객 저장소에는 선별된 기록이 30일 남는다. 분류기 신고가 정책 위반을 뜻하지는 않는다고 가이드는 적었다. 읽은 텍스트에는 저장소 설정 화면의 상세 절차와 요금, 이 기능이 처음 나온 시기가 없다. 이미지와 파일 입력은 CSAM 분류기가 탐지하면 ZDR을 켜도 수동 검토를 위해 보관된다.

커뮤니티 반응

■안전 검토에서 고객 관리형 암호화 키를 쓸 수 있다는 점이 예상 밖이라는 반응이 있었다. 문서대로 키 권한을 철회하면 저장된 기록을 복호화할 수 없게 된다는 점을 짚었다.

■OpenAI 개발자 공식 계정은 요청 내용과 응답을 보관하지 않는다고 요약하면서, 저장소 연결 방법은 별도 글로 안내했다.

■소개 영상에 나온 인물을 알아봤다는 답글도 달렸다.

본문 펼치기 · 약 5분

설정 순서는 보관 통제 승인, 저장소 등록과 검증, 30일 이상 보관 유지 순이다

데이터 통제 문서에 따르면 기본적으로 남용 모니터링 로그는 모든 API 기능 사용에서 생성되어 최대 30일 보관된다. 이 로그에서 고객 콘텐츠를 빼는 Zero Data Retention과 Modified Abuse Monitoring은 OpenAI의 사전 승인과 추가 요건이 필요하며, 영업팀 문의로 시작한다.

승인되면 Settings, Organization, Data controls의 Data Retention 탭에서 조직 전체로 ZDR 또는 MAM을 고른다. 프로젝트는 상속, ZDR, MAM, None 중에서 정한다.

PSP 가이드가 요구하는 고객 책임은 다섯 가지다. PSP를 켠 프로젝트와 데이터 거주 지역마다 OpenAI 관리자 API로 저장소 버킷을 등록하고 검증해야 한다. 저장소 수명 주기 규칙이 PSP 기록을 30일보다 일찍 지우지 않게 해야 한다.

지역 저장소와 서비스 권한, 고객 관리 키 권한을 유지해야 한다. OpenAI가 알리면 저장소 설정 문제를 고쳐야 한다. 안전 우려에 대한 통지에는 OpenAI와 함께 조사하고 대응해야 한다. 가이드의 Set Up and Verify Storage 탭 내용은 읽은 텍스트에 없다.

Terraform 문서는 프로젝트의 보관 유형을 organization_default, none, zero_data_retention, modified_abuse_monitoring, enhanced_zero_data_retention, enhanced_modified_abuse_monitoring 중에서 고르게 한다. 어떤 유형이 가능한지는 조직 설정과 프로젝트의 데이터 거주 지역에 달려 있다.

이 리소스는 이미 있는 설정을 바꿀 뿐 조직을 보관 통제 프로그램에 가입시키지 않으며, 구성에서 리소스를 지워도 원격 설정은 그대로 남는다.

암호화는 두 겹이고 키 권한을 철회해도 기록이 지워지지는 않는다

가이드는 저장된 기록이 이중 암호화된다고 설명한다. 안쪽은 OpenAI가 관리하는 HPKE 암호화로 복호화를 승인된 Safety Review Runtime에만 허용하고, 바깥쪽은 고객 관리형 키(EKM)다.

EKM을 켜면 OpenAI의 안쪽 키만으로는 기록을 복호화할 수 없고 고객 키 권한도 필요하다. OpenAI는 추가 통제를 위해 EKM을 권장하며, 키 관리 서비스는 저장소와 다른 지역에 있어도 된다.

키 권한을 철회하면 보관된 기록을 복호화할 수 없게 되지만, 기록이 삭제되거나 이미 끝난 처리가 취소되지는 않는다. 상세 검토 결과도 런타임을 떠나기 전에 암호화되어 고객 저장소에 원래 기록의 만료 시점으로 저장된다. 암호화와 저장은 비동기라 추론을 막지 않는다.

OpenAI는 고객 콘텐츠로 모델을 학습할 수 없고 OpenAI 내 다른 그룹이나 파트너에게 제공할 수 없다고 적었다. 검토 런타임은 고객 콘텐츠를 복호화할 수 있는 유일한 OpenAI 워크로드로 설계됐다. 고객 콘텐츠를 드러내지 않는 승인된 검토용 지시문과 출력 스키마를 쓴다고 한다.

ZDR이라도 모든 엔드포인트가 대상은 아니고 예외가 남는다

PSP 가이드는 데이터 통제 문서의 엔드포인트와 기능 제한이 그대로 적용된다고 밝힌다. 문서의 표에서 ZDR 적격은 chat/completions, responses, decisions, images, embeddings, audio, completions, moderations, realtime 등이다.

conversations, agents, assistants, threads, vector_stores, files, fine_tuning, evals, batches도 적격이 아니며, 이 엔드포인트는 ZDR을 켜도 애플리케이션 상태를 저장할 수 있다. ZDR에서는 responses와 chat/completions의 store 값이 항상 false로 처리된다.

예외도 문서에 있다. Prompt caching은 암호화된 KV 텐서를 GPU 로컬 저장소에 최대 24시간 둘 수 있다. 이미지와 파일 입력에서 CSAM 가능성이 탐지되면 ZDR, MAM, Private Retention with PSP를 켜도 수동 검토를 위해 이미지가 보관된다.

또 ZDR이나 MAM 승인 고객이라도 OpenAI가 서면 사전 통지로 특정 모델을 적용 대상에서 뺄 수 있다고 문서는 적었다.

헷갈리기 쉬운 이름이 하나 있다. Private Retention with PSP(옛 이름 Eyes Off)는 고객 저장소가 아니라 OpenAI 관리 인프라에 암호화된 로그를 두고, 법이 요구하지 않는 한 사람 검토에서 제외하는 별개 방식이다.

ZDR이나 MAM을 쓰는 고객은 자기 사용자가 안전하고 책임 있는 AI 사용 정책을 지키게 할 책임과, 법에 따른 조정·신고 요건을 지킬 책임도 진다.

자세히 읽기 · OpenAI의 ZDR with Private Safety Processing 가이드 ↗ · OpenAI의 Data controls in the OpenAI platform ↗ · OpenAI의 Terraform 프로젝트 통제 가이드 ↗

Fluxaivory desk

Built from primary sources with AI assistance and published after automated checks. AI Use Policy · Corrections

Follow Fluxaivory

Get the briefing by email

A weekly roundup of the top AI news in plain English, from primary sources. Free. Unsubscribe anytime.