NVIDIA는 PC 여러 대로 로컬 AI 요청을 나눠 보내는 라우터 PAIR의 설치 절차를 안내했고, Anthropic은 Claude Code 데스크톱 앱용 배경 테마를 공식 저장소에 올렸습니다. Liquid AI는 음성 토크나이저 LiquidCodec을, higurashi는 풀듀플렉스 음성 대화 모델 Haru-4B를 공개했고, Epoch AI는 화웨이 Horinger 데이터센터의 컴퓨팅 용량을 추정했습니다. 다섯 소식에서 설치 조건과 회사 주장, 추정치가 각각 어디까지인지 함께 살펴봅니다.
오늘 담긴 것
- NVIDIA PAIR, 여러 PC로 로컬 AI 요청을 나눠 처리하는 오픈소스 라우터: NVIDIA의 오픈소스 제품 문서
- Claude Code 데스크톱 앱, theme-examples 플러그인으로 움직이는 배경 테마 20개: Anthropic의 공식 플러그인 문서
- Liquid AI, 오디오 토크나이저 LiquidCodec 공개…인코딩 약 361배 실시간: Liquid AI의 모델 카드
- higurashi, 한국어 포함 9개 언어 음성 대화 모델 Haru-4B 공개…듣는 동시에 말한다: higurashi의 모델 저장소
- Epoch AI, 화웨이 Horinger 데이터센터 컴퓨팅을 Colossus 2의 7%로 추정: Epoch AI의 분석 보고서
로컬 AI 도구
NVIDIA PAIR, 여러 PC로 로컬 AI 요청을 나눠 처리하는 오픈소스 라우터

NVIDIA가 9월 3일 기술 블로그에서 PAIR 베타를 소개했고, 11월 15일 현재 GitHub 저장소와 제품 페이지에는 1.0.0 안내가 올라 있다. PAIR는 같은 네트워크의 호환 PC를 찾아 Ollama 호환, OpenAI 호환, Anthropic Messages API 요청을 받고, 독립된 요청을 처리할 수 있는 노드로 보내는 로컬 추론 라우터다.
- 동작: 요청 하나는 노드 한 대에서 끝까지 처리된다. GPU 메모리를 합치거나 모델 하나를 여러 대에 쪼개지 않는다.
- 연결: 각 PC에 PAIR를 설치하고, 초대하는 쪽이 보여 주는 6자리 PIN을 초대받는 쪽에 입력한다.
- 조건: Apache-2.0 라이선스, Windows 11·Linux·macOS 지원, 엔진은 Ollama·LM Studio·llama.cpp·vLLM.
무엇이 달라지나
NVIDIA 블로그는 서브에이전트가 수십 개의 모델 호출을 만들면 한 PC의 엔진 실행 슬롯에 요청이 몰려 대기열이 길어진다고 설명한다. PAIR를 쓰면 같은 모델을 가진 다른 PC가 일부 요청을 맡고, 앱은 하나의 로컬 주소만 본다. 에이전트나 하네스를 고칠 필요가 없다는 것이 블로그의 설명이다.
한계
PAIR가 돌아간다고 엔진까지 돌아가는 것은 아니며, 엔진과 모델이 그 PC에서 되는지는 각 엔진 문서에 따른다. 1.0.0의 출시일은 읽은 자료에 없다. 읽은 문서에 지역 제한이나 요금제는 적혀 있지 않고, 제품 페이지는 언어를 English로 표시한다. 블로그의 속도 수치는 NVIDIA가 비공식 시연이라고 밝힌 값이다.
커뮤니티 반응
■집 안 여러 PC로 로컬 AI 요청을 나눠 처리하려는 사람이 살펴볼 만한 도구라는 소개가 올라왔다.
■여러 PC의 GPU 메모리를 합쳐 큰 모델 하나를 돌리는 방식이 아니라는 설명이 함께 붙었다.
■하드웨어와 전력 비용이 들고 엔진과 모델의 라이선스는 별도라는 점도 짚었다.
본문 펼치기 · 약 5분
문서의 순서대로 하면 PC 한 대에서도 설치부터 첫 요청까지 이어진다
저장소 README는 릴리스 페이지에서 설치 파일을 받는 방식을 권장한다. Windows는 .exe, Linux는 .deb, macOS는 .dmg이며, Linux에서는 내려받은 폴더에서 sudo apt install ./NVPAIR-Setup-*.deb를 실행하고 macOS에서는 NVIDIA PAIR를 Applications 폴더로 옮긴다. 릴리스 설치 파일은 서명돼 있고 업데이트 안내를 받지만, 소스에서 직접 만든 빌드는 서명이 없고 업데이트 피드도 보지 않는다고 적혀 있다.
첫 실행에서는 설정 창이 뜨고 Ollama, LM Studio, llama.cpp가 플랫폼에 맞게 미리 선택돼 있다. 엔진을 설치한 뒤 노드 카드의 Add model에서 모델을 내려받는데, README 예시는 qwen4:12b다. llama.cpp는 ggml-org/gemma-3-1b-it-GGUF:Q4_K_M처럼 저장소와 양자화가 들어간 ID를 쓴다.
앱이 연결할 주소는 시작 문서대로 상단 Endpoints 창에서 복사한다. PAIR 프록시가 엔진의 기본 포트를 차지하므로 Ollama 11434, LM Studio 1234, llama.cpp 8080을 쓰던 도구는 설정을 바꾸지 않아도 되고, 엔진은 다음 빈 포트로 옮겨 간다. OpenAI 형식의 /v1/chat/completions 요청은 세 엔진 모두에서 되고, Ollama 형식의 /api/chat은 Ollama 엔드포인트에서만 된다.
어느 노드가 처리했는지는 시작 문서대로 Overview의 Jobs 필터에서 Running on 또는 Ran on으로 읽는다. 요청을 직접 만들고 싶지 않으면 Settings > Service의 Test 버튼이 1분 동안 요청을 보내 준다.
PIN으로 PC를 묶고, 요청을 받을 노드는 엔진과 모델 보유 여부로 정해진다
시작 문서의 페어링 순서는 이렇다. 첫 PC에서 Add node를 누르거나 Settings > Cluster의 Available nodes to add에서 발견된 PC를 고르고, 발견되지 않으면 IP 주소로 추가한다. 초대하는 PC가 6자리 PIN을 보여 주면 초대받는 PC에서 Cluster invitation 창을 수락하고 그 PIN을 입력한다. 같은 방법으로 다른 멤버에서도 PC를 더 붙일 수 있다.
문서는 PIN이 임시 부트스트랩 코드이지 오래 쓰는 고엔트로피 자격 증명이 아니라고 적고, 두 장치와 네트워크를 신뢰할 수 있을 때만 페어링하라고 안내한다. 기술 블로그에 따르면 PC 발견에는 mDNS를 쓰고, 페어링 전에는 노드 사이 통신이 막히며, 연결 뒤에는 mTLS와 생성된 인증서로 통신한다.
노드가 요청 후보가 되려면 온라인이고, 호환 엔진이 실행 중이며, 요청한 모델이 그 노드에 있어야 한다. 블로그는 여기에 노드의 활성 작업과 GPU 사용률도 고려한다고 밝혔다. 모든 노드가 같은 모델을 처리하게 하려면 노드마다 모델을 받아 두어야 하고, README는 PAIR가 이미 모델을 가진 노드를 선호한다고 적었다.
시연 수치와 문서마다 다른 지원 범위는 도입 전에 맞춰 보는 편이 안전하다
블로그가 소개한 시연은 Hermes Desktop이 서브에이전트 5개를 만들고 Ollama가 Qwen 3.6 35B A3B 모델을 실행하는 구성이다. RTX Spark 노트북 한 대에서는 평균 18분이 걸렸고, RTX Spark 노트북, DGX Spark, RTX 5090으로 묶은 3대 클러스터에서는 평균 8분 48초가 걸렸다. 18분은 1,080초, 8분 48초는 528초이므로 걸린 시간은 약 절반이다. NVIDIA는 이것이 비공식 구성별 시연이며 일반 벤치마크도, 선형 확장의 약속도 아니라고 적었다.
지원 범위는 자료마다 조금 다르다. 9월 블로그의 베타는 Ollama와 LM Studio를 지원하고 GeForce RTX 20 시리즈 이후, RTX PRO(Turing 이후), DGX Spark, Apple M4 이후를 대상으로 적었다. 제품 페이지의 검증 구성은 모든 GeForce RTX(20 시리즈 이후), DGX Spark와 GB10, RTX Spark, M1 이후 Mac이며 RAM 4GB 이상, 모델을 뺀 디스크 500MB를 권장한다. README는 vLLM을 Linux와 NVIDIA GPU, 또는 Apple Silicon macOS에서 쓸 수 있다고 적는다.
제품 페이지의 1.0.0 안내에는 llama.cpp 지원과 엔진 실행 옵션 설정이 들어 있고, RTX Spark 지원 항목은 Windows on ARM 빌드가 RTX Spark N1X에서 llama.cpp와 CUDA로 검증됐다고 적는다. 로컬 엔드포인트가 이제 각 엔진의 CORS 정책을 따르므로 브라우저 기반 클라이언트는 Ollama라면 OLLAMA_ORIGINS를 엔진 실행 옵션에 넣어야 할 수 있다. Ollama와 LM Studio를 거친 Anthropic Messages API 라우팅도 들어가, Claude Code 같은 호환 클라이언트가 PAIR의 모델 인식 라우팅과 장애 전환을 쓸 수 있다고 한다.
자세히 읽기 · NVIDIA의 Personal-AI-Router GitHub 저장소 ↗ · NVIDIA PAIR 시작 문서 ↗ · NVIDIA PAIR 제품 페이지 ↗ · NVIDIA 기술 블로그의 PAIR 소개 ↗
Claude Code 데스크톱 앱, theme-examples 플러그인으로 움직이는 배경 테마 20개

11월 15일 기준 Anthropic의 공식 플러그인 저장소 claude-plugins-official에 theme-examples 플러그인이 올라 있다. README는 Claude Code 데스크톱 창 뒤에 깔리는 장면 20개를 소개하며, 장면마다 밝은 창용이나 어두운 창용으로 그려졌고 움직인다고 설명한다.
- 동작: /custom-theme으로 20개를 카드에서 고르거나 이름으로 적용한다. /fireworks는 짧은 불꽃놀이를 띄운다.
- 범위: 프로젝트 전체 또는 이 세션 하나에 적용할 수 있고, 시스템이 모션 감소를 요청하면 장면은 정지 상태로 머문다.
- 조건: 모드의 배경을 채팅 뒤에 그리는 Claude Desktop 버전이 필요하다.
무엇이 달라지나
프로젝트마다 다른 배경을 저장할 수 있고, 같은 프로젝트의 다른 열린 세션은 자체 선택이 없으면 다음 턴에 그 테마를 받는다. desktop-themes라는 이름의 이전 사본이 설치돼 있으면 두 플러그인이 같은 명령 이름을 요청하므로 먼저 꺼야 하고, 그때 고른 테마는 이어지지 않는다.
한계
설치 명령은 읽은 README에 적혀 있지 않고 공개일과 지원 앱 버전도 없다. 배경을 그리는 창이 아니면 명령은 답하지만 테마가 보이지 않을 수 있다고 README가 밝혔다. 장면이 채팅 글자, 사이드바, 세션 레일 뒤에서 어떻게 보이는지는 측정하지 않았다고 한다.
커뮤니티 반응
■색을 말로 설명하면 Claude가 바꿔 준다며 움직이는 배경을 소개하는 글이 올라왔다.
■데스크톱 앱에서 mod로 테마를 만드는 방법이 두 가지라며 색을 말로 설명하는 방법과 공식 예제를 설치하는 방법을 들었다.
■mod는 샌드박스 없이 사용자 권한으로 돌아가 파일 읽기와 쓰기, 네트워크 요청을 하므로 믿을 수 있는 곳의 mod만 설치하라는 공식 문서 내용을 전했다.
본문 펼치기 · 약 3분
Claude Code 데스크톱 커스텀 테마는 명령 몇 개로 프로젝트나 세션에 적용한다
README의 사용법에서 /custom-theme만 입력하면 모든 테마가 창 종류별로 나뉜 카드가 뜨고 미리보기 버튼이 있다. /custom-theme list는 20개 이름을 창 종류별로 보여 주고, /custom-theme 뒤에 이름을 붙이면 현재 프로젝트에 적용한다. 이름은 목록에 찍힌 형태로도, 제목으로도, 대소문자와 무관하게 입력할 수 있다.
이 세션에만 적용하려면 이름 뒤에 session을 붙이고, 해제는 /custom-theme off 또는 /custom-theme off session이다. 프로젝트에 적용하면 자체 선택이 없는 다른 열린 세션은 다음 턴에 그 테마를 받고, off도 같은 방식으로 전파된다. session으로 끄면 그 세션만 해제되고 프로젝트 테마는 남는다.
/fireworks는 테마 위에 짧은 불꽃놀이를 띄우고, Claude가 merged라고 말해도 하나가 터진다. 불꽃놀이는 한 번에 하나만 돌며, /fireworks auto off로 merged 반응을 끄고 /fireworks auto on으로 다시 켠다. auto를 꺼도 /fireworks 명령 자체는 계속 작동한다.
밝은 창용과 어두운 창용이 있고 모션 감소 설정을 따른다
README에 따르면 20개 중 8개는 밝은 창용과 어두운 창용이 짝으로 있고, 짝이 있는 테마는 서로의 이름을 알려 준다. 창이 테마의 종류를 따라가는지는 앱과 버전에 달려 있다. 창이 사용자의 설정을 유지한다면 그 창에 맞는 테마를 고르거나 Settings, General, Appearance에서 설정을 바꾸라고 안내한다.
시스템이 모션 감소를 요청하면 모든 장면이 정지한 그림으로 머물고 불꽃놀이의 터짐은 보이지 않는다. 테마가 없으면 불꽃놀이가 그 몇 초 동안 밤하늘을 창 위에 덮는다. GPU 가속 없이 그리는 앱에서도 장면의 움직임을 멈추지만, 앱 자체의 Motion 설정이 이를 멈추는지는 앱 버전에 따라 다르고 모드는 앱 설정을 읽지 않는다.
장면의 움직임이 시스템 설정 외의 이유로 멈추면 koi-mosaic, dither-dunes, dither-dunes-night 세 장면은 정지 그림이 가리는 세부를 일부 계속 보여 준다고 README는 적었다.
읽는 데이터와 저장 범위가 문서에 적혀 있고 알려진 한계도 많다
README에 따르면 이 플러그인은 Claude의 말에서 merged라는 한 단어만 보고 내용을 저장하지 않는다. 매 턴 시작에 선택한 테마를 확인하지만 입력한 글은 읽지 않고, 어디에도 데이터를 보내지 않는다. 테마 이름은 프로젝트 폴더 경로별로 저장되며 자체 선택이 있는 세션은 세션 ID별로 최근 200개까지 보관한다. 세션을 구분하려고 읽는 환경 변수는 데스크톱 앱의 세션 ID 하나뿐이다.
알려진 한계도 길다. 새 세션과 /clear 뒤에는 메시지를 보내기 전까지 테마가 보이지 않고, 다시 연 보관 세션에서도 처음에는 보이지 않는다. 다른 배경 모드가 함께 설치돼 있으면 불꽃놀이나 미리보기가 끝난 뒤 그 모드가 배경을 다시 정할 때까지 빈 창이 남는다. SSH나 WSL에서 도는 세션은 이 컴퓨터의 세션과 저장된 테마를 공유하지 않는다.
키보드만 쓰면 Escape로 /custom-theme 카드를 닫을 수 없고 닫기 버튼이나 테마 선택으로 닫아야 하며, 닫아도 포커스가 입력창으로 돌아가지 않는다. 라이선스는 Apache License 2.0이다.
자세히 읽기 · Anthropic의 theme-examples 플러그인 README ↗
음성 모델
Liquid AI, 오디오 토크나이저 LiquidCodec 공개…인코딩 약 361배 실시간

Liquid AI의 LiquidCodec은 음성을 이산 토큰으로 압축하고 다시 소리로 되돌리는 약 74M 매개변수의 스트리밍 오디오 코덱이다. 11월 15일 기준 Hugging Face 모델 카드에서 읽을 수 있으며 카드에는 공개일이 적혀 있지 않다. 회사는 이 코덱이 LFM3-Audio-2B와 LFM3-Omni-2B의 오디오 토크나이저라고 밝혔다.
- 속도: 카드에 따르면 Apple M4 Max의 CPU 단일 스레드, FP32에서 인코딩 약 361배, 디코딩 약 87배 실시간이다.
- 규격: 24 kHz 모노 음성, 12.5 Hz 프레임, 프레임당 토큰 12개, 약 1.65 kbps이며 107개 언어 264k시간으로 학습했다.
- 조건: 라이선스는 LFM Open License v1.0이다. 학습과 평가는 음성이 대상이고 음악과 환경음은 평가하지 않았다.
무엇이 달라지나
카드는 코드북 사이에 순차 의존이 없는 grouped finite scalar quantization을 써서 음성 모델이 한 프레임의 코드북 12개를 병렬로 예측할 수 있다고 설명한다. LFM3-Audio-2B 카드는 이 코덱과 자체 오디오 인코더 덕에 LFM2.5-Audio보다 음성 품질이 좋아졌다고 적는다.
한계
속도와 음질 수치는 모두 Liquid AI가 카드에 쓴 값이고 외부 측정은 읽은 자료에 없다. 한국어 FLEURS(KO)의 재구성 문자 오류율은 LiquidCodec BF16이 4.45%, NanoCodec이 3.41%로 NanoCodec이 낮다. 카드는 LiquidCodec이 ViSQOL과 mel 거리에서 여덟 개 재구성 시험 세트 모두 최고라고 밝혔다.
커뮤니티 반응
■스마트폰에서도 AI와 더 빠르고 자연스럽게 음성 대화를 나눌 수 있을 것 같다는 기대가 나왔다.
■음성을 AI가 이해할 수 있는 데이터로 바꾸고 다시 사람의 목소리로 만드는 기술이라는 설명이 붙었다.
■약 7,400만 개 매개변수에 Apple M4 Max에서 음성 변환은 실시간의 361배, 복원은 87배라는 수치가 소개됐다.
본문 펼치기 · 약 4분
LiquidCodec은 12개 코드북을 프레임마다 병렬로 예측하도록 설계됐다
모델 카드는 인코더와 디코더가 대칭인 완전 인과 구조의 LFM3 기반이라고 설명한다. 인코더가 디코더를 그대로 따라가고 인과적이라 토큰화도 디토큰화만큼 가볍고, 실시간 저지연 스트리밍에 맞는다는 것이 회사의 설명이다. 디코더는 점진적 업샘플링 대신 스펙트럼 계수를 직접 예측한다.
카드에 따르면 양자화는 특징을 그룹으로 나눠 독립적으로 양자화하는 방식이며 그룹마다 토큰 하나가 나온다. RVQ처럼 코드북이 연쇄로 이어지지 않아 MaskGIT 계열 방법으로 여러 오디오 토큰을 한꺼번에 예측할 수 있다. 프레임은 80 ms이고 프레임당 토큰 12개, 비트레이트는 약 1.65 kbps다.
디코더를 양자화하는 학습을 거쳐 Q4_0으로 돌려도 품질 손실이 작고 용량은 3.5배 작아진다고 카드가 밝혔다.
속도 비교는 Liquid AI가 쓴 FP32 단일 스레드 CPU 기준이다
카드의 속도 표는 MacBook Pro의 Apple M4 Max에서 FP32, 단일 스레드 CPU로 잰 실시간 계수(RTF, 낮을수록 빠름)다. LiquidCodec은 코드북 12개에서 인코딩 0.0028, 디코딩 0.0115다. 같은 표에서 X-Codec 2는 코드북 1개에 0.7359와 0.0379, NanoCodec은 13개에 0.2145와 0.2543, Mimi는 12개(잘라 씀)에 0.0361과 0.0329다.
같은 표에서 인코딩은 LiquidCodec이 가장 작은 값을 보였고, 디코딩은 LiquidCodec이 0.0115로 가장 작았다. 재구성 외에 같은 코덱 토큰으로 학습한 TTS 모델이 여덟 시험 세트 모두에서 UTMOSv2 최고를 냈고 WER과 CER은 여덟 개 중 네 개에서 최고라고 카드가 적었다.
카드의 한국어 FLEURS(KO) 항목에서 LiquidCodec BF16의 TTS WER/CER은 8.36%, Q4_0은 6.71%이며, X-Codec 2는 6.22%, NanoCodec은 5.96%다. 여러 세트와 언어를 평균한 하나의 점수는 카드에 없다.
쓰려면 Transformers로 불러오거나 LFM3-Audio-2B 배포본의 디코더를 쓰게 된다
카드의 예시는 AutoModel.from_pretrained(“LiquidAI/Liquid-Codec”, trust_remote_code=True, dtype=torch.bfloat16, device_map=”cuda”)로 불러오고, encode(waveform).audio_codes로 토큰을, decode(codes).audio_values로 음성을 얻는 순서다. 24 kHz 입력 3초는 (1, 12, 38) 모양의 코드가 된다. LiquidCodecModel과 LiquidCodecStreamingCache를 쓰면 프레임마다 디코딩하는 스트리밍 합성도 된다.
이 저장소의 가중치는 BF16이다. 양자화된 디코더(Q4_0, Q4_K_M, Q8_0)는 따로 올라 있지 않고 llama.cpp용 LFM3-Audio-2B-GGUF와 LFM3-Omni-2B-GGUF 안에 들어 있다. 이 모델은 어떤 Inference Provider에도 배포돼 있지 않다고 페이지가 표시한다.
코덱을 쓰는 LFM3-Audio-2B 카드는 총 2B 매개변수, 컨텍스트 32K 토큰이며 한국어를 포함한 음성 언어 목록을 18개 언어라고 적는다. 보이스 챗은 현재 영어만 지원하고, 첫 토큰까지 걸리는 시간이 50 ms까지 낮아질 수 있다고 한다. 에이전트 코딩이나 복잡한 다단계 추론에는 크기가 작아 권하지 않는다고 적었다.
자세히 읽기 · Liquid AI의 LiquidCodec 모델 카드 ↗ · Liquid AI의 LFM3-Audio-2B 모델 카드 ↗
higurashi, 한국어 포함 9개 언어 음성 대화 모델 Haru-4B 공개…듣는 동시에 말한다

11월 15일 기준 GitHub 저장소 higurashi-ai/Haru에서 풀듀플렉스 음성 대화 모델 Haru-4B의 추론 코드를 볼 수 있다. README는 이 모델이 전화 통화처럼 듣는 동시에 말한다고 소개하며, 공개일은 적혀 있지 않다. 사전학습 기반 모델이고 코드와 가중치는 Apache License 2.0이다.
- 동작: 7.5 Hz, 133 ms마다 사용자 오디오 한 프레임을 받고 모델의 오디오와 텍스트 한 프레임을 낸다.
- 언어: 영어, 스페인어, 포르투갈어, 독일어, 프랑스어, 중국어, 일본어, 러시아어, 한국어 9개.
- 조건: NVIDIA GPU는 메모리 약 12GB가 필요하고, Apple silicon Mac에서는 macOS 앱을 직접 빌드한다.
무엇이 달라지나
README는 사용자 오디오, 모델 오디오, 모델 텍스트를 언어 모델의 한 위치에 더해 넣어 듣기와 말하기가 서로 기다리지 않는다고 설명한다. 오디오는 이산 토큰이 아니라 프레임당 64차원 잠재 벡터이고, 작은 MLP 헤드가 MeanFlow 샘플링으로 한 단계에 만든다. 캐릭터는 텍스트 카드로, 목소리는 짧은 참조 클립으로 정한다.
한계
Haru-4B는 연구용으로 공개된 사전학습 기반 모델이라 사실의 신뢰도가 낮고 어시스턴트처럼 지시를 따르지 않는다고 README가 밝혔다. 참조 클립의 목소리를 흉내 낼 수 있어 권리가 있는 목소리만 쓰라고 한다. 학습 데이터 규모와 한국어 품질 수치는 읽은 README에 없고, Mac은 Apple silicon용 macOS 앱만 적혀 있다.
커뮤니티 반응
■말을 끊어도 자연스럽게 반응하고 웃거나 맞장구까지 쳐서 사람과 대화하는 느낌을 준다는 소개가 나왔다.
■말을 끊어도 받아 주는 방식이라면 전화 상담 쪽에서 가장 먼저 쓰겠다는 댓글이 달렸다.
■이런 음성 모델이 있으면 보이스피싱범이 집 주변에서도 쓸 수 있겠다며 조심하자는 글도 인용됐다.
본문 펼치기 · 약 4분
Haru 4B 한국어 음성 대화 모델은 GPU 약 12GB에서 README의 두 줄로 웹 데모를 띄운다
README의 빠른 시작은 NVIDIA GPU(메모리 약 12GB)에서 pip install -e ./haru를 실행한 뒤 python -m haru.server --hf-repo higurashi-ai/Haru-4B로 서버를 띄우는 순서다. 브라우저에서 http://localhost:8998을 열어 캐릭터를 고르고 목소리를 주고 말하면 된다. 브라우저는 localhost나 HTTPS에서만 페이지에 마이크 접근을 허용한다.
지연을 줄이려면 유선 헤드폰과 유선 마이크를 권하며, 블루투스 장치는 100 ms 이상을 더한다고 README는 적었다. 다른 사람에게 보여 주려면 pip install -e “./haru[share]” 후 --share를 붙이는데, 공개 HTTPS 링크가 만들어지고 트래픽은 Gradio의 공유 서버를 거친다. 링크를 가진 사람은 누구나 데모를 쓸 수 있다.
README대로 Apple silicon Mac에서는 haru_mlx 폴더에서 python3 -m venv .venv와 pip install -e .를 한 뒤 swift 폴더의 ./build_app.sh를 실행하고 build/Haru.app을 연다.
목소리는 직접 준비해야 하고 캐릭터는 카드로 정한다
README에 따르면 Haru는 목소리 클립을 함께 배포하지 않는다. 데모에서 목소리로 쓸 클립을 올리거나 녹음하는데, 화자는 한 명이고 길이는 3초에서 3분, 깨끗한 음성이어야 한다. 기본 목소리를 두려면 haru/haru/assets/voices 폴더에 en.flac, ja.flac처럼 언어별 파일을 저장하고 서버를 다시 시작한다. 파일이 없으면 데모에 그 옵션이 나오지 않는다.
캐릭터는 고정된 서식의 카드로 정한다. render_card에 persona, name, gender, other_name, relationship, situation 항목을 넣고 card_templates()의 언어별 템플릿을 쓴다. README 예시는 덴버의 29세 간호사 페르소나와 오랜만에 통화하는 상황이다.
README의 Python 예시는 HaruModel.from_pretrained(“higurashi-ai/Haru-4B”)로 모델을, DuplexSession으로 세션을 만든다. start()가 모델의 첫 133 ms 프레임을 돌려주고, 이후 사용자 오디오 3200샘플(24 kHz)을 step()에 넣으면 같은 크기의 출력이 나온다. 모델은 사용자보다 한 프레임 앞서 있다. 파일로 처리하려면 haru-inference user.wav reply.wav --reference voice.wav --system-prompt “$(cat card.txt)” --stereo를 쓴다.
구현은 세 가지이고 최적화 커널은 선택 사항이다
저장소에는 PyTorch 구현 haru, Apple silicon용 MLX 구현 haru_mlx(네이티브 macOS 앱 포함), vLLM-Omni 플러그인 haru_vllm이 있고 모두 같은 체크포인트 higurashi-ai/Haru-4B를 읽는다. 동시 대화가 많은 GPU 서버에서는 python -m haru.server --backend vllm --vllm-url http://localhost:8000으로 데모의 엔진을 vLLM으로 바꿀 수 있다.
README에 따르면 오디오 코덱은 24 kHz 오디오를 3200샘플당 잠재 벡터 하나로 바꾸는 VibeVoice의 인과 음향 토크나이저이고, 언어 모델은 Qwen3.5에서 출발한다. NVIDIA GPU의 Triton 커널은 프레임당 인코딩이나 디코딩을 약 6 ms에서 약 0.7 ms로 줄인다고 하며, DuplexConfig(codec_backend=”triton”) 또는 --codec-backend triton으로 켠다. haru_vllm은 같은 Triton 코덱을 자동으로 쓴다.
자세히 읽기 · higurashi의 Haru GitHub 저장소 ↗
AI 인프라
Epoch AI, 화웨이 Horinger 데이터센터 컴퓨팅을 Colossus 2의 7%로 추정

Epoch AI가 11월 6일 보고서에서 내몽골 Horinger에 있는 화웨이의 Ascend 기반 AI 데이터센터가 세계 최대 AI 데이터센터인 테네시의 SpaceX Colossus 2의 7% 수준의 추정 컴퓨팅 용량을 가졌다고 밝혔다. 저자는 Ben Cottier이고, 추정은 위성 영상과 공개 자료에 기대고 있다.
- 칩: 가동 중인 Ascend 910C 약 105,000개와 910B 약 8,000개, H100 환산으로 약 81,000개(90% 신뢰구간 36,000개~141,000개)다.
- 비교: Colossus 2는 Horinger의 약 14배 컴퓨팅 용량을 가졌다.
- 전력: 가동 중인 AI 건물 3개와 곧 가동할 1개를 합쳐 IT 전력 용량 286MW로 추정했다.
무엇이 달라지나
Epoch는 새 건물 하나가 이미 남쪽 구역에서 올라가고 있고 2028년 2월에 가동될 것으로 보며, 현재 건물과 같은 AI 비중이면 2028년 초 컴퓨팅이 70% 넘게 늘 수 있다고 추정한다. 서쪽 구역의 건물 하나는 9월 기준 완공됐으나 가동 신호가 없고 12월에 가동될 것으로 본다.
한계
수치는 위성 영상, 냉각 설비 모델, 칩 판매 추정에서 나온 Epoch의 추정치이며 화웨이가 공개한 값이 아니다. 화웨이는 Ascend 910C의 성능 사양을 확정해 공개하지 않았다. 신뢰구간이 36,000개에서 141,000개 H100 환산으로 넓다. Colossus 2의 용량을 어떻게 산정했는지는 읽은 범위에 없다.
커뮤니티 반응
■화웨이의 대표 AI 데이터센터가 Colossus 2 컴퓨팅 용량의 약 7%에 그친다는 숫자를 소개하는 글이 올라왔다.
■중국은 전력이 있어도 칩이 병목이고 미국 데이터센터는 와트당 AI 컴퓨팅을 2.5배 더 얻는다는 해석이 붙었다.
■미국의 가장 큰 병목은 가까운 미래에 에너지일 것이라는 전망도 이어졌다.
본문 펼치기 · 약 3분
추정은 냉각 설비를 세어 전력을 계산하고 칩 수를 얹는 순서로 이뤄졌다
Epoch는 Horinger 캠퍼스의 서쪽, 남쪽, 북쪽 세 구역을 상업용 고해상도 위성 이미지로 살폈다. 북쪽 구역은 같은 크기의 건물인데 냉각탑이 훨씬 적어 AI 칩을 많이 두기 어렵다고 보고 제외했다. 냉각탑과 칠러의 종류, 크기, 수에서 열 배출 용량을 거슬러 계산해 남쪽 2개, 서쪽 2개 건물의 IT 전력 용량을 286MW로 추정했다. 변전소 정보에서는 304MW, 비상 발전기 용량에서는 230MW가 나왔다.
보고서에 따르면 가동 여부는 건물 외관이 완성돼 보이는 점, 증발식 냉각탑 위의 수증기, 냉각탑 팬의 색 잔상 같은 단서로 판단했다. 이 구역 전체의 랙 점유율이 9월 기준 약 76%라는 보도가 있어 Horinger에도 같은 값을 가정했다. 화웨이 칩 판매량 추이에 판매부터 배치까지 4개월이 걸린다는 가정을 두고, 랙 점유율을 반영한 전력 용량을 건물별로 배분했으며, 아직 가동 전인 건물 하나를 뺀 결과가 910C 약 105,000개와 910B 약 8,000개다.
보고서는 2026년 3월 말까지 910C 907,000개와 910B 600,000개가 팔린 것으로 추정하며, 이 기준으로 Horinger가 8월까지 910C 재고의 11%를 썼다고 본다. 엔비디아 칩이 쓰일 가능성은 낮다고 봤다. 공개 클라우드라서 눈에 띄기 쉽다는 이유다.
칩 효율 차이 때문에 같은 전력 용량이 낼 수 있는 컴퓨팅은 40%라고 Epoch는 본다
보고서가 든 Epoch의 증거로는 Ascend 910C의 8비트 정수 이론 최고 성능이 초당 1.504 × 10^15회(OP/s)다. 엔비디아 H100의 1.979 × 10^15 OP/s와 견주면 H100 환산 약 0.76개다. 엔비디아 B200과 B300은 5 × 10^15 OP/s로 약 2.5개 환산이고 에너지 효율도 약 2.5배 높다. 그래서 같은 전력 용량이 미국 선도 시설이 내는 컴퓨팅의 40%만 지탱한다는 계산이다.
보고서에 따르면 화웨이는 2025년 내내 중국 곳곳에 910C 기반 CloudMatrix384 슈퍼노드를 놓았다. 슈퍼노드는 서버 랙 16개에 칩 384개가 들어간다. Epoch는 화웨이 자체 4곳과 China Telecom, China Mobile, China Unicom, 선전 룽강 정부 소유 4곳을 확인했고, 화웨이 전체에서 12개 건물이 910C를 돌리는 것으로 추정한다.
Horinger는 중국에서 AI 컴퓨팅 기준 가장 큰 축에 든다. Epoch의 검토 범위에서 VNET Bayin Ulanqab과 화웨이 Wuhu만 Horinger와 비슷하거나 조금 넘을 것으로 봤다.
7%라는 격차가 곧바로 모델 훈련 불가를 뜻하지는 않는다고 Epoch도 단서를 단다
데이터센터 캠퍼스의 컴퓨팅은 여러 클러스터로 나뉘는 경우가 많아 전체를 한 모델 훈련에 합칠 수 있다는 보장은 없다. 그래도 Epoch는 Horinger 추정 컴퓨팅의 10%인 8,100 H100 환산이면 DeepSeek-V4-Pro 규모 모델을 한 달에 훈련할 수 있다고 계산했다. 아주 낙관적으로 전부를 한 번의 훈련에 합친다면 GPT-6 Astra 규모 모델에 1년이 걸린다는 것이 보고서의 추정이다.
캠퍼스 확장 계획도 길다. 보고서의 렌더링에는 데이터센터 건물 27개 이상이 그려져 있고 한 출처는 최대 50개를 보도했다. 이미 지은 6개 외에 최소 3개가 더 계획돼 있다. 같은 계열의 Wuhu 캠퍼스 렌더링에는 건물 45개가 있다.
자세히 읽기 · Epoch AI의 Horinger 데이터센터 보고서 ↗