LLaDA2.0-Uni: 디퓨전 LLM 한 덩어리에 텍스트와 이미지를 묶다 — Chandra Lizard Editorial

디퓨전 LLM · 멀티모달 통합

이미지와 텍스트를
한 백본에서 풀다

LLaDA2.0-Uni가 던지는 통합 멀티모달 디퓨전 LLM의 실전 청구서

SigLIP-VQ로 시각을 이산 토큰화하고, MoE 기반 dLLM이 텍스트·이미지를 블록 마스크 디퓨전으로 동시에 풀고, 디퓨전 디코더가 1024×1024 이미지를 복원한다. 통합은 약속이 아니라 코드가 됐다.

8-step

디스틸 터보 디코더 (50-step ODE 대비 ~10×)

FP8

2026-05-06 양자 체크포인트 공개

1024²

기본 텍스트→이미지 해상도

▼ SCROLL

통합 디퓨전 LLM이 실제로 어떤 부품으로 굴러가는가

아키텍처

세 부품을 하나의 디퓨전 파이프로

SigLIP-VQ가 연속 비주얼을 의미 단위 이산 토큰으로 변환
MoE 기반 dLLM 백본이 텍스트·비전을 한 시퀀스에서 처리
디퓨전 디코더가 비주얼 토큰을 고해상도 이미지로 복원

마스크 디퓨전

AR이 아니라 블록 레벨 마스크 예측

블록 단위 마스크 토큰 예측으로 텍스트·비전 공동 학습
인터리브 생성과 추론을 자연스럽게 같은 루프에서 처리
thinking 모드는 thinking_steps=32, gen_length=4096으로 사고 후 그림

추론 가속

백본은 SPRINT, 디코더는 디스틸

SPRINT — dLLM 백본 전용 가속, prefix-aware 최적화
Decoder-turbo — 50-step ODE 기본을 8-step 디스틸로 압축
steps=8, cfg_scale=2.0의 1024² 생성 레시피가 실제 동작

기능 범위

이해·생성·편집·추론을 한 모델로

전문 VLM 수준의 이미지 이해 인퍼런스 코드 포함
텍스트→이미지 + thinking, 이미지 편집 모두 동일 백본
interleaved 생성으로 멀티모달 추론 대화가 자연스러움

운영 비용

운영자가 실제로 부담해야 할 것

conda python 3.10, PyTorch CUDA 12.4 핀 고정
flash-attn --no-build-isolation 빌드 부담
AutoModelForCausalLM에 trust_remote_code=True 필요

한계

통합 모델 ≠ 모든 전문 모델 대체

Diffusers·ComfyUI·SGLang 통합은 README 상 TODO
RL 최적화는 아직 미공개, 후속 릴리스에서 예고
SDXL/Flux/전문 VLM의 일부 강점은 여전히 별도 트랙

LLaDA2.0-Uni를 검토할 때 봐야 할 3가지 축

구분	LLaDA2.0-Uni	운영자가 봐야 할 점
백본	MoE dLLM, 블록 레벨 마스크 디퓨전	AR LLM과 디코딩 패턴 자체가 다름 → 서빙 스택 재검토
이미지 디코드	50-step ODE 기본, 8-step 디스틸 터보 옵션	품질·속도 트레이드오프를 워크로드별로 측정 필요
배포	FP8 체크포인트 + trust_remote_code	원격 코드 신뢰 정책, GPU 메모리, CUDA 12.4 호환성 점검

공식 코드에 들어 있는 6가지 실전 모드

🎨

T2I + thinking

steps=8, cfg_scale=2.0, 1024×1024

🔍

이미지 이해

VLM 인퍼런스 코드 포함

✏️

이미지 편집

동일 백본 기반 편집 파이프라인

🔁

인터리브 추론

텍스트·이미지 교대 생성

⚡

Decoder-turbo

8-step 디스틸 ~10× 가속

🧮

FP8 추론

FP8 체크포인트 + SPRINT

통합 디퓨전 LLM은
약속이 아니라 운영 비용이다

LLaDA2.0-Uni는 SigLIP-VQ + MoE dLLM + 디퓨전 디코더라는 세 부품을, FP8과 8-step 터보 디코더까지 얹어 코드로 내놓았다. 다만 trust_remote_code와 CUDA 12.4·flash-attn 부담, 그리고 Diffusers·ComfyUI·SGLang TODO를 감수할 수 있는 팀에게만 실전 옵션이다.

arXiv / GitHub에서 원문 보기

이미지와 텍스트를한 백본에서 풀다

통합 디퓨전 LLM이 실제로 어떤 부품으로 굴러가는가

LLaDA2.0-Uni를 검토할 때 봐야 할 3가지 축

공식 코드에 들어 있는 6가지 실전 모드

통합 디퓨전 LLM은약속이 아니라 운영 비용이다

이미지와 텍스트를
한 백본에서 풀다

통합 디퓨전 LLM은
약속이 아니라 운영 비용이다

LLaDA2.0-Uni: 디퓨전 LLM 한 덩어리에 텍스트와 이미지를 묶다

Reference Links

Comments (0)