LTX 2.3 영상 생성 AI, 맥북 M3 Max 64GB에서 돌릴 수 있을까? | 실제 테스트 및 트러블슈팅 기록

최근 LTX 2.3이 공개되면서 로컬 환경에서 고품질 AI 영상을 생성할 수 있다는 기대가 커지고 있습니다. 저도 맥북 프로 M3 Max 64GB RAM 환경에서 ComfyUI를 통해 LTX 2.3을 직접 돌려보았는데요, 결론부터 말씀드리면 — 64GB 맥에서는 안정적인 실행이 사실상 불가능했습니다.

이 글에서는 실제로 시도한 과정, 만난 오류, 적용한 해결책, 그리고 최종 결론을 공유합니다. 같은 고민을 하고 계신 분들께 도움이 되길 바랍니다.

---

테스트 환경

항목	사양
기기	MacBook Pro 16인치 (2023)
칩셋	Apple M3 Max
통합 메모리(RAM)	64GB
GPU	M3 Max 내장 GPU (MPS 백엔드)
AI 프레임워크	ComfyUI Desktop (최신 버전)
모델	LTX 2.3 (22B 파라미터, FP8)
텍스트 인코더	Gemma 3 12B (FP4 Mixed)
업스케일러	LTX 2.3 Spatial Upscaler x2

 

 

ComfyUI에서 LTX 2.3 워크플로우: Load Image → Video Generation (LTX-2.3) → Save Video

---

LTX 2.3이 요구하는 메모리는 얼마나 될까?

LTX 2.3 파이프라인을 돌리려면 아래 모델들이 모두 메모리에 올라가야 합니다.

모델	메모리 사용량
LTX 2.3 UNet (22B, FP8)	~23.8 GB
Gemma 3 12B 텍스트 인코더	~11.2 GB
LoRA 어댑터 (2개)	~0.8 GB
Spatial Upscaler x2	~1.4 GB
합계	~37.2 GB+

모델 가중치만 37GB가 넘는 데다가, 실제 영상 생성(디퓨전 샘플링) 과정에서는 중간 텐서, 그래디언트 버퍼 등 추가로 20~30GB의 런타임 메모리가 필요합니다. macOS 자체와 다른 앱들이 사용하는 메모리까지 합하면 64GB로는 턱없이 부족합니다.

LTX 2.3 전체 파이프라인의 메모리 요구량 vs 64GB 제한

 

---

Apple Silicon의 구조적 한계: 통합 메모리

여기서 중요한 점이 있습니다. 일반 PC에서는 CPU 메모리(RAM)와 GPU 메모리(VRAM)가 물리적으로 분리되어 있어서, 모델을 GPU에서 CPU로 오프로딩하면 VRAM을 절약할 수 있습니다.

하지만 Apple Silicon은 통합 메모리 아키텍처(Unified Memory Architecture)를 사용합니다. CPU와 GPU가 같은 물리 메모리 풀을 공유하기 때문에, 모델을 CPU로 내려도 전체 메모리 사용량은 줄어들지 않습니다. 이것이 맥에서 대형 AI 모델을 돌릴 때 가장 큰 병목입니다.

ComfyUI는 내부적으로 VRAMState.SHARED 모드를 자동 감지하여 Apple Silicon에 맞게 동작하지만, 물리적으로 메모리가 부족한 상황은 소프트웨어로 해결할 수 없습니다.

 

---

실제 테스트: 3번의 시도와 결과

시도 1: 기본 설정으로 실행

설정: ComfyUI 기본 설정 (512x320, 25프레임)

결과: 텍스트 인코딩(Gemma 3)까지는 진행되지만, SamplerCustomAdvanced 노드에서 약 63% 지점에서 서버 크래시가 발생합니다. 화면에 빨간색 "Reconnecting" 메시지가 뜨며 작업이 중단됩니다.

SamplerCustomAdvanced 63% 지점에서 서버 크래시 - "Reconnecting" 에러 발생

 

시도 2: --lowvram 플래그 활성화

ComfyUI Desktop 앱은 서버 실행 인자(--lowvram, --novram 등)를 설정하는 GUI가 없습니다. 설정(Settings)에서 "vram"이나 "memory"를 검색해도 관련 옵션이 나오지 않습니다.

이를 해결하기 위해 ComfyUI 소스 코드를 직접 수정했습니다.

# 파일 경로:
# /Applications/ComfyUI.app/Contents/Resources/ComfyUI/comfy/cli_args.py

# 수정 전 (143번째 줄):
vram_group.add_argument("--lowvram", action="store_true",
    help="Split the unet in parts to use less vram.")

# 수정 후:
vram_group.add_argument("--lowvram", action="store_true",
    default=True,
    help="Split the unet in parts to use less vram.")

이 수정으로 ComfyUI가 항상 --lowvram 모드로 실행되어, 파이프라인 단계별로 모델을 적극적으로 오프로딩하게 됩니다.

결과: 텍스트 인코딩 단계(Gemma 3 12B)가 정상 완료된 후 텍스트 인코더가 메모리에서 해제되는 것을 확인했습니다. 하지만 이후 22B 디퓨전 모델 로딩 + 샘플링 단계에서 다시 동일한 크래시가 발생했습니다.

 

시도 3: 최소 해상도 + lowvram

설정: 512x320 해상도, 25프레임, lowvram 활성화

결과: 동일하게 SamplerCustomAdvanced에서 크래시. 해상도를 줄여도 22B 모델 자체의 메모리 요구량이 너무 큽니다.

3번의 시도 모두 동일한 63% 지점에서 크래시 발생

 

 

Activity Monitor에서 확인한 메모리 상태를 보면, Swap이 약 20GB까지 사용되고 있어 물리 메모리가 완전히 포화 상태임을 알 수 있습니다.

 

---

문제 해결 과정에서 발견한 것들

1. ComfyUI Desktop은 메모리 관련 설정 GUI가 없다

ComfyUI Desktop 앱의 Settings에서 "vram", "memory" 등을 검색하면 관련 설정이 전혀 나오지 않습니다. config.json 파일(~/Library/Application Support/ComfyUI/config.json)에도 서버 인자 관련 필드가 없습니다. 소스 코드를 직접 수정하는 방법만 가능합니다.

2. Apple Silicon에서 VRAMState.SHARED 자동 감지

ComfyUI의 model_management.py에서 MPS(Metal Performance Shaders) 백엔드를 감지하면 자동으로 VRAMState.SHARED 모드가 활성화됩니다. 이 모드에서는 CPU-GPU 오프로딩 전략이 달라지지만, 통합 메모리 특성상 실질적인 메모리 절감 효과는 없습니다.

3. --lowvram은 부분적 효과만 있다

--lowvram 플래그는 UNet을 여러 부분으로 나누어 VRAM 사용을 줄이는 옵션입니다. 실제로 텍스트 인코더 → 디퓨전 모델 전환 시 메모리 해제가 제대로 작동하는 것을 확인했습니다. 하지만 22B 디퓨전 모델 단독으로도 23.8GB + 런타임 버퍼가 필요하기 때문에 근본적 해결이 되지 않습니다.

 

---

결론: 64GB 맥에서 LTX 2.3 실행은 현실적으로 불가능

여러 차례 시도와 최적화를 거친 결론입니다.

판정	설명
불가	LTX 2.3 (22B) — 모델 가중치만 37GB+, 런타임 포함 50GB+ 필요
가능성 있음	LTX 1.0 등 소형 모델 (7B급) — 메모리 요구량이 훨씬 적음
확실	클라우드 GPU (RTX 4090 24GB+, A100 등) — 전용 VRAM으로 안정 실행

 

---

대안은 뭐가 있을까?

1. 클라우드 GPU 서비스 이용 (가장 현실적)

RunPod, Vast.ai, Lambda Cloud 등에서 RTX 4090이나 A100 GPU를 시간 단위로 빌릴 수 있습니다. 전용 VRAM이 분리되어 있어 LTX 2.3을 안정적으로 구동할 수 있으며, 비용은 시간당 $0.5~$2 수준입니다.

2. 더 작은 모델 사용

LTX 1.0이나 Wan2.1 등 7B급 이하 모델은 64GB 맥에서도 동작 가능합니다. 품질은 다소 낮지만 로컬에서 안정적으로 돌릴 수 있습니다.

3. 128GB 이상 Apple Silicon Mac

Mac Studio M2 Ultra(192GB)나 Mac Pro 같은 고용량 메모리 맥이라면 LTX 2.3도 돌릴 수 있을 가능성이 있습니다. 다만 가격이 상당합니다.

4. 추가 최적화 기다리기

향후 LTX 팀에서 더 효율적인 양자화(4bit 등)나 메모리 최적화 업데이트를 내놓을 수 있습니다. ComfyUI의 --novram 옵션이나 청크 기반 추론 등 추가 실험도 가능합니다.

 

---

정리하며

AI 영상 생성 분야가 빠르게 발전하면서 모델 크기도 급격히 커지고 있습니다. LTX 2.3의 22B 파라미터는 현재 가장 높은 스펙의 맥북으로도 감당하기 어려운 수준이며, 이는 Apple Silicon 통합 메모리 아키텍처의 구조적 한계에서 기인합니다.

로컬에서 AI 영상을 만들고 싶다면 당분간은 소형 모델 + 맥 또는 LTX 2.3 + 클라우드 GPU 조합이 가장 현실적입니다. 이 글이 같은 고민을 하시는 분들께 시행착오를 줄여드리는 데 도움이 되었으면 합니다.

 

---

태그: #LTX2.3 #ComfyUI #맥북AI #M3Max #AI영상생성 #로컬AI #AppleSilicon #영상생성AI #트러블슈팅 #메모리부족