Cuánta VRAM necesitas para correr IA en local
A 4 bits, cada mil millones de parámetros ocupan unos 0,56 GB de VRAM. A eso se suman el contexto y cerca de 1 GB para el programa. Con 8 mil tokens de contexto, un modelo de 8B necesita 6,5 GB; uno de 14B, 10,6 GB; uno de 32B, 21,5 GB, y uno de 70B, 43,3 GB.
Actualizada el . Es un cálculo con los datos publicados de cada modelo, no una medición de un equipo.
VRAM = pesos + contexto + programa
- Pesos
- parámetros × bits por peso ÷ 8
- Contexto
- 2 × capas × cabezas KV × dimensión × 2 bytes, por token
- Programa
- cerca de 1 GB
VRAM según el tamaño del modelo
Un modelo por tamaño, con su arquitectura publicada. Otros modelos del mismo tamaño dan cifras parecidas: entre ellos cambia sobre todo el contexto, que depende de sus capas y de sus cabezas de atención.
| Modelo | 4 bits (Q4_K_M) | 8 bits (Q8_0) | ||
|---|---|---|---|---|
| 8 mil tokens | 32 mil tokens | 8 mil tokens | 32 mil tokens | |
| Llama 3.1 8B | 6,5 | 9,5 | 9,9 | 12,9 |
| Qwen3 14B | 10,6 | 14,3 | 16,9 | 20,6 |
| Qwen3 32B | 21,5 | 27,5 | 35,4 | 41,4 |
| Llama 3.3 70B | 43,3 | 50,8 | 73,3 | 80,8 |
En GB como se rotulan las tarjetas (1 GB = 1.024 MB), con el contexto en 16 bits. Qwen3 admite hasta 32 mil tokens sin extensiones; Llama, hasta 128 mil. Si la tarjeta también maneja la pantalla, el escritorio usa de 0,5 a 1 GB más.
Qué cabe en cada tarjeta
El modelo más grande que entra en cada tamaño de VRAM, a 4 y a 8 bits, y el contexto que le queda. Con la tarjeta dedicada al modelo.
- 8 GBRTX 5060, RTX 5060 Ti de 8 GB
- Modelos de 7 a 8B a 4 bits, con hasta 20 mil tokens de contexto.
- 12 GBRTX 5070
- Modelos de 12 a 14B a 4 bits, con hasta 17 mil tokens de contexto, o de 7 a 8B a 8 bits, con hasta 25 mil tokens de contexto.
- 16 GBRTX 5060 Ti de 16 GB, RTX 5070 Ti, RTX 5080, RX 9070 XT
- Modelos de 12 a 14B a 4 bits, con su contexto completo de 32 mil tokens, o de 7 a 8B a 8 bits, con hasta 57 mil tokens de contexto.Desde 16 GB cabe también gpt-oss-20b: sus pesos ocupan 12,8 GB.
- 24 GBRTX 4090, RTX 3090, RX 7900 XTX
- Modelos de 27 a 32B a 4 bits, con hasta 18 mil tokens de contexto, o de 12 a 14B a 8 bits, con su contexto completo de 32 mil tokens.
- 32 GBRTX 5090, Radeon AI PRO R9700
- Modelos de 27 a 32B a 4 bits, con su contexto completo de 32 mil tokens, o de 12 a 14B a 8 bits, con su contexto completo de 32 mil tokens.
- 48 GBRTX PRO 5000, RTX 6000 Ada
- Modelos de 70B a 4 bits, con hasta 23 mil tokens de contexto, o de 27 a 32B a 8 bits, con su contexto completo de 32 mil tokens.
- 96 GBRTX PRO 6000
- Modelos de 70B a 8 bits, con hasta 82 mil tokens de contexto, o a 4 bits, con su contexto completo de 128 mil tokens.Y gpt-oss-120b, que OpenAI indica para tarjetas de 80 GB: sus pesos ocupan 60,8 GB.
Cómo se calcula
La VRAM que usa un modelo es la suma de tres partes. El ejemplo es Llama 3.3 70B a 4 bits con 8.192 tokens de contexto, lo que los programas llaman 8K.
Pesos
Cada parámetro ocupa los bits de su cuantización. Q4_K_M usa 4,85 bits por peso en promedio, porque guarda algunas partes del modelo a 6 bits.
70.553.706.496 parámetros × 4,85 bits ÷ 8 = 39,8 GB
Contexto
Por cada token, el modelo guarda una clave y un valor en cada capa y en cada cabeza de atención de claves y valores, con 2 bytes por número. Es la caché KV: crece con la conversación y con los documentos que le pasas.
2 × 80 capas × 8 cabezas × 128 × 2 bytes = 320 KB por token
320 KB × 8.192 tokens = 2,5 GB
Programa
Los búferes de cálculo y el contexto de CUDA. Cambia según el programa y la tarjeta.
cerca de 1 GB
39,8 + 2,5 + 1 = 43,3 GB
Bits por peso de cada cuantización
| Cuantización | Bits por peso | GB por mil millones de parámetros |
|---|---|---|
| Q4_K_M (4 bits) | 4,85 | 0,56 |
| Q5_K_M (5 bits) | 5,7 | 0,66 |
| Q6_K (6 bits) | 6,56 | 0,76 |
| Q8_0 (8 bits) | 8,5 | 0,99 |
| BF16 (sin cuantizar) | 16 | 1,86 |
Bits por peso: el tamaño en bits de los archivos GGUF publicados en Hugging Face de Llama 3.1 8B, Qwen3 8B, 14B y 32B y Llama 3.3 70B, dividido por sus parámetros. Capas, cabezas y parámetros: el config.json y los archivos safetensors de cada modelo.
Lo que cambia la cuenta
Mezcla de expertos
gpt-oss, Qwen3-30B-A3B y DeepSeek usan solo una parte de sus parámetros en cada token, pero todos tienen que estar en memoria. Para la VRAM cuentan los 117 mil millones de gpt-oss-120b, no los 5,1 que usa en cada token: los activos deciden la velocidad.
Ventana deslizante
Gemma 3 y gpt-oss guardan el contexto completo solo en parte de sus capas; en las demás, solo los últimos tokens (1.024 en Gemma 3 y 128 en gpt-oss). Su contexto ocupa bastante menos que lo que da la fórmula.
Contexto a 8 bits
llama.cpp puede guardar el contexto a 8 bits, y con él Ollama y LM Studio, que lo usan por dentro. Así ocupa cerca de la mitad, con una pérdida de calidad muy baja. En Ollama se activa con
OLLAMA_FLASH_ATTENTION=1yOLLAMA_KV_CACHE_TYPE=q8_0.Varias tarjetas
llama.cpp y vLLM reparten el modelo entre tarjetas y la VRAM se suma para cargarlo, con el margen del programa en cada una. Dos tarjetas de 32 GB cargan un modelo de 70B a 4 bits con 72 mil tokens de contexto.
Repartir con la RAM
Si el modelo no cabe, llama.cpp deja capas en la RAM del computador. Funciona, pero la velocidad cae varias veces: la RAM de un PC de escritorio entrega los datos de 5 a 20 veces más lento que la VRAM de una tarjeta actual. Sirve para probar un modelo, no para usarlo todos los días.
vLLM y otros servidores
vLLM reserva de entrada el 90 % de la VRAM y usa lo que sobra para el contexto de varias conversaciones a la vez: la tarjeta se ve llena aunque el modelo quepa con holgura. Para saber si cabe, sirve la misma cuenta.
Cotiza con los precios de hoy
Tú pones los componentes o el capital para comprarlos, y la compra se hace con factura. Nosotros elegimos las piezas, las armamos, optimizamos y medimos el equipo.
Preguntas frecuentes
¿Cuánta VRAM necesito para un modelo de 70B?
A 4 bits (Q4_K_M), 43,3 GB con 8 mil tokens de contexto y 50,8 GB con 32 mil. A 8 bits, 73,3 GB con 8 mil. Cabe en una tarjeta de 48 GB, con hasta 23 mil tokens de contexto, o en dos de 24 GB, con hasta 20 mil; en dos de 32 GB llega a 72 mil. A 8 bits necesita una de 96 GB.
¿Qué modelos corren con 16 GB de VRAM?
Modelos de 12 a 14B a 4 bits, con su contexto completo de 32 mil tokens, o de 7 a 8B a 8 bits, con hasta 57 mil tokens de contexto. También gpt-oss-20b. Un modelo de 32B a 4 bits no cabe: solo sus pesos ocupan 18,5 GB.
¿Qué modelos corre una RTX 5090?
Tiene 32 GB de VRAM. Modelos de 27 a 32B a 4 bits, con su contexto completo de 32 mil tokens, o de 12 a 14B a 8 bits, con su contexto completo de 32 mil tokens. Un modelo de 70B a 4 bits no cabe en una sola: sus pesos ocupan 39,8 GB.
¿Conviene usar 4 u 8 bits?
A 8 bits (Q8_0) el modelo responde casi igual que el original y ocupa cerca de la mitad. A 4 bits (Q4_K_M) ocupa menos de un tercio, con algo de pérdida de calidad: es el punto de partida habitual. Si la VRAM alcanza, un modelo más grande a 4 bits suele rendir más que uno más chico a 8.
¿Qué pasa si el modelo no cabe en la VRAM?
Se puede repartir entre la VRAM y la RAM del computador, pero la velocidad cae varias veces: la RAM entrega los datos de 5 a 20 veces más lento que la memoria de la tarjeta. Para modelos grandes conviene más VRAM antes que más RAM.
¿Por qué el archivo del modelo pesa más que lo que dice la guía?
Hugging Face y Ollama muestran el tamaño en GB decimales (mil millones de bytes) y las tarjetas se rotulan en GB binarios (1.024 × 1.024 × 1.024 bytes). El archivo de Llama 3.3 70B a 4 bits figura con 42,5 GB y ocupa 39,6 GB en la tarjeta.