AltFreeStack
ESEN
Inteligencia Artificialdocker-readypermissive-license100% FOSS🟢 Ligero · ~256MB

vLLM: alternativa Open Source a OpenAI API en 2026

vLLM es un motor de inferencia de alto rendimiento para servir modelos de lenguaje a gran escala con máximo throughput, exponiendo una API compatible con OpenAI para producción.

Alternativa a OpenAI API
Licencia Apache-2.093.8k estrellasSitio web Repositorio en GitHub

Audit Snapshot

Ver notas →

  • Licencia — Coincide con GitHub

  • GitHub — Activo

  • Último release — v0.31.0 · hace 9 días

  • Docker Compose — Parcial

  • Producción — No probado por AltFreeStack

vLLM vs. OpenAI API

Ventajas

  • Pensado específicamente para servir LLMs en producción a escala

A tener en cuenta

  • Requiere GPU con VRAM suficiente para el modelo elegido

Guía rápida de instalación con Docker

Copia este docker-compose.yml, ajusta las contraseñas de ejemplo y ejecuta docker compose up -d en tu servidor. Ver la guía completa paso a paso →

💡 ¿SaaS oficial o self-hosted con AltFreeStack?

  • En la nube oficial: una cuota mensual recurrente y límites de uso en OpenAI API.
  • En tu propio VPS: software 100% gratis en tu propio servidor, sin límites artificiales de filas, proyectos ni usuarios.
docker-compose.yml
version: "3.9"
services:
  vllm:
    image: vllm/vllm-openai:v0.30.0
    restart: unless-stopped
    ports:
      - "8000:8000"
    command: ["--model", "mistralai/Mistral-7B-Instruct-v0.2"]
    volumes:
      - vllm_cache:/root/.cache/huggingface
volumes:
  vllm_cache:

🚀 Despliegue en 1 comando

Recomendado para novatos

Copia este único comando y pégalo en la consola de tu VPS recién creado (Vultr, DigitalOcean...). Descarga el script, lo muestra en pantalla para que veas exactamente qué va a hacer (nunca un pipe directo a ciegas) y, solo entonces, instala Docker si hace falta, crea los archivos con los secretos ya generados y arranca todo — sin nano, sin copiar y pegar bloques de código.

curl -sSL ".../api/deploy?stack=vllm" -o deploy.sh && cat deploy.sh && bash deploy.sh
Ver qué hace este script →

Este docker-compose corresponde a un proyecto con actividad reciente en GitHub — último commit hoy.

¿Este docker-compose no te funciona? Repórtalo en GitHub →

Ficha técnica

Licencia
Apache-2.0
Categoría
Inteligencia Artificial
Sustituye a
OpenAI API
Stack técnico
PythonCUDA

Bajo el capó

Base de datos

None / File-based

Lenguaje

Python

Plataformas

Web

Funcionalidades principales

  • Throughput muy superior gracias a PagedAttention
  • API compatible con OpenAI
  • Soporta decenas de arquitecturas de modelos
💾 Copias de seguridad en 3 pasos (Día 2)

Mientras la carpeta ./data (el "volumen" mapeado al contenedor) exista en tu servidor, tus datos sobreviven a cualquier reinicio o actualización — es lo único que necesitas respaldar.

1. Crea una copia comprimida en el servidor

tar -czvf backup-$(date +%F).tar.gz ./data

2. Descárgala a tu ordenador

Desde la terminal de tu ordenador (no la de tu servidor):

scp root@TU_IP:~/app/backup-*.tar.gz ./

3. Restaura en caso de emergencia

tar -xzvf backup-archivo.tar.gz
🌐 Conectar tu dominio con SSL gratis

Paso 1 — Configura el DNS

En el panel de tu registrador de dominio (Cloudflare, Namecheap, GoDaddy...), crea un registro:

Tipo
A
Nombre/Host
@ (dominio raíz) o un subdominio, ej. app
Contenido/Valor
La IP pública de tu servidor

Espera entre 5 y 15 minutos a que el registro se propague por internet.

Paso 2 — Proxy inverso automático con Caddy

Un solo archivo, sin configurar Nginx ni certificados manuales — Caddy emite y renueva el HTTPS de Let's Encrypt solo.

Crea un archivo llamado Caddyfile:

tudominio.com {
    reverse_proxy localhost:8000
}

Levanta Caddy con este comando (descarga la imagen y arranca en segundo plano):

docker run -d -p 80:80 -p 443:443 --name caddy --restart always -v $PWD/Caddyfile:/etc/caddy/Caddyfile -v caddy_data:/data caddy