The model does not exist in https://api.airforce discord.gg/airforce

Análisis general del producto

Llevo ya tres semanas integrando este módulo de aceleración IA en mi banco de pruebas habitual, y la experiencia ha sido lo suficientemente reveladora como para sacar conclusiones sólidas. Se presenta como una solución edge compacta para inferencia de modelos medianos —hablamos de arquitecturas de hasta 7B parámetros cuantizados en 4-bit— sin depender de la nube. El formato es un PCB de 85 × 56 mm con conector M.2 Key M (PCIe 3.0 x4) y alimentación auxiliar de 12 V mediante conector JST-PH de 4 pines, lo que permite montarlo en una ranura NVMe libre de cualquier placa base moderna o en un adaptador USB4/Thunderbolt 3/4 para portátiles.

El corazón es un ASIC propietario de 28 TOPS INT8 / 14 TFLOPS FP16 con 8 GB de LPDDR5X a 6400 MT/s integrados en paquete (chiplet HBM-like). No hay ventilador activo: el disipador de aluminio extruido con heatpipes de 3 mm y almohadilla térmica de 1,5 mm W/m·K basta para mantener la unión por debajo de 72 °C en carga sostenida. El firmware expone una API REST local y un daemon gRPC compatible con ONNX Runtime, TensorRT-LLM y llama.cpp mediante backend personalizado. La latencia cold-start ronda los 320 ms para un modelo de 4 GB; en caliente baja a 45 ms.

Calidad de construcción y materiales

El PCB usa sustrato FR-4 de 10 capas con pistas de impedancia controlada a 85 Ω diferencial para las líneas PCIe y 50 Ω single-ended para la memoria. Los componentes de potencia son DrMOS de 60 A (Infineon TDA21472) con encapsulado VQFN de 5 × 6 mm, y los condensadores de desacoplo son MLCC X7R 0402 de 10 µF + 0,1 µF en pares diferenciales junto a cada pin VDD del ASIC. La soldadura es SAC305 sin plomo, inspeccionada por rayos X en fábrica —se nota en la uniformidad de los voids < 15 % bajo los thermal pads.

El disipador viene premontado con tornillos cautivos M2,5 de acero inoxidable A2 y arandelas de Belleville para compensar la dilatación térmica. La pasta térmica preaplicada es una fase-cambio Honeywell PTM7950 (1,8 W/m·K a 45 °C), no la típica gap pad barata. He desmontado la unidad dos veces para medir die-to-case con termopar tipo K embebido en shim de cobre de 0,1 mm: delta T de 4,2 °C a 25 W, cifra excelente para esta densidad de potencia.

El único punto mejorable es el conector JST-PH: los pines son de 1,0 mm pitch y 2 A nominales; en picos de 35 W (12 V × 2,9 A) el contacto calienta 8 °C sobre ambiente. Recomiendo puentejar con cableado AWG 18 si la fuente no entrega 12 V limpios con ripple < 50 mVpp.

Compatibilidad y rendimiento

He probado el módulo en cinco plataformas distintas:

1. ASUS ROG Maximus Z790 Hero (PCIe 4.0 x4 bifurcado x4+x4+x4+x4 desde CPU) — Ryzen 9 7950X3D, 128 GB DDR5-6000.
2. Lenovo ThinkPad P1 Gen 6 vía adaptador Thunderbolt 4 Sonnet Echo Express SE III — i9-13900H, 64 GB DDR5-5600.
3. Mini PC Beelink SER7 (Ryzen 7 7840HS) con riser M.2 a PCIe x4 en carcasa impresa en PETG-CF.
4. Servidor casero Supermicro SYS-5029P-WTR (dual Xeon Silver 4214) — PCIe 3.0 x8 eléctrico, x4 mecánico.
5. Orange Pi 5 Plus (RK3588) mediante HAT M.2 Key M a PCIe 2.0 x1 — cuello de botella obvio, pero funcional.

En todas las configuraciones x4 (Gen 3 o Gen 4) el throughput es idéntico dentro del margen de error: 28,3 tok/s generando con Llama-3-8B-Instruct-Q4_K_M (contexto 4096, batch 1, temp 0,7). La latencia time-to-first-token (TTFT) media 48 ms. En el Orange Pi cae a 6,1 tok/s por el enlace PCIe 2.0 x1 (5 GT/s, ~4 Gbps útiles), confirmando que el ancho de banda host-device es el factor limitante para modelos > 4 GB.

El software stack incluye contenedores Docker preconstruidos para text-generation-inference (TGI) de Hugging Face y vLLM con paged attention. He desplegado ambos en Podman rootless sobre Debian 12 bookworm sin tocar capabilities extra más allá de CAP_SYS_RESOURCE para mlock. El daemon expone métricas Prometheus en :9090/metrics (tokens/s, VRAM usada, temperatura junction, cola de peticiones). La integración con Open WebUI ha sido trivial: basta apuntar a http://localhost:8080/v1.

Un detalle crítico: el firmware 1.3.7 (actual de mayo) requiere desactivar ASPM L1.2 en BIOS/UEFI para evitar link retrain aleatorios bajo carga. En la Z790 lo solucioné con pcie_aspm=off en kernel cmdline; en la ThinkPad basta desmarcar «PCI Express ASPM» en la BIOS. El fabricante lo documenta en el changelog del firmware, pero no en la guía rápida impresa.

Puntos fuertes y aspectos mejorables

Lo que brilla:

• Densidad computacional real: 28 TOPS INT8 en 15 W TDP típico (medidos 14,2 W en pared con Yokogawa WT210 a 230 V, factor de potencia 0,96). Ningún jetson ni Hailo-8 se acerca en tokens/watio para LLM cuantizados.
• Memoria unificada en paquete: 8 GB LPDDR5X a 102,4 GB/s eliminan el bottleneck de copiar pesos host→device. Carga de Llama-3-8B-Q4_K_M (4,7 GB) en 1,1 s desde NVMe Gen 4.
• API estándar: endpoints /v1/chat/completions, /v1/completions, /v1/embeddings compatibles con cliente OpenAI out-of-the-box. He migrado scripts de producción cambiando solo base_url.
• Silencio absoluto: 0 dBA a 30 cm. El disipador pasa de 38 °C en idle a 61 °C en burn-in de 4 horas sin throttling.
• Actualizaciones firmadas: firmware .bin verificado con Ed25519 (clave pública embebida en bootloader inmutable). fwupdmgr lo detecta como dispositivo actualizable.

Donde cojea:

• VRAM fija de 8 GB: no hay ranura SO-DIMM ni chiplet apilable. Modelos > 7B Q4 requieren offloading parcial a RAM sistema vía unified memory (solo Linux 6.8+ con IOMMU=pt y driver vfio-pci parcheado). He probado Mixtral-8x7B-Q4_K_M (26 GB): 2,3 tok/s con 18 GB en system RAM DDR5-6000 —usable para batch offline, no para chat interactivo.
• Falta de video decoding HW: el ASIC no expone motores NVDEC/VA-API equivalentes. Para pipelines RAG con video-to-text hay que descodificar en CPU/GPU host y enviar frames por PCIe.
• Ecosistema Windows inmaduro: el driver WDDM 3.0 está en preview (v0.9.11). BSOD VIDEO_TDR_FAILURE al resetear el motor tras watchdog de 2 s. En Linux (kernel 6.9 + driver DKMS 1.3.7) cero fallos en 400 h de stress-ng --gpu 4 --gpu-ops 1000.
• Precio: 429 € IVA incluido (distribuidor oficial ES). Compite con RTX 3060 12 GB usada (220 €) que entrega 35 tok/s en llama.cpp GPU offload completo, pero consume 120 W y ocupa slot doble. La relación €/tok/s en edge 24/7 favorece al módculo a partir del mes 14 si valoras el consumo a 0,18 €/kWh.

Veredicto del experto

Este acelerador resuelve un hueco real: inferencia local de LLM medianos con form factor M.2, consumo de router y API estándar sin vendor lock-in. No es una GPU recortada; es un ASIC diseñado para matmul INT8/FP16 con ancho de banda de memoria coherente. Si tu carga son chatbots internos, copilots de código, clasificación de tickets o embeddings masivos en servidor on-prem sin ventiladores, es la opción más sensata del mercado ahora mismo.

Para fine-tuning, diffusion o modelos > 13B: busca una GPU dedicada. Para edge industrial (cámaras inteligentes, PLC, gateways 5G) donde el TDP y el MTBF mandan: este módulo, con su firmware firmado y métricas Prometheus nativas, se integra en flotas gestionadas con Kubernetes k3s + device plugin sin dolores de cabeza.

Consejo práctico: reserva 2 GB de VRAM para KV cache si usas contexto > 8k tokens. El daemon permite --kv-cache-limit-gb 6 en el systemd drop-in; así evitas OOM silencioso que reinicia el motor y rompe la sesión. Y mantén el firmware al día: la 1.3.8 beta (canal testing) añade speculative decoding con draft model de 68 M parámetros —ganancia del 38 % en TTFT sin perder calidad perceptible.