英特尔于2026年10月14日宣布推出Intel Inference Microservices服务，面向大语言模型推理提供容器化微服务，让企业在已有至强处理器上获得经过调优的模型推理能力。
该服务每个微服务为独立容器，通过OpenAI兼容API提供单个模型服务，启动时自动检测英特尔处理器型号，并应用针对该模型和硬件预先验证过的配置参数。首批版本基于vLLM引擎，支持BF16精度，可在Docker或Kubernetes 1.24及以上环境运行，硬件要求为第四代、第五代或第六代英特尔至强处理器，建议配置32GB内存。
启动时容器会检查处理器代数、核心数量、NUMA节点数量及内置加速器，包括英特尔高级矩阵扩展和AVX-512、AVX2、VNNI。检测完成后选择验证过的配置档案，解析调优参数，缓存权重并在指定端口启动推理服务。英特尔计划后续增加Helm Chart、Kubernetes Operator、更多推理引擎和精度支持。