红帽公司宣布推出红帽AI推理服务器

开源解决方案提供商红帽公司近日宣布推出红帽AI推理服务器（Red Hat AI Inference Server），这是在混合云中普及生成式AI（gen AI）的重要一步。作为红帽AI中的新产品，该企业级推理服务器源自强大的vLLM社区项目，并通过红帽对Neural Magic技术的集成进一步增强，可以提供更高的速度、加速器效率和成本效益，助力实现红帽“在任意云环境中的任意AI加速器上运行任意生成式AI模型”的愿景。（36氪）