人工智能领域再掀波澜,Clarifai公司宣布推出一款创新推理引擎，该引擎有望大幅提升人工智能模型的运行效率，同时显著降低成本，据称，这款引擎能够让AI模型的运行速度提高一倍，成本降低40%，并适用于多种模型和云主机。
Clarifai首席执行官马修・蔡勒透露，新推理引擎通过底层CUDA内核优化和先进的投机性解码技术等多种优化手段，使得相同硬件条件下能释放出更强的推理能力，从而实现性能的大幅提升。
第三方机构Artificial Analysis的基准测试也证实了这一成果，结果显示该推理引擎在吞吐量和延迟方面均达到了行业领先水平。
这款推理引擎主要针对“推理阶段”进行优化，即运行已经训练好的AI模型所需的计算过程，随着智能体模型和推理模型的兴起，这一阶段的计算负担日益加重，而Clarifai的新引擎正致力于解决这一难题。
Clarifai公司最初以计算机视觉服务起家,近年来随着GPU和数据中心需求的增长，逐步转向计算编排领域，去年12月，公司在亚马逊云科技（AWS）re：Invent大会上首次推出计算平台，此次推出的新推理引擎是其针对多步骤智能体模型的首个专门产品。
面对人工智能基础设施领域的巨大压力,Clarifai首席执行官蔡勒认为，除了硬件建设外，优化现有基础设施同样重要，他强调，Clarifai的推理引擎和算法改进有助于减少对大型数据中心的需求，并指出算法创新仍有巨大的发展空间。
