MTIA(Meta Training and Inference Accelerator),是Meta第一个针对推理工作负载的内部定制加速器芯片系列。AI工作负载在Meta的业务中中无处不在,这是广泛应用项目的基础,包括内容理解、信息流、生成式AI和广告排名等。随着AI模型的大小和复杂性的增加,底层硬件系统需要在保持效率的同时提供指数级增长的内存和计算。但Meta发现CPU难以满足其规模所需的效率水平需求,于是针对这一挑战设计了Meta自研训练和推理加速器MTIA ASIC系列。自2020年起,Meta为其内部工作负载设计了第一代MTIA ASIC。该加速器采用台积电7nm工艺,运行频率为800MHz,在INT8精度下提供102.4TOPS算力,在FP16精度下提供51.2TFLOPS算力。它的热设计功率(TDP)为25W。据介绍,MTIA提供了比CPU更高的计算能力和效率,通过同时部署MTIA芯片和GPU,其将为每个工作负载提供更好的性能、更低的延迟和更高的效率。 02.布局下一代数据中心 开发首款视频转码ASIC