训练加速
AI模型规模的扩大及训练数据的增多,用户对模型的迭代效率要求也随之增长,单个GPU 的算力已无法满足大部分业务场景,使用单机多卡或多机多卡训练已成为趋势。
TACO Train AI训练加速
面向训练场景开箱即用的多层级优化加速组件
通过自研高性能网络协议HRRP优化网络传输,基于Horovod深度优化分布式训练的通信策略,并集成自研AI框架TTensorflow
有效解决VPC网络环境下分布式训练效率问题,提高加速比和模型迭代速度
推理加速
AI算法用于生产环境大规模模型的推理部署,在不同模型、不同硬件,不同业务细分场景,需考虑如何标准化一套接口高效地优化和部署业务模型。
TACO Infer AI推理加速
轻量易用、无缝集成已有深度学习框架的AI推理加速软件
集成硬件厂商的定向开源加速方案,整合先进的编译优化、图优化和算子优化技术,兼容 CPU、GPU、NPU等多种芯片
一行优化接口,无感接入业务,轻松实现优化和部署模型
