- 作者:一流科技
- 发表时间:2021-02-25 14:43
- 来源:未知
近日,一流科技在2020-2021「AI中国」机器之心人工智能年度奖项评选中摘得多项大奖,包括:机器之心2020“最强开源技术生态 TOP10”;机器之心2020“最具商业价值解决方案TOP30”;机器之心2020“最具产业价值技术应用落地案例 TOP30”。
其中,OneFlow深度学习框架获评“最强开源技术生态 TOP10”、“最具商业价值解决方案TOP30”两大奖项,不仅在开源生态中收到开发者的认可,也把产品和应用结合起来,帮助更多企业提升AI开发能力。
OneFlow深度学习框架,拥有完全自主知识产权,独创的自动数据模型混合并行、静态调度、去中心化和全链路异步流式执行四大核心技术,使用纯软件技术完美地解决了大数据、大模型、大计算所带来的异构集群分布式横向扩展挑战,技术水平世界领先。自去年7月31日开源后,收到了来自世界范围内的广泛关注,关注者来自谷歌、脸书、微软、亚马逊、阿里、字节跳动、腾讯、百度、商汤、旷视等企业的核心技术人员,接到多家头部互联网企业和人工智能企业的使用意向。截止目前,OneFlow供累计数千开发者下载试用,GitHub上获星2.2K。
能获得大家的青睐,离不开OneFlow的独特优势,总结下来就是四个字——“效率为王”。通过对性能的极致追求和优化,让OneFlow在各个场景下做到快速适应,快速延展。
首先,OneFlow比其他框架更快,帮助用户提升时间效率。深度学习训练任务是非常耗费算力的任务,一个大模型的训练往往数以周计。在相同的硬件环境下,使用OneFlow比使用其他框架训练速度更快,训练所需的总时间更少,就能节约模型调优的时间成本。
第二,OneFlow使用硬件资源利用率更高。OneFlow非常节省内存,而往往越节省内存,就能训练更大batch size的任务,跑更大的模型。,OneFlow的GPU利用率也很高,不会浪费GPU计算资源。
第三,OneFlow多机加速比更高。大规模深度学习训练任务往往依赖分布式训练环境,使用其他框架,随着机器和GPU卡数增多,再增加一个设备所带来的边际收益会越来越小,效率也越来越低。而OneFlow在多机扩展性表现上更好,增加设备带来的收益比其他框架更大,效率不会下降。另外由于OneFlow在分布式训练任务上的去中心化设计,OneFlow可以支持更大规模的集群进行深度学习训练。
第四,OneFlow分布式训练易用性好,提升了用户的运维效率。OneFlow有独特的设计可以把多个机器多个设备抽象成一个超级的虚拟设备,让用户使用OneFlow进行分布式训练时就跟单机单卡一样易用。其他各个框架使用多机训练,往往需要用第三方独立框架(如Horovod)才能达到不错的训练性能,无形中增加了用户的运维成本 。
基于这些优势,OneFlow在超大数据规模场景中可以发挥更好的作用,例如百亿数据集的大规模广告推荐或千万量级的大规模人脸识别。未来,OneFlow将持续扩大优势,提升易用性和完备性,让更多的开发者体验到“效率为王”的优势。