DeepMind最近发布了一个名为TF-Replicator的分布式机器学习库，原本是内部使用的工具，现在已经作为TensorFlow的一部分开源。此库为TensorFlow 2.0和Keras提供方便的多GPU/云TPU部署功能。用户只需定义输入函数和步骤函数即可使用，代码与单个设备编写的TensorFlow代码类似，允许自由定义模型运行循环。测试使用GAN在ImageNet上进行训练，结果显示在多块GPU上分布式训练效果显著优于单一GPU训练。最高batch size 512时，生成的橙子图片形状和质量接近真实，出实得分提高约50%。官方文档、Colab笔记本、GitHub笔记本及DeepMind博客均提供了详细信息，欢迎探索。
