发表于：2019/6/21 10:32:22
#0楼
当你使用GPU进行深度学习时，你会一次又一次惊奇地发现，你的速度提高了多少。与CPU相比，20倍的速度提升是很常见的，但是在更大的处理问题上，你甚至可以达到50倍的速度提升。使用GPU，您可以比平常更快地尝试新的想法、算法和实验，并且几乎可以立即得到关于哪些可行哪些不可行的反馈结果。如果你是认真的，一定要有一个深度学习。那么怎么挑选合适的GPU去深度学习呢？下面一起来看看。
当一个人开始进行深度学习时，拥有一个快速的GPU是一个非常重要的，因为这种在实践经验中的快速收获是建立在专业技能的基础之上的，你会在将深度学习应用中遇到许多的新问题，如果没有这种快速的反馈，从错误中吸取教训就会花费太多的时间。有了GPU，就可以很快的学会如何将深度学习应用得更好。
使用模型并行性，能够组成更大的神经网络，它有近30亿个连接。但要利用好这些联系，只需要更大的数据集。另一方面，多GPU的一个优点是可以在每个GPU上分别运行多个算法或实验。虽然没有获得加速，但可以通过同时使用不同的算法或参数获得更多关于性能的信息。如果你的主要目标是尽快获得深度学习经验，这是非常有用的，而且对于想同时尝试多个新算法版本的研究人员也是非常有用的。
如果只是偶尔使用深度学习，或者使用非常小的数据集（小于10-15GB）和重要的密集神经网络，那么多个GPU可能不适合。
如果想自己编写类似的网络，请注意，要编写高效的多GPU网络是一项艰巨的任务，这将比在一个GPU上编写一个简单的网络要花费更多的时间。
因此，总的来说，一个GPU应该足以完成几乎所有任务，而额外的GPU只能在非常特定的情况下传递好处（许多GPU用于非常、非常大的数据集）。
当一个人开始进行深度学习时，拥有一个快速的GPU是一个非常重要的，因为这种在实践经验中的快速收获是建立在专业技能的基础之上的，你会在将深度学习应用中遇到许多的新问题，如果没有这种快速的反馈，从错误中吸取教训就会花费太多的时间。有了GPU，就可以很快的学会如何将深度学习应用得更好。
使用模型并行性，能够组成更大的神经网络，它有近30亿个连接。但要利用好这些联系，只需要更大的数据集。另一方面，多GPU的一个优点是可以在每个GPU上分别运行多个算法或实验。虽然没有获得加速，但可以通过同时使用不同的算法或参数获得更多关于性能的信息。如果你的主要目标是尽快获得深度学习经验，这是非常有用的，而且对于想同时尝试多个新算法版本的研究人员也是非常有用的。
如果只是偶尔使用深度学习，或者使用非常小的数据集（小于10-15GB）和重要的密集神经网络，那么多个GPU可能不适合。
如果想自己编写类似的网络，请注意，要编写高效的多GPU网络是一项艰巨的任务，这将比在一个GPU上编写一个简单的网络要花费更多的时间。
因此，总的来说，一个GPU应该足以完成几乎所有任务，而额外的GPU只能在非常特定的情况下传递好处（许多GPU用于非常、非常大的数据集）。
