什么是CUDNN？和CUDA有哪些关联

什么是CUDNN

NVIDIA cuDNN是一个深度神经网络的GPU加速库，它性能、易用性和低内存开销。NVIDIA cuDNN可以与更高级别的机器学习框架集成，如谷歌的Tensorflow和加州大学伯克利分校流行的Caffe软件。简单的插件设计使开发人员能够专注于设计和实现神经网络模型，而不是简单地优化性能，同时在GPU上实现现代高性能并行计算。

cuDNN 8​主要特征

适用于所有常见卷积的Tensor Core加速，包括2D，3D，分组，深度可分离以及使用NHWC和NCHW输入和输出进行扩张

针对计算机视觉和语音模型的优化内核，包括ResNet，ResNext，SSD，MaskRCNN，Unet，VNet，BERT，GPT-2，Tacotron2和WaveGlow

支持FP32，FP16和TF32浮点格式以及INT8和UINT8整数格式

4d张量的任意维排序，跨距和子区域意味着可以轻松集成到任何神经网络实现中

加速任何CNN架构上的融合操作

cuDNN在Windows和Linux上受数据中心和移动GPU中的Ampere，Turing，Volta，Pascal，Maxwell和Kepler GPU体系结构支持。

CUDA和CUDNN之间的关系

cuDNN是一个基于CUDA的深度学习GPU加速库，通过它可以在GPU上完成深度学习的计算。它相当于一个工作的工具，例如，它是一把扳手。但CUDA这个工作台，在买来的时候并没有附带扳手。要在CUDA上运行一个深度神经网络，你必须安装cuDNN，就像你要拧一个螺母，就必须把扳手买回来。这将使GPU能够在深度神经网络上工作，与CPU相比，工作速度要快得多。