TensorFlow有Tensorboard，MindSpore框架如何做可视化？

本文主要是介绍TensorFlow有Tensorboard，MindSpore框架如何做可视化？，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

昇腾学院开设的线上公开课《轻松上手开源框架MindSpore》第 6 课完成，王越讲师为大家带来了主题分享《MindSpore可视化工具使用指南》，第 6 课回顾视频如下：www.bilibili.com/video/BV1et…

第六课精选问答

在第六课的QA环节中，有一些问题被大家广泛提到，王越讲师再次做了精选与编辑，供大家参考。

Q：momentum 是 SGD？

momentum 是 SGD 的优化方法，主要思想是引入一个积攒历史梯度的信息动量，来加速 SGD。我认为它主要解决了 SGD 的两个问题，一个是随机梯度的方法引入的噪声，另一个是 SGD 在收敛过程中，和我们想要的梯度相比，会有比较大的摆动。

当前 mindspore 提供既提供了 SGD，又提供了 momentum。

Q：和 TensorBoard 有什么区别？

我认为主要的区别有以下几点：

从设计思路上来说，TensorBoard 主要以插件化的形式来进行构建，它的好处是开发比较方便，功能解耦比较清楚。开发一个新功能，可以很快在 TensorBoard 添加一个新的页签。但是我认为这种模式存在的缺点是不停的添加单个的功能，缺乏总体的使用引导，指导用户怎样去一步一步调网络。MindInsight 在设计上是希望给用户提供网络调试和调优的方法论，可以看到 MindInsight 的入口是从训练列表开始的，点击某个训练后，希望给用户很清晰的指引：在调试调优的某个阶段遇到某个问题时，应该使用哪个功能。

从组件上来说，我认为 MindInsight 现在有一些特色功能是 TensorBoard 不具备的，比如说像溯源，数据图的展示等等。当然 MindInsight 现在还在比较快速的构建和开发中，会陆续上线很多新的组件。

从生态上来说，TensorBoard 和 Tensorflow 目前主要是服务于 GPU/TPU 的，MindInsight 和 MindSpore 则需要适配 Ascend 芯片。芯片的不同会导致在功能上的差异，比如 Profiling，MindInsight 需要考虑数据下沉等训练场景的性能展示。

Q：mindspore 支持动态图吗？

MindSpore 目前是支持动态图的，我们称这种执行模式叫 Pynative，怎样使用动态图模式进行训练和调试可以参考第三讲的内容。MindInsight 后续会 release Debugger 组件，我们可以使用 Pynative 模式调试脚本，图模式执行时如果出现异常可以使用 MindInsight 的 Debugger 调试。

Q：数据溯源那里说明所有训练都是同样的数据吗？

在刚才的讲解视频中，我们看到的数据溯源显示的是一条直线，说明训练任务都使用了相同的数据 pipeline 流程。如果用户发现可能是因为某个数据增强操作导致训练异常，改变了数据增强操作，两次训练的差别就会体现在数据溯源中。

Q：目前还有其他 profile 方式吗？

目前在 Ascend 芯片训练或者推理，可以使用 run 包中的组件进行 profile，但是使用起来会需要一些配置项，结果解析需要依靠脚本完成。MindInsight 会首先基于 Ascend 芯片提供易用的 profile 能力和结果展示，然后逐步把能力迁移到 GPU 和 CPU。

Q：nvprof 可以配合 mindspore 吗？

我个人没有尝试过，但是从原理推断应该是可以的；如果有感兴趣的同学可以进行尝试，我们可以在群组讨论。

Q：训练中间层可视化？

如果中间层可视化是指的是计算图的中间层信息，可以使用 MindInsight 中的计算图可视组件进行查看。可以点开计算图，找到感兴趣的层，查看节点的名称、type 等信息；

如果中间层可视化指的是中间层权重的变化趋势，可以使用 HistogramSummary 算子进行记录，并使用 MindInsight 参数分布图功能查看；

如果中间层可视化指训练时想看到中间层的计算结果，pynative 模式可以配合 pdb 等在算子执行返回时直接查看，图模式可以依赖 MindInsight 后续 release 的 Debugger 进行查看。Debugger 可以在某个 step 执行完成后暂停训练，用户可以在计算图上找到感兴趣的中间层，点击节点查看对应的算子输出。

Q：mindinsight 目前可以在云上用吗？

MindInsight 作为一个 python package，天然支持在云上使用；我们后续会提供云上场景的官方支持和说明。

Q：minsight 可以输出优化后的图吗？

是可以的，summary 文件中记录的计算图是 MindSpore 前端优化后的图，如果想查看更多阶段的图，可以在 context 中打开 save_graphs 开关，这样可以得到一些不同优化阶段的计算图文件（后缀名为.pb），可以在 MindInsight 中将这些计算图可视化。

Q：将来能给个加载 GE 图的例子吗？

目前加载 GE 图 (ge_ir.proto) 的功能还处在试用阶段，功能成熟后我们会考虑开源，届时会给出对应的文档。