SCNN： Spatial As Deep: Spatial CNN for Traffic Scene Understanding[1][2]

文章大体上是使用分割网络对车载相机图像中的图像进行分割。

是比较早的工作，这时候的对于卷积网络的思考还没有现在这么固化。
于是本文提出了一种新的针对性的分割网络用于车道线的提取，相比于传统网络在各个层之间直接进行卷积的方法不同的是，该网络按照一定方向（上、下、左、右）按照顺序进行卷积，作者认为这样更符合真实世界中物体结构的延伸，尤其是车道线这种持续延伸的目标。
后来作者还另外证明了该种网络对于分割细长类物体的效果格外好。

图中的上半部分是传统的网络结构，下半部分是作者自己的结构，可以看出，区别在于中间的那一段，传统方法中，按照二维结构直接进行卷积，一层一层传递下去，而作者在这部分先进行切片，再按照顺序进行卷积。顺序一共四种：下、上、右、左，分别对应图中的"SCNN_D", "SCNN_U", "SCNNR", "SCNNL", 所以切片分为横着切和竖着切，横竖各两次。

需要注意的是，这里的切片模型只是网络的一部分，其他卷积层、全连接层等仍然存在，作者所采用的方法也不是直接设计一个全新的网络，而是把这四个顺序卷积的部分嵌入到一个已有的网络模型中去，作者选用的网络是LargeFOV。新的网络如下图所示。

这里(a)是训练的网络，(b)是用网络进行预测的流程，需要注意的是，(b)中右侧输出了四个数值，这四个数分别对应四条车道线的概率，0.99就是有车道线，0.02就是没有车道线，所以图中就显示了三条车道线，至于为啥是四条，这就属于作者设置的一个先验信息了，如果超过四条，最终也只会输出四条。当然，他既然这么做，就说明至少这个数据集里没有超过四条的。

本文章核心工作是提出了一种新的网络结构，除了结构部分，在训练和测试流程上与其他方法没有大的区别，所以算法流程部分其实就是介绍网络结构的部分。

上面提到，本文中只是在流程中的一部分使用了这种SCNN结构，理解为这种思想更好的利用了全局信息也是可以说得通的。

这篇文章与自动驾驶感知的联系这部分落笔在“在使用这种新型的结构后，网络对于细长、大型类的物体分割效果更好，即对于车道线检测有更好的效果”。

Towards End-to-End Lane Detection: an Instance Segmentation Approach[3][4]

针对之前算法不能解决以下问题：predifined,fixed number of lanes和 lane changes。设计了一个多任务网络分支，主要是车道线分割分支和车道线嵌入分支，可以进行end-to-end的训练，并通过训练网络学习变换参数。

车道分割分支具有两个输出类别，即背景或车道。
车道嵌入分支进一步将分段的车道像素分解成不同的车道实例(instance)。
通过将车道检测问题分解为上述两个任务，我们可以充分利用车道分割分支的功能，而不必为不同的车道分配不同的类别。

针对之前采用固定透视变换转换到“bird-eye”图再进行车道线拟合，本文提出训练一个网络训练来得到其变换系数，可以对多种道路变化鲁棒。

解释一下pixel embedding：embedding与segmentation是encoder里并行的两个分支，encoder是有三个阶段的，其中前两个阶段两个分支是共享参数的，最后一层不共享，分别生成一个channel的二值分割图片，另一个生成n-channel的嵌入向量，其中n是嵌入尺寸。然后经过融合后进行聚类操作。

解释一下为什么要学习H矩阵并做变换：一般地，分割车道线之后是还需要对分割结果进行曲线拟合以生成车道线的。而拟合曲线的时候一般会把图像转换到鸟瞰图角度，也就是让车道线都平行、这样便于拟合、可靠性高，然后求出相应点之后在影射回来，这个变换矩阵之前都是固定的，现在作者让它变为可学习的，鲁棒性更高些。

“使用CNN分割车道线”这一思想倒是不难想到，但这CNN分割应用到自动驾驶感知或者更具体地说应用到车道线检测任务中，需要考虑到什么问题那？这就是这安论文落笔在解决“车道线数目变化(pixel embedding)以及车道视角变化(a learned perspective transformation)”的问题。

[1] 自动驾驶|车道线检测：SCNN（一） - 知乎
[2] 深度学习笔记（十四）车道线检测 SCNN - osc_b07navmi的个人空间 - OSCHINA - 中文开源技术交流社区
[3] 论文阅读《Towards End-to-End Lane Detection: an Instance Segmentation Approach》 - 王老头 - 博客园
[4] [车道线检测论文学习] Towards End-to-End Lane Detection: an Instance Segmentation Approach_Holeung blog-CSDN博客
[ ]【车道线检测论文阅读笔记——经典论文粗读汇总】_selami的博客-CSDN博客