回归:一个或多个自变量与因变量之间的关系之间建模的方法,经常用来表示输入和输出之间的关系
分类:预测数据属于一组类别的哪一个
一个简单的线性模型
梯度下降
梯度下降是通过不断沿着反梯度方向更新参数求解
学习率lr不能太大也不能太小
太小:计算次数增加,计算昂贵
太大:导致模型难以收敛
小批量随机梯度下降
批量大小batch_size不能太大也不能太小
太小:不适合并行来最大利用计算资源
太大:内存消耗增加,浪费计算
torch.matmul()的用法: 当输入是都是二维时,就是普通的矩阵乘法,和tensor.mm函数用法相同。 当输入有多维时,把多出的一维作为batch提出来,其他部分做矩阵乘法。
参考博客:torch.matmul()的用法