1.种类

感知器
Logistic回归
Softmax回归
交叉熵和对数似然
支持向量机

Softmax回归是多分类，其他都是二分类

2.线性回归模型

\(f(x;w,b)=w^Tx +b ,y\in R\)

3.线性分类模型

\(g(f(x;w))=\begin{cases} 1 & if\ f(x;w)>0\\ 0& if\ f(x;w)<0\\ \end{cases}\)

4.二分类问题Binary Classification

训练集

\(\{(x^{(n)}),y^{(n)}\}_{n=1}^{N}\)

二分类问题

\(x^{(n)}\in \mathbb{R}^D\)
\(y^{(n)}\in\{0,1\}\)

模型

\(g(f(x;w))=\begin{cases} 1 & if\ f(x;w)>0\\ 0& if\ f(x;w)<0\\ \end{cases}\)

损失函数

\(0-1函数:\mathcal{L}_{01}(y,g(f(x;w)))=I(y\ne g(f(x;w)))- 不可求导\)

5.多分类问题Mult-class Classification

训练集

\(\{(x^{(n)}),y^{(n)}\}_{n=1}^{N}\)

二分类问题

\(x^{(n)}\in \mathbb{R}^D\)
\(y^{(n)}\in\{1,2,...,C\},C>2\)

模型

损失函数

\(0-1函数:\mathcal{L}_{01}(y,g(f(x;w)))=I(y\ne g(f(x;w)))- 不可求导\)

5.argmax方式

\(一种改进的"一对其余"方式,共需要C个判别函数\)
\(f_c(x;w_c)=w_c^T+b_c,c\in {1,2,...,C}\)
\("argmax"方式的预测函数定义为\)
\(y=argmax_{c=1}^C\ f_c(x;w_c)\)