非线性分类问题

分类问题的解决，最重要的是找到分类边界，能够将数据分成不同的区域，从而达到分类的目的。而当分类边界的求解不是一个线性问题的时候，传统的逻辑回归算法需要引入复杂的参数项（$x_{1}^2$,$x_{1}x_{2}$,$x_{1}x_{3}$,$x_{1}x_{4}$,$x_{1}x_{5}$,$x_{1}x_{6}$,$x_{1}x_{7}$…$x_{2}^2$,$x_{2}x_{3}$…）,这会使得计算量过大，不是一种理想的方案。

这种问题需要通过神经网络来解决。

区别于经典的逻辑回归算法，神经网络不是尝试去训练一组合适的参数来拟合所有的数据，而是通过训练多组参数将数据分成多步处理。分步过程降低了参数的复杂性，提高了训练的效率。其背后的理论依据，课程里并没有说明。

我的理解是，神经网络每一层的每一个节点都来自于上一层所有节点的加权和的sigmod求值，这就使得不同参数之间的关联性在每一层计算中都被考虑了进去，充分地考虑了不同参数之间的相互影响。