模型到底在算什么

在统计学习里面，如果忽略掉各种各样模型复杂的公式和花样的优化算法，那简化抽离出来的东西是什么？在李航的《统计学习原理》里面给出的答案是：方法 = 模型 + 策略 + 算法。

其中模型指的就是你函数的一个假设空间，相当于给想要求出的函数设定了一个范围。就好比给了你一个还没有装修的房子，你可以在这个房子的任何地方选择你喜欢的家具，建材，装饰画，但是不能超过这个房子，不能修改这个房子的户型图。这个基础框架的房子，就是你的模型。

我们所谓的训练模型，其实并不是去像是训练狗狗那样，把不听话的行为改成听话的行为。更为合适的说法，可能是做选择。因为我们要做的就是在你模型函数的所有可能性中，找到那个最符合你要去的函数。

这就好比是房子你已经有了，你需要在各种各样的装修和装饰组合中，找到那个最为适合你的组合。这个过程中你可能会尝试各种各样的装修方式，尝试各种各样的家具摆放，尝试各种各样的软装风格。但无论你用什么方式尝试，你的目标就是找到那个最合适的组合。这个组合选定了，你模型的参数就确定了。

那这里有个关键的词，叫最“适合”。什么样的装修算是最适合呢？这时候就需要定义个最适合的标准，比如能够有最多的储物空间，比如最像ins的风格，比如装饰颜色要最符合北欧粉色系等等等等。为了满足这些“适合”的标准，你的装修、家具就会朝着这个方向选取。在机器学习里面这个最适合的定义就是损失函数，他就定义了你的参数要向着哪个方向选取。

那好了我也有房子了，也有最适合的定义了，那我们要做的其实就是确定装修和家具了。最最笨的方法是找到各种可能的装修和家具组合挨个的试，找到最好的那个组合。但这明显太困难了，在机器学习领域参数是无穷多个，挨个试的方法明显不可行。那总要有个方式，让你可以逐渐的找到那个最合适的装修组合。比如你可以先随便的找一个装修组合，然后依次换掉你觉着最不符合目标的东西，直到你觉着已经无法再换了，达到了最合适的状态。这个种找到最好装修组合的方式，在机器学习中就是算法。

在刚才的例子中，房子就是模型，而最合适的定义就是策略，找到最舒适装修组合的方法就是算法。模型 + 策略 + 算法的组合，是统计学习中抽象出来的基本组成要素。无论再繁复的模型，最终也是需要拆解成为这样的单个元素，才比较好去比较和理解。