RavenZhao's Blog

DON'T PANIC.

Day3-正规方程

Coursera机器学习课程

Day 3.正规方程 用正规方程直接求解线性回归参数$\theta$的最优值。 梯度下降法使用迭代方式计算代价函数的全局最小值。 假设$J(\theta)=a\theta^2+b\theta+c$ $\frac{\part}{\part\theta_i}J(\theta)=0$ $\t...

第二周-多元线性回归

Coursera机器学习课程

第二周 多元线性回归 多元线性回归 多元线性回归假设:$h_{\theta}(x)=\theta_0+\theta_1x_1+\theta_2x_2+…+\theta_nx_n$ 定义$x_0=1$ $x=\begin{bmatrix}x_0\x_1\x_2\\vdots\x_n\end{bmatrix}$ $\theta=\begin...

(一)波兰国家的由来和早期封建时代的分裂

波兰历史阅读笔记

第一章 波兰国家的由来和早期封建时代的分裂 尼安德特人被克罗马农人征服、混居,形成东欧文化。 东欧西部前日茨文化,东部奇齐涅茨文化融合,演变成斯拉夫民族的母亲:乌日茨文化。 斯拉夫民族分家: 第聂伯河流域属于东斯拉夫人(俄罗斯、乌克兰、白罗斯) 奥德河和维斯瓦河流域属于西斯拉夫人(波兰、捷克、斯洛伐克、摩拉维亚) 巴尔干半岛属于南...

第一周-一元线性回归

Coursera机器学习课程

第一周 一元线性回归 代价函数 定义线性回归假设函数为:$h_{(\theta)}(x)=\theta_0+\theta_1x$ 代价函数为:$J(\theta_0,\theta_1)=\frac1{2m}\sum_{i=1}^m(h_{(\theta)}(x_i)-y_i)^2$ 此代价函数也被称为平方误差函数,或者平方误差代...

第十章 降维与度量学习

机器学习

第十章 降维与度量学习 10.1 k近邻学习 $k$近邻(k-NearestNeighbor,简称KNN)学习是一种常见的监督学习方法。 给定测试样本,基于某种距离度量找出训练集中与其最靠近的k个训练样本,然后基于这k个“邻居”的信息来进行预测。 在分类任务中常使用“投票法”,即选择这k个样本中出现最多的类别标记作为预测结果; 在回归任...

第九章 聚类

机器学习

第九章 聚类 9.1 聚类任务 无监督学习(unsupervised learning)中,训练样本的标记信息未知。 目的:通过对无标记训练样本的学习来揭示数据的内在性质及规律 聚类:试图将数据集中的样本划分为若干个通常是不想交的子集。 每个子集称为一个“簇”。 每个簇可能对应于一些潜在的概念类别。对于聚类...

第八章 集成学习

机器学习

第八章 集成学习 8.1 个体与集成 集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务,有时也被称为多分类器系统(multi-classifier system)、基于委员会的学习(committee-based learning)等。 先产生一组“个体学习器”(individual learner)...

第七章 贝叶斯分类器

机器学习

第七章 贝叶斯分类器 7.1 贝叶斯决策论 贝叶斯决策论(Bayesian Decision Theory)是概率框架下实施决策的基本方法。 在所有相关概率都已知的理想情形下 考虑如何基于已知概率和误判损失来选择最优的类别标记。 假设有$N$中可能的类别标记,即$Y={c_1,c_2,…,c_N}$,$\lambda_{ij}$...

第六章 支持向量机

机器学习

第六章 支持向量机 6.1 间隔与支持向量 给定训练样本$D={(x_1,y_1),(x_2,y_2),…,(x_m,y_m)},y_i\in{-1,1}$,分类学习最基本的想法就是基于训练集$D$在样本空间中找到一个划分超平面,将不同类别的样本分开。 划分超平面所产生的分类结果应该是最鲁棒的,对未见示例的泛化能力最强。 在样本空间中,划分超平面可以通过线性方程描述:$w^...

第五章 神经网络

机器学习

第五章 神经网络 5.1 神经元模型 神经网络是由具有适应性的简单单元组成的广泛并行互联的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 神经元(neuron)模型:神经网络中最基本的成分。“简单单元” 连接(connection) 激活函数(activation function): ...