为什么说 为什么叫最小二乘法法 基于 中心极限定理

请运用大数定律或中心极限定理证明,谢谢!
取相互独立同分布随机变量序列Xk,且Xk~P(1),
参数为1的泊松分布。
E(Xk)=D(Xk)=1,
且Yn=X1+X2+...+Xn~P(n).
根据中心极限定理得:
lim{n→∞}P([Yn-n]/[√n]≤0)=Φ(0)=1/2
{[Yn-n]/[√n]≤0}={Yn≤n}
P([Yn-n]/[√n]≤0)=
=P(Yn=0)+P(Yn=1)+....+P(Yn=n)=
=e^(-n)∑{s≤n}n^s/s!
lim{n→∞}[e^(-n)∑{s≤n}n^s/s!]=1/2
1.若{Xn}同时依概率收敛于X和Y,任给正整数L,任给正整数M,存在N,当n&NP(|X(n)-X|&1/L),P(|X(n)-Y|&1/L)&1/(M2^L...
我总觉得lim(N→∞){[Σ(n=1~N)n^k]-[N^(1+k)]/(1+k)}中的字母看起来不是非常地舒服,请您允许我稍微做一下字母的改变我把您原题中的...
设M lim(M^M/M!)*M/n=0=& lim(M^n/n!)=0同理:lim(N^n/n!)=0所以:lim(a^n/n!)=lim(|a|^n/n!)...
均匀分布的数学期望和方差都存在的,因为均匀分布的密度函数只在一个有限区域中取常数,其数学期望和方差的仅仅是一个常义的积分,故都存在。
答: 顺生的知水生好还是干生好呢?一直拿不定注意。
答: 嗯,还不错啊~~我同学去年报的他们的班
答: 哦!我去年的!我面试前一星期就去了,找到导师,就拿了一点土特产,表表心意,表示会努力好好学习.导师很善意,不会为难学生,问我带专业书没,拿出来,给我大概讲了一下...
答: 教育硕士没出成绩呢,其他的差不多了。
大家还关注
确定举报此问题
举报原因(必选):
广告或垃圾信息
激进时政或意识形态话题
不雅词句或人身攻击
侵犯他人隐私
其它违法和不良信息
报告,这不是个问题
报告原因(必选):
这不是个问题
这个问题分类似乎错了
这个不是我熟悉的地区 上传我的文档
 下载
 收藏
该文档贡献者很忙,什么也没留下。
 下载此文档
中心极限定理的内涵和应用
下载积分:1800
内容提示:中心极限定理的内涵和应用
文档格式:DOC|
浏览次数:278|
上传日期: 09:54:10|
文档星级:
全文阅读已结束,如果下载本文需要使用
 1800 积分
下载此文档
该用户还上传了这些文档
中心极限定理的内涵和应用
官方公共微信机器学习之最小二乘法
& &最小二乘法
最小二乘法是机器学习的基础算法,它主要是为了让结果值更好的拟合样本的真实值。
&比如一元线性回归模型中,在上图二维空间的平面坐标系里,有好多蓝色的坐标点,相当于n组观察值(x0,y0),(x1,y2),...(x(n-1),y(n-1)),对于平面的这n个点,可以用无数条曲线来拟合。要求样本回归函数尽可能地拟合这组值。也就是要找到一条y=kx+b的直线去尽可能的把这些蓝色的坐标点的位置特征表现出来。综合来看,这条直线处于样本数据的中心位置最合理。最小二乘法就是为了去寻找这条最好的直线的。为了计算上的方便,我们来做一个更强但不改变问题性质的限制:假设x的值是完全准确的,只有y包含了一定的观测误差。那么最小二乘法的思想就是让这n个观察点的y与把对应的x带入kx+b算出来的y做差值,并求其平方,最后使得这n个平方值的和最小。
方程如下:
这个是残差的平方和的图像,它是一个凹形的曲线,可以看到存在一个最低点,这个就是我们想要的那条直线时最优的情况。为了不让新手对机器学习中用的数学公式产生恐惧,你只需要知道要求解那个最低点就好了,真要具体求解的话,会用到大学高数中的偏导数知识。下面是更高维度的情况,同样会有一个最低点。
&最小二乘法是对于数据的观测误差是基于高斯分布这种情况的,而一旦数据的观测误差不是高斯分布,那么最小二乘法就失去了它的独特地位。那么为什么还要用最小二乘法呢?其实还有最小一乘法。
&这要归功于拉普拉斯证明了中心极限定理,即任何随机误差,不包含系统误差,如果是由多种独立的微小误差相加组合而成的,那么它的分布一定趋近于高斯分布。
&现实生活中,大部分的观测误差来源都较为复杂,那么看成多种微小误差的叠加。比如1801年,意大利天文学家皮亚齐发现了第一颗小行星谷神星,皮亚齐的误差来自空气不好+镜片不好+眼歪+手抖+那美克星超新星爆发...等,这么特殊难度的一件事,它的总体概率分布就趋近于高斯分布。
&而最小一乘法呢?机器学习中常常提到的长尾(long
tail)的数据,经常服从拉普拉斯分布,对于他们来说,最小一乘法才是更好的解法,但是最小一乘法的目标函数有一个绝对值,这对优化算法来说非常不友好。因此最小二乘法对于现实中的观测数据具有很好的效果。
还是刚才的那张图,我想再补充一下。什么叫方程拟合?什么叫曲线拟合?我们计算的都是每个蓝色的点的y与该x下对应的直线上的点的差值,就是图中的那个红色的线,这个叫方程拟合,因为我们把x代入了y=kx+b这个方程,从而求出了y。让这个蓝色的点对这条直线做垂线,就是图中的绿色的线,这个就叫曲线的拟合。可以看出来曲线拟合比方程拟合拟合的效果更好,但是计算复杂度较高。比如方程拟合计算的是红线,这样直接可以写成|
( k *xi + b ) - yi
|,但是曲线拟合要求那段垂线的长度,就没有那么好算了吧,而且这个只是一元二维空间,多维度情况下,会更加的难以计算,所以最小二乘法采用的是方程拟合。
已投稿到:
以上网友发言只代表其个人观点,不代表新浪网的观点或立场。关于线性模型中误差方差估计中心极限定理余项的非一致性估计--《数学研究与评论》1986年04期
关于线性模型中误差方差估计中心极限定理余项的非一致性估计
【摘要】:正一、引言 考虑线性回归模型 试验点列{X_i}为一列已知的P维向量,β为未知的回归系数向量,{e_j}为一列独立的试验误差,满足条件 误差方差σ~2是线性模型的一个重要的未知参数,若记 则在(1)式的前n次试验的基础上,最小二乘法规定以
【作者单位】:
【关键词】:
【正文快照】:
一、引 言 考虑线性回归模型 Yf=xj声+ef J=1,2,…n试验点列{X,}为一列已知的P维向量,∥为未知的回归系数向量,{e,}误差,满足条件 Ee,:0; Vare,=∥。,J=l,2,…误差方差口。是线性模型的一个重要的未知参数,若记 (1)为一列独立的试验(2) X。:(X1;X2;…;X。),r。=rank X。 y(n)=
欢迎:、、)
支持CAJ、PDF文件格式,仅支持PDF格式
【共引文献】
中国期刊全文数据库
白志东,施锡铨;[J];工程数学学报;1984年01期
林正炎;[J];数学学报;1984年02期
赵林城;[J];数学学报;1984年03期
缪柏其;[J];数学学报;1984年06期
何仲洛;[J];数学研究与评论;1982年04期
陈桂景,吴启光,赵林城;[J];数学研究与评论;1983年04期
缪柏其;[J];数学杂志;1983年03期
陆军;[J];应用数学学报;1991年02期
沈鸿;[J];中国计量学院学报;2005年02期
【相似文献】
中国期刊全文数据库
董海玲;侯振挺;江国朝;;[J];应用数学学报;2011年04期
赵扬;;[J];内江师范学院学报;2011年08期
孙琳;;[J];经济数学;2011年02期
董海玲;;[J];数学理论与应用;2011年02期
潘素娟;李时银;;[J];福州大学学报(自然科学版);2011年04期
于娜;;[J];黑龙江科技信息;2011年22期
宋安超;;[J];科技信息;2011年18期
冯敬海;刘茹菲;黄玉洁;;[J];大连理工大学学报;2011年05期
俞静一;;[J];电子对抗;1996年03期
朱奋秀;;[J];成功(教育);2011年07期
中国重要会议论文全文数据库
张荷观;;[A];中国现场统计研究会第12届学术年会论文集[C];2005年
林正炎;;[A];面向21世纪的科技进步与社会经济发展(上册)[C];1999年
范春春;;[A];第五届设备管理第八届设备润滑与液压学术会议论文集——《设备管理设备润滑与液压技术》[C];2004年
谭中权;彭作祥;;[A];第三届贵州省自然科学优秀学术论文评选获奖论文集(2010年)[C];2010年
张宏坤;;[A];第十一届全国非线性振动学术会议暨第八届全国非线性动力学和运动稳定性学术会议论文集[C];2007年
宋立新;鲁大伟;付增梁;;[A];中国现场统计研究会第十三届学术年会论文集[C];2007年
马湘玲;陈铁生;冯密罗;;[A];数学·物理·力学·高新技术研究进展——2000(8)卷——中国数学力学物理学高新技术交叉研究会第8届学术研讨会论文集[C];2000年
冯保红;王煜;冯蔚;;[A];全国第五届信号和智能信息处理与应用学术会议专刊(第一册)[C];2011年
邓红峰;岳超源;赵勇;;[A];2001中国控制与决策学术年会论文集[C];2001年
顾雅娟;仰枫帆;;[A];2010通信理论与技术新发展——第十五届全国青年通信学术会议论文集(下册)[C];2010年
中国博士学位论文全文数据库
臧庆佩;[D];江苏大学;2012年
陈守全;[D];浙江大学;2006年
蒋义文;[D];武汉大学;2003年
夏红强;[D];中国科学院研究生院(武汉物理与数学研究所);2006年
董海玲;[D];中南大学;2008年
胡锋;[D];山东大学;2011年
许忠好;[D];上海交通大学;2008年
李云霞;[D];浙江大学;2005年
黄旭东;[D];华东师范大学;2008年
王小英;[D];东北师范大学;2009年
中国硕士学位论文全文数据库
李敏;[D];山东大学;2010年
谭俊佳;[D];西北大学;2011年
任艳艳;[D];山西大学;2012年
郭明乐;[D];安徽师范大学;2002年
马松林;[D];安徽大学;2007年
程建华;[D];吉林大学;2008年
李光武;[D];吉林大学;2007年
刘凌冰;[D];大连理工大学;2006年
申志;[D];长沙理工大学;2007年
拉穷;[D];西南交通大学;2007年
&快捷付款方式
&订购知网充值卡
400-819-9993
《中国学术期刊(光盘版)》电子杂志社有限公司
同方知网数字出版技术股份有限公司
地址:北京清华大学 84-48信箱 大众知识服务
出版物经营许可证 新出发京批字第直0595号
订购热线:400-819-82499
服务热线:010--
在线咨询:
传真:010-
京公网安备75号苹果/安卓/wp
积分 1083, 距离下一级还需 292 积分
权限: 自定义头衔, 签名中使用图片, 隐身
道具: 彩虹炫, 涂鸦板, 雷达卡, 热点灯, 金钱卡, 显身卡, 匿名卡, 抢沙发下一级可获得
权限: 设置帖子权限道具: 提升卡
购买后可立即获得
权限: 隐身
道具: 金钱卡, 彩虹炫, 雷达卡, 热点灯, 涂鸦板
开心签到天数: 64 天连续签到: 1 天[LV.6]常住居民II
本帖最后由 wanghaidong918 于
03:01 编辑
各位老师好:
& && && &有以下问题:
(1)中心极限定理:为什么叫中心极限定理?所讲的中心极限到底是什么?
(2)样本均值的期望等于总体均值:样本抽样是会产生误差的,因此,样本统计量(样本均值或方差)可能大于总体参数,也可能小于总体参数,当然也可能等于总体参数,但为什么讲,样本均值 是总体均值 的无偏估计量 呢?
以上,恳请老师用通俗语言解释,不要一堆证明,小弟真的看不懂。谢谢
载入中......
1.这个不用纠结于名字吧,定理讲的就是独立随机变量的和或者均值渐进服从正态分布。中心的话,数学或者统计学里有时候把
一系列数减去他们的均值 这个操作叫做中心化,比如 X1...Xn,他们均值为X,X1-X,...Xn-X就是把它们中心化。。。。如果看定理的公式表述会明白点。。这个完全不用纠结,反正极限嘛就是指收敛到正态分布
2.这里的样本均值是一个随机变量,不是一个数,你一次抽样得出的一个均值数字只是随机变量的一次取值。如果 ...
1、中心极限定理指的是随机变量的中心化在大样本的条件下会渐近服从正态分布,中心极限定理的得名应突出表现为对随机变量的标准化过程,即:变量与其期望的差比上标准差
2、样本均值的期望等于总体均值指的是多次抽样的样本均值有回归总体均值的趋势,这在大样本和多次抽样的条件下成立
这个疑问我也想咨询
Everything&&is& &possible
看看。。。
戚聿莹 发表于
这个疑问我也想咨询& && && & 有答案了&&记得和我分享下 谢谢
1.这个不用纠结于名字吧,定理讲的就是独立随机变量的和或者均值渐进服从正态分布。中心的话,数学或者统计学里有时候把&&一系列数减去他们的均值 这个操作叫做中心化,比如 X1...Xn,他们均值为X,X1-X,...Xn-X就是把它们中心化。。。。如果看定理的公式表述会明白点。。这个完全不用纠结,反正极限嘛就是指收敛到正态分布
2.这里的样本均值是一个随机变量,不是一个数,你一次抽样得出的一个均值数字只是随机变量的一次取值。如果你抽样足够多次比如m次,每次都是抽取n个样本,算出这n个样本的一个均值,这样m次抽样得出的就是m个均值,这m个数的均值是非常接近于总体均值的,也就说样本均值是总体均值的无偏估计。
本帖最后由 nanmo 于
11:37 编辑
1.这个不用纠结于名字吧,定理讲的就是独立随机变量的和或者均值渐进服从正态分布。中心的话,数学或者统计学里有时候把&&一系列数减去他们的均值 这个操作叫做中心化,比如 X1...Xn,他们均值为X,X1-X,...Xn-X就是把它们中心化。。。。如果看定理的公式表述会明白点。。这个完全不用纠结,反正极限嘛就是指收敛到正态分布
2.这里的样本均值是一个随机变量,不是一个数,你一次抽样得出的一个均值数字只是随机变量的一次取值。如果你抽样足够多次比如m次,每次都是抽取n个样本,算出这n个样本的一个均值,这样m次抽样得出的就是m个均值,这m个数的均值是非常接近于总体均值的,也就说样本均值是总体均值的无偏估计。
1、中心极限定理指的是随机变量的中心化在大样本的条件下会渐近服从正态分布,中心极限定理的得名应突出表现为对随机变量的标准化过程,即:变量与其期望的差比上标准差
2、样本均值的期望等于总体均值指的是多次抽样的样本均值有回归总体均值的趋势,这在大样本和多次抽样的条件下成立
nanmo 发表于
1.这个不用纠结于名字吧,定理讲的就是独立随机变量的和或者均值渐进服从正态分布。中心的话,数学或者统计 ...感谢老师回复&&有点理解了&&谢谢!
nanmo 发表于
1.这个不用纠结于名字吧,定理讲的就是独立随机变量的和或者均值渐进服从正态分布。中心的话,数学或者统计 ...谢老师指点!!!!!!!!!!!!
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
如有投资本站或合作意向,请联系(010-);
邮箱:service@pinggu.org
投诉或不良信息处理:(010-)
论坛法律顾问:王进律师

我要回帖

更多关于 最小二乘法 的文章

 

随机推荐