Archive for the ‘数据处理’ Category

数据处理的心得

星期三, 9月 29th, 2010

不知道怎么回事,现在我在世界一流的研究所得访问,学习的大部分是数据处理,这个我以前从来没有考虑过得问题,我总以为那是工程师做的小事情,不是我这样的搞物理的人做的,但是随着我的深入学习,我发现:

1 大牛多的是,搞物理真的是比搞数据处理难得多的多,别说爱因斯坦了,就是kip也不是我辈能比得,牛校的博士是默认你已经会了博士的课程,让你去直接做工作的!不知道那些大牛是如何,什么时候完成的那些基础的学习。—-我真的什么也不会……

从理论方面,我们似乎可以回答第一个问题,或者说预测出第一个问题:我们的理论说有这么一个物理量,例如  反电子 (这个东西是狄拉克纯理论预言的?)前提是你坚信你的物理是对的。物理回答不了第二个问题。

数据方面,我们可以回答这两个问题:从一组数(大自然总能告诉我们一组数)中

1我们利用 阀值(性噪比) 总可以在一定程度(致信度)上找到一个 成为‘信号’的 物理量

2 我们利用 参数估计 可以确定这个‘信号’是多少。

然后我们需要回答的是,这个信号是什么? 大牛就可以自己造理论了……小孩就要从理论中找了。

其实往往是这样的 理论预言了一个物理量,然后我们设计试验,去找一组数,从这组数中提取的”信号”,如果信号确实和我们的理论说的物理量一样(数值一样,我们能测量的都是数-标量) 那么我们就说 这个理论是正确的(?似乎需要唯一性定理的证明),否则可能试验数据处理出了问题,因为我们数据处理的方法也不确定是不是正确的。不过在不同的(不同种类,同种类不同时或不同仪器)试验后,如果那几个试验都不和理论一样,绝多数人会否定理论。韦伯的结果只有他自己承认。

我是不是已经堕落了……

关注知识本身!!和别人学习就要学习人家最擅长的东西。

什么是统计?

星期三, 9月 29th, 2010

“A decision was wise, even though it led to disastrous consequences, if with the evidence at hand indicated it was the best one to make; and a decision was foolish, even though it led to the happiest possible consequences, if it was     unreasonable to expect those consequences”

Herodotus, c.500 BC

(We should do the best with what we have, not what we wished we had.)

“Probability theory is nothing but common sense reduced to calculation”

Pierre-Simon Laplace

(1749 –1827)

Occam’sRazor

“Frustrafit perplura,quod fieri potestperpauciora.”—“It is vain to do with more what can be done with less.”

William of Occam

(1288 –1348 AD)

(Everything else being equal, we favour models which are simple.)

假设推断

星期三, 9月 29th, 2010

strictly frequentist method 是 用似然比,用2种错误概念,使用备择假设,不使用验前分布。
The Bayesian would form posterior probabilities:。Bayesian 只利用验前分布回答某种事情发生个概率(验后分布),不做备择假设判断,似乎被噎死不能做假设推断。一个发生概率是95%,一个是94%,你能拒绝啥呢?

关键是,很多时候,对于frequestist 来说我们不知道噪声的似然函数,即时知道了,得到似然比的数学表达式,也不能,确定threshold
对于被噎死来说,验前分布也不是那么好得到,似乎每个人都可以有不同的回答,……

似乎在宇宙学尺度,Bayesian更有意义?

似乎我接受了 被噎死的哲学?
世界是独立于我们的还是我们感知的?回答这个问题显然被噎死,和frequentist 有2种不同的态度。

什么是好的检测‘信号’方法?

星期三, 9月 29th, 2010

先回答下面的问题:
1你要找什么–信号。我们能否知道他们的特性?部分还是全部?
2数据里面除了你要找的,还有什么?我们能否知道这些不需要的东西的特性?

一般我们根据理论,只能知道 要找的东西的部分特性:例如某种引力波的波形,但是不能知道他们的参数具体值。
我们也只能知道这些不需要东西(噪声)的统计特性:我们不能预知这些东西随时间的准确变化,只能有比较精确的统计特性,例如均值,方差等。

什么是好的数据处理方法呢?
利用知道的性质,构造一个统计量(主要是因为我们只知道噪声的统计特性),这个统计量中噪声的贡献越小,信号的贡献越大我们越能探测到它。—–理论上说,知道得越多,如何建统计量就有更明确的目标,越容易探测。

因此需要数据点够多—统计特性才能稳定的体现,