수학 (55) 썸네일형 리스트형 수리통계학 (50) - 완비충분통계량 지난 글에서는 충분통계량의 성질에 대해 써보았습니다. 이번 글에서는 완비충분통계량에 대해 써보겠습니다. 우선 이번 논의에서 활용되는 개념인 완비성에 대해 간략히 설명하고 넘어가겠습니다. 어떤 연속확률변수 $ X $ 와 이의 확률밀도함수 $ f_X(x;\theta) $ 가 주어졌다고 해보겠습니다. 그리고 위의 함수에 포함된 모수 $ \theta $ 는 $ \Theta $ 라는 집합을 구성하는 원소 중 하나라고 가정하겠습니다. 그렇다면 모수의 값에 따라 서로 다른 확률밀도함수를 얻을 수 있습니다. 이들 함수를 모두 모아놓은 집합 $ \left\{ f_X(x;\theta)|\theta \in \Theta \right\} $ 를 $ X $ 의 분포족(family of distribution)이라고 부릅니다. 그.. 수리통계학 (49) - 충분통계량의 성질 지난 글에서는 최소분산불편추정량(MVUE)과 충분통계량에 대해 써보았습니다. 이번 글에서는 충분통계량의 성질에 대해 써보겠습니다. 우선 iid한 확률변수들로 구성된 확률벡터 $ \mathbf{X}=(X_1,X_2,...,X_n )' $ 를 생각하고 이들 변수가 확률밀도함수(혹은 확률질량함수) $ f(x;\theta) $ 를 가진다고 하겠습니다. 이하의 논의는 $ X_1,X_2,...,X_n $ 이 연속확률변수인지 혹은 이산확률변수인지에 무관하게 성립하는 내용이지만 편의를 위해서 이들이 연속확률변수인 경우를 상정하려고 합니다. 지난 글에서, 어떤 통계변수 $ Y:=T(\mathbf{X}) $ 가 $ \theta $ 의 충분통계량이 될 조건은 아래와 같은 식을 만족하는 함수 $ H(\cdot) $ 가 존재하.. 수리통계학 (48) - 최소분산불편추정량 지난 글에서는 가우스-마르코프 정리에 대해 써보았습니다. 이번 글에서는 최소분산불편추정량의 개념에 대해 써보겠습니다. 우선 본론으로 들어가기에 앞서 최소제곱추정량의 성질을 간략히 요약해보겠습니다. 지난 글에서 다루었던 최소제곱추정량 $ \mathbf{b} $ 는 아래와 같은 극소화 문제를 풀어서 계산했습니다. $ \mathbf{b}=\underset{\mathbf{\widetilde{\beta}}}{\text{argmin}}\, SSR(\mathbf{\widetilde{\beta}})=\underset{\mathbf{\widetilde{\beta}}}{\text{argmin}}\,(\mathbf{y}-\mathbf{X\mathbf{\widetilde{\beta}}})'(\mathbf{y}-\mathbf{.. 수리통계학 (47) - 가우스-마르코프 정리 지난 글에서는 최소제곱추정에 대해 써보았습니다. 이번 글에서는 가우스-마르코프 정리에 대해 써보겠습니다. 가우스-마르코프 정리는 $ \mathbf{y}=\mathbf{X\beta}+\mathbf{\epsilon} $ 의 회귀모형이 주어졌을 때 기울기 벡터 $ \mathbf{\beta} $ 의 최소제곱추정량이 모든 선형불편추정량 가운데 최소분산을 갖는다는 것입니다. 따라서 $ \mathbf{\beta} $ 의 최소제곱추정량을 $ \mathbf{b} $ 로 표기하면, 임의의 선형불편추정량 $ \mathbf{\hat{\beta}} $ 에 대해 아래의 부등식이 성립합니다. $ Var(\mathbf{b}|\mathbf{X})\leq Var(\mathbf{\hat{\beta}}|\mathbf{X}) $ 이제 위의 .. 수리통계학 (46) - 최소제곱추정 지난 글에서는 회귀분석의 기본 가정들에 대해 써보았습니다. 이번 글에서는 회귀분석을 수행하는 방법 중 하나인 최소제곱추정에 대해 써보겠습니다. 지난 글에서 회귀분석은 아래의 식을 구성하는 벡터들을 규명하는 과정임을 언급했습니다. $ \mathbf{y}=\mathbf{X\beta}+\mathbf{\epsilon} $ 회귀분석의 기본적인 목표는 $ \mathbf{y},\mathbf{X} $ 간의 선형관계에 대한 정보를 담고 있는 기울기 벡터 $ \mathbf{\beta} $ 를 추정하는 것입니다. 기울기 벡터 $ \mathbf{\beta} $ 는 다음과 같은 여러 가지 방법으로 추정할 수 있습니다. 1. 최소제곱법(ordinary least square method) 2. 최우추정법(maximum likel.. 이전 1 2 3 4 5 ··· 11 다음