[비모수 통계] KS test (Kolmogorov–Smirnov test) 방법

신용평가모형의 타당성을 테스트하는 통계적인 기준은 많지만, 오늘은 그 중 하나인  K-S 통계량을 소개하고자 한다.

 

아래는 NICE평가정보에서 소개하고 있는, K-S 통계량 산출 원리이다.

K-S 통계량은 우량집단과 불량집단의 누적분포의 차이를 나타내는 지표로 신용평가모형의 변별력 평가 시 주요 판별 통계량으로 활용됩니다.
K-S 통계량이 20 이상인 경우 신용평가모형의 변별력이 확보되는 것으로 판단합니다.

신용등급에 따른 우불량 집단의 분포 차이를 비교하여, 누적 우량비율과 누적 불량비율 차이의 최대 값을 K-S 통계량으로 정의합니다.

출처 :NICE평가정보 신용등급체계공시

K-S 테스트는 one-sample, two-sample로 나뉘는데, 우선 모집단에서 추출한 관측된 표본의 분포가 어떤 특정한 이론적 분포를 따르는가를 알아보기 위한 검정인, one-sample K-S 테스트부터 소개한다.

 

K-S 테스트는 누적분포함수(F(X))의 차이(D)의 가장 큰 값을 검정통계량으로 한다.

 

누적분포함수(F(X))

\begin{equation}
F_{X}(x)=P_{X}(X \leq x)
\end{equation}

 

Kolmogorov-Smirnov Test statistics

\begin{equation}
D_{n}=\sup _{x}\left|F(x)-F_{0}(x)\right|
\end{equation}

 

Kolmogorov-Smirnov Test에서는 sample size(n)이 40보다 적으면,  Small Sample이며, 40보다 크거나 같으면 Large Sample K-S One Sample Test이다. 샘플 사이즈에 따라서, 임계치인 Critical value가 달라지기 때문에 구분할 필요가 있다.

 

예시) 하버드에 다니는 10명의 학생에게 하루에 몇 분이나 공부를 하냐고 물어보았을 때, 다음과 같이 대답을 했다고 하자.

학생1	학생2	학생3	학생4	학생5	학생6	학생7	학생8	학생9	학생10
108	112	117	130	111	131	113	113	105	128

다음과 같은 데이터를 수집했다고 했을때, 해당 데이터가 평균이 120이고, 표준편차가 10인 정규분포에서 왔다고 할 수 있을까?(각 데이터는 IID 가정)

 

다음과 같은 예시에 대한 가설검정을 수행해보자. 가설을 검정하는 방법은 06장에서 소개한 방법과 똑같다. 

 

01. 가설 설정

Null Hypothesis는 관측된 누적 확률 분포가 검증하고자 하는 통계적 분포(정규분포, 균등 분포 등)과 같다로 두고, 대립 가설은 두 분포가 다르다로 설정한다.

 

\begin{equation}
\begin{aligned}
&H_{0}: F(x)=F_{0}(x) \\
&H_{1}: F(x) \neq F_{0}(x)
\end{aligned}
\end{equation}

 

여기서 F(x)는 샘플 데이터로 부터 얻은 CDF이며, F0(X)는 평균이 120이고, 표준편차가 10인 정규분포이다.

1) 해당 정규분포의 CDF를 구하면, 다음과 같다.

 

\begin{equation}
\begin{aligned}
F_{0}(x) &=P(X \leq x) \\
&=P\left(Z \leq \frac{x-12}{10}\right) \\
&=\Phi\left(\frac{x-120}{10}\right)
\end{aligned}
\end{equation}

 

2) F(x)의 CDF를 구하면 다음과 같다.

\begin{equation}
F\left(x_{n}\right)=\frac{n}{10} \text { for } k=1,2, \ldots, 10
\end{equation}

 

02. 유의 확률 설정

5% Significance level 설정

 

03. 검정 통계량 계산

\begin{equation}
D=\max \left|F_{0}(x)-F_{n}(x)\right|
\end{equation}

 

K	Items	Fn(Xk)	F0(Xk)	D =|F0(Xk) - Fn(Xk)|
1	105	0.1	0.0668	0.0332
2	108	0.2	0.1151	.
3	111	0.3	0.1841	.
4	112	0.4	0.2119	.
5	113	0.5	0.2420	0.3580
6	113	0.6	0.2420	0.3590
7	117	0.7	0.3821	0.3179
8	128	0.8	0.7881	0.0119
9	130	0.9	0.8413	.
10	131	1.0	0.8643	.

\begin{equation}
F_{0}(x)=\Phi\left(\frac{x-120}{10}\right) ; \quad F_{n}\left(x_{k}\right)=\frac{k}{10}
\end{equation}

여기서 D가 가장 큰 값은 0.3580이다.

\begin{equation}
\begin{aligned}
D &=\max \left|F_{0}(X)-F_{n}(X)\right| \\
&=0.3580
\end{aligned}
\end{equation} 

 

04. 결론

여기서 샘플의 개수 n이 40보다 작기 때문에, Small sample K-S test이다.

 

Critical Values of One-Sample Kolmogorov-Smirnov Test Statistic D

	Alpha
n	0.20	0.10	0.05	0.02	0.01
1	0.900	0.950	0.975	0.990	0.995
2	0.684	0.776	0.842	0.900	0.929
3	0.565	0.636	0.708	0.785	0.829
4	0.493	0.656	0.624	0.689	0.734
5	0.447	0.509	0.563	0.627	0.669
6	0.410	0.468	0.519	0.577	0.617
7	0.381	0.436	0.483	0.538	0.576
8	0.358	0.410	0.454	0.507	0.542
9	0.339	0.387	0.430	0.480	0.513
10	0.323	0.369	0.409	0.457	0.489

n=10 일때, 5%  유의 수준에서 D의 Critical Values는 0.409이다. 우리가 얻은 검정 통계량에서 D의 값은 0.3580이 나왔기 때문에, 귀무가설을 기각할 수 없음. 따라서 해당 데이터는 5% 유의 수준하에서 정규분포에서 나왔다라고 결론내릴 수 있다.

 

Reference:

https://www.youtube.com/watch?v=we4p332VoPQ 

http://oak.ucc.nau.edu/rh83/Statistics/ks1/