2.1. 분위(分位)와 분위수(分位数, quantile)

분위는 순서가 있는 확률변수값(표본에서는 데이터)을 같은 확률질량(표본에서는 개체수)로 나누어 만든 범위(위치가 있는 범주)입니다. 분위는 위치에 따른 순서가 있고 그 순서는 분위 앞의 자연수로 나타냅니다. 예를 들어 4개의 분위의 순서는 1분위, 2분위, 3분위, 4분위로 표현합니다. 그리고 분위수는 각 분위의 위치를 나타내는 실수입니다. 예를 들어 1분위수, 2분위수, 3분위수, 4분위수가 있습니다. 정리하면 분위수는 같은 확률질량을 가지는 분위의 대표값이라고 할 수 있습니다.

백분위수(百分位数)와 데이터 분포

분위수에는 대표적으로 사분위수(四分位数, quartile)와 백분위수(百分位数, percentile)가 있습니다. 사분위는 4개의 분위이며 각 분위에 있는 데이터의 개수의 비율은 전체 데이터 개수의 25%로 같습니다. 백분위의 경우에는 100개의 분위이며 각 분위에 존재하는 데이터의 개수는 전체 데이터 개수의 1%로 모두 같습니다. 표준정규분포에 백분위를 적용하면 백분위수를 계산할 수 있습니다. 표준정규분포의 백분위수는 Z-score 라고도 합니다.

모집단의 분위와 분위수

모집단분포는 정규분포로 모델링하는 경우가 많습니다. 따라서 모집단의 분위와 분위수는 정규분포로부터 계산됩니다. 정규분포는 계산의 편의를 위해 표준정규분포로 변환됩니다. 무한의 개체수를 가지고 연속형 확률변수로 표현되는 모집단에서 분위의 개수는 유한개로 모델링됩니다. 그리고 각 분위는 같은 확률(확률질량)을 가집니다. 각 분위의 분위수(quantile)는 각 분위의 확률변수값의 평균입니다.

표본의 분위와 분위수

분위의 개수에 비해 표본크기가 충분히 큰 경우는 관측한 확률변수값(데이터)을 오름차순이나 내림차순으로 나열하고 같은 데이터 개수를 가지도록 범위(순서를 가진 범주)를 생성합니다. 이 때 확률변수값의 각 범위를 분위라 하며 분위는 위치를 가지게 되는 데 이 위치를 실수로 나타내면 분위수(分位数)가 됩니다.

예) 표본크기(표본을 이루는 개체의 수)가 400인 표본의 백분위수(百分位数, percentile)

1. 데이터를 오름차순으로 정리

2. 데이터를 4개씩 묶어 100개의 분위를 생성 : 1분위, 2분위, … , 100분위

3. 각 분위의 산술평균을 구하여 표본의 백분위수를 각 분위의 산술평균으로 구함 :  1분위수, 2분위수, … , 100분위수

분위의 개수보다 표본크기가 작은 경우 (예를 들면 백분위인 데 표본크기는 20인 경우)는 표본분포를 정규분포로 가정하고 구간을 만듭니다. 여기서 구간의 수는 분위의 개수를 의미합니다. 표본의 분포를 정규분포로 모델링하여 확률분포의 매개변수(모수)를 구하면 같은 확률(개체의 수)을 가지는 구간(분위)을 생성할 수 있습니다. 예를 들어 표준정규분포를 100분위로 나눈다면 각 분위의 분위수를 계산할 수 있습니다. 그리고 표본의 데이터가 어느 분위에 속하는 지를 분위의 구간으로 알 수 있습니다.

예) 표본크기가 20인 표본의 백분위수 : 정규분포의 백분위수로 모델링

1. 표본분포를 정규분포로 가정

2. 정규분포의 매개변수(표본평균과 표본분산)를 표본데이터로 부터 계산

3. 표본분포를 표준정규분포로 변환

4. 데이터를 오름차순으로 정리하고 어는 분위에 속하는 지 판정

표준정규분포 분위의 분위수와 그 분위에 속한 데이터 비교 : Q-Q plot

분위수의 계산의 편의성을 위해 정규분포를 표준정규분포로 변환합니다. 표준정규분포는 각 분위의 분위수를 알 수 있고 표본의 데이터는 어느 분위에 속하는 지 알 수 있습니다. 따라서 표본의 데이터가 속한 분위에서 분위수와 데이터(확률변수 관측값)를 비교할 수 있습니다. 표준정규분포의 각 분위의 분위수와 그 분위에 속한 데이터값의 비교를 2차원 직교좌표계에서 시각화한 것이 Q-Q plot 입니다.

2.2. Q-Q plot의 활용

Q-Q plot (Quantile-Quantile plot)을 그대로 번역하면 “분위수 – 분위수  그림”입니다.

추론통계에서 가설의 검정방법을 결정함에 있어 먼저 모집단이 정규분포를 나타낸다는 가정을 합니다. 모집단의 정규분포 가정은 표본 데이터의 정규성검정을 통해 검정됩니다. 정규성검정을 하는 방법 중에서 데이터시각화 방법으로 Q-Q plot이 있습니다.  Q-Q plot은 여러 프로그램(Goolge sheet, R등)을 이용하여 그릴 수 있습니다.

 Q-Q plot으로 표본 데이터의 정규성검정

표준정규분포와 표본데이터의 분포를 비교하기 위해서 Q-Q plot을 사용하면 직관적이고 시각적인 정규성검정이 가능합니다. Q-Q plot은 2차원 직교좌표계에서 점(Point)로 표현합니다. 가로축은 표준정규분포의 백분위수인 Z score 를 나타내는 실수축입니다.  세로축은 백분위에 속하는 데이터(확률변수의 관측값)를 나타내는 실수축입니다. 표본을 이루는 개체를 나타내는 점을 좌표(X, Y)로 표현하면 개체가 속하는 분위의 분위수가 X좌표의 값이고 표본 데이터가 Y좌표의 값이 됩니다. 만일 표본이 표준정규분포를 따른다면 점들은 직선($y=x$)상에 위치하게 됩니다. 이 경우에 Q-Q plot에서 데이터가 정규분포를 따르는 구간을 직관적으로 알 수 있는 큰 장점이 있습니다.

Q-Q plot으로 두 데이터 분포를 비교

Q-Q plot은 X축에 비교의 기준이 되는 분포의 분위를 생성합니다. 그리고 분위의 평균이 분위수(quantile)가 됩니다. 비교의 대상이 되는 데이터의 분포는 Y축에 나타냅니다. 기준이 되는 데이터 분포의 분위수와 그 분위에 속한 데이터를 좌표로 하는 점을 그립니다. 이 때 점의 수는 비교 대상이 되는 데이터의 수와 같습니다. 점이 같은 직선(Y=X)상에 위치하는 구간은 두 분포가 같다고 할 수 있고 두 분포의 차이는 직선에서 멀어지는 모양으로 나타납니다.

3.2. 구글시트 함수

=SORT(B3:B22,1,TRUE) : 데이터정렬. B3와 B22 범위에 있는 데이터를 1(첫)번째 열을 기준으로 오름차순(TRUE)으로 정렬. TRUE 대신 FALSE를 넣으면 내림차순으로 정렬.

=COUNT(E3:E22) : 데이터개수. E3와 E22 범위에 있는 숫자형 데이터들의 개수.

=NORM.S.INV(F3) : 표준정규분포의 확률변수. F3를 누적확률밀도로 가지는 표준정규분포 상에서의 확률변수(표준정규분포 가로축의 값).

=NORMDIST(L3,0,1,FALSE) : 정규분포 확률밀도. 평균 0, 표준편차 1인 정규분포, 즉 표준정규분포 상에서 L3 확률변수의 확률밀도를 계산함. FALSE 대신 TRUE를 입력하면, 누적확률밀도를 계산함.

4.1. 용어

Q-Q plot (Quantile-Quantile plot, 정규분포 분위수 대조도)

통계에서 Q–Q plot(정규분포 분위수 대대조도)은 확률분포의 속성을 표현하는 점그래프입니다. 두 확률분포의 연관된 위치를  2차원 좌표계에 표시하여 두 확률분포를 비교하는 데이터시각화입니다. 산점도에 나타나는 점(x, y)은 첫 번째 분포(X 좌표)의 동일한 분위수에 대해 표시된 두 번째 분포(Y 좌표)의 분위수입니다. 이 점들은 분위수 간격을  매개변수로 가지는 함수곡선을 정의합니다.

비교되는 두 분포가 유사하면 Q–Q plot의 점은 대략 동일선($y = x$)에 놓입니다. 분포가 선형인 상관을 가지면 Q–Q plot 의 점은 대부분 선상에 있지만 반드시 직선($y = x$)상에 있을 필요는 없습니다. Q–Q plot은 확률분포의 모수를 추정하는 시각화방법으로도 사용할 수 있습니다.

Q–Q plot은 분포의 모양을 비교할 때 사용하며 분포의 위치와 범위 및 왜도와 같은 속성이 두 분포에서 어떻게 유사하거나 다른지 시각화합니다. Q–Q plot은 데이터세트의 분포와 이론적 분포를 비교할 때도 사용할 수 있습니다. 두 표본 데이터를 비교하기 위해 Q–Q plot을 사용하는 것은 확률분포를 비교하기 위한 기본적인 비모수적 접근 방식으로 볼 수 있습니다. Q–Q plot는 일반적으로 표본의 히스토그램을 비교하는 것보다 더 자세히 분석할 수 있지만 덜 쓰이고 있습니다. Q–Q plot은 일반적으로 데이터 세트를 이론적인 모델과 비교하는 데 사용됩니다. 이를 통해 설명통계 외에 데이터시각화로 적합도 평가를 할 수 있습니다. Q–Q plot은 두 개의 이론적 분포를 서로 비교하는 데에도 사용됩니다. Q–Q plot는 분포를 비교하므로 산점도에서와 같이 대응된 값을 관찰하거나 대응되는 두 집단의 크기가 동일할 필요가 없습니다.

“Probability plot”이라는 용어는  Q–Q plot이나 덜 일반적으로 사용되는 P–P plot을 나타냅니다. 확률-확률 상관계수 plot(PPCC plot)은 관측된 데이터와 피팅된 분포의 일치를 측정하고 때때로 데이터에 분포를 pitting하는 수단으로 사용되는 Q-Q plot의 개념에서 나온 값입니다.

Reference

Q-Q plot – Wikipedia

2.1. 3차원 산점도

딸기 20개의 출하일과 과중과 당도를 관측한 데이터가 있습니다. 데이터를 보면 딸기 하나에 출하일, 과중, 당도, 세 개의 데이터(변수값)가 있습니다. 딸기의 출하일과 과중과 당도의 관계를 탐색하기 위하여 3차원 산점도(scatter plot)를 그립니다.

딸기 하나를 한 점(point)으로 생각하면 딸기가 세 변수를 가지므로 3차원 직각 좌표계에  점으로 딸기를 나타낼 수 있습니다. 직각 좌표계의 3축(3axis)은 서로 독립입니다. 즉, 서로 영향을 주지 않습니다. 그래서 3차원 산점도를 그리면 딸기가 가지는 세 변수의 관계를 관찰할 수 있습니다.

딸기가 20개이므로 20개의 점이 3차원 좌표계(공간좌표계)에 찍힙니다. 3차원 산점도를 그릴 때는 보통 결과의 원인이 되는 변수로 평면을 구성하고  관심있는 결과변수를 평면과 직교하는 축(axis)에 나타냅니다. 애니메이션에서는 딸기의 당도를 결과변수로 놓았습니다. 여기서, 결과변수를 종속변수(dependent variable)로 표현합니다. 따라서 원인변수는 종속변수에 영향을 주는 변수이며 보통 서로 독립인 경우를 가정하기 때문에 독립변수(independent variable)라고 부릅니다.

애니메이션에서 관심있는 변수를 당도로 하면 과중이 클수록 당도가 높게 나옵니다. 딸기가 무거울수록, 즉, 큰 딸기일수록  달다고 해석할 수 있겠습니다. 그리고 출하일이  겨울에 가까울수록 딸기가 달다는 것을 알 수 있습니다. 이것을 한번에 나타내면 과중이 작을수록 출하일이 봄에 가까울수록 당도가 떨어짐을 보여줍니다.

산점도는 데이터가 가지는 여러 변수의 관계를 분석할 때 유용합니다. 특히,  두 연속형 변수의 관계를 볼 때 2차원 산점도를 통하여 명확하게 두 변수의 관계를 탐색할 수 있습니다. 그래서 3차원 산점도를 3개의 평면에 투영해서 3개의 2차원산점도로 분해한 후 두 변수의 관계를 분석하기도 합니다.

3.2. 구글시트 함수

=MIN(B3:B22) : 최소값. B3에서 B22에 있는 데이터 중에서 최소값을 표시함. 

=MAX(B3:B22) : 최대값. B3에서 B22에 있는 데이터 중에서 최대값을 표시함.

4.1. 용어

산점도

산점도(산포도)는 일반적으로 여러 변수를 가지는 개체를 표시하기 위해 직각  좌표계를 사용하는 그래프 유형입니다. 점이 시각적으로 정의된 경우 (색상 / 모양 / 크기) 하나의 추가 변수로 표시 될 수 있습니다. 3차원 산점도에서 데이터는 수평 축상의 위치를 결정하는 하나의 변수 값과 수직축 상의 위치를 결정하는 다른 변수의 값을 갖는 점들의 모음으로 표시됩니다.

Reference

Scatter plot – Wikipedia

4.2. 참고문헌

Data_and_information_visualization – Wikipedia

2.1.  2차원 산점도

20개의 딸기의 과중과 당도를 측정한 데이터가 있습니다. 데이터를 보면 딸기 하나에 과중과 당도, 두 개의 데이터(변수값)가 있습니다. 딸기의 과중과 당도의 관계를 탐색하기 위하여 두 변수의 관계를 시각화하는 산점도(scatter plot)를 그립니다.

딸기 하나를 한 점(point)으로 생각하고 딸기 하나가 독립된 두 변수를 가진다면, 2차원 직각 좌표계에  점으로 딸기를 나타낼 수 있습니다. 결과적으로 딸기가 20개이므로 20개의 점이 평면좌표계에 찍힙니다. 산점도를 그릴 때는 보통, 원인이 되는 변수를 $X$축(가로축), 결과를 나타내는 변수를 $Y$축(세로축)으로 정합니다. 따라서 과중과 당도를 각각 $X$축과  $Y$축에 나타냅니다.

애니메이션의 산점도를 보면 과중이 클수록 당도가 높게 나옵니다. 딸기가 무거울수록, 즉, 큰 딸기일수록  달다고 해석할 수 있겠습니다. 두번째 애니메이션에서는 20개 딸기의 출하일과 당도를 기록한 데이터를 다룹니다. 산점도를 보면 출하일이  겨울에 가까울수록 딸기가 달다는 것을 알 수 있습니다.

산점도는 데이터의 요소가 가지는 두 변수의 상관 관계를 분석하는 그래프입니다. 특히,  두 연속형 변수의 관계를 분석하는데 매우 효율적입니다. 2차원 산점도는 개체(object, 요소, element)의 한 변수를 $X$축,  다른 변수를 $Y$축으로 하여 각각의 관찰값을  $XY$ 평면상의 점으로 나타내는 “데이터시각화”입니다.

두 개의 변수에서 한쪽이 증가하면 다른 쪽도 증가하는 관계를 양의 상관이라고 합니다. 반대로 한쪽이 증가하면 다른 쪽은 줄어드는 관계를 음의 상관이라고 합니다.

3.2. 구글시트 함수

=AVERAGE(B3:B22) : 평균. B3에서 B22에 있는 데이터의 평균을 구함. 데이터를 모두 더해서 개수로 나눔. 산술평균.

4.1. 용어

산점도

산점도(산포도)는 일반적으로 여러 변수를 가지는 개체를 표시하기 위해 직각  좌표계를 사용하는 그래프 유형입니다. 점이 시각적으로 정의된 경우 (색상 / 모양 / 크기) 하나의 추가 변수로 표시 될 수 있습니다. 3차원 산점도에서 데이터는 수평 축상의 위치를 결정하는 하나의 변수 값과 수직축 상의 위치를 결정하는 다른 변수의 값을 갖는 점들의 모음으로 표시됩니다.

Reference

Scatter plot – Wikipedia

4.2. 참조

Reference

Wikipedia

2.1 1차원 산점도

1차원의 연속형변수값들을 시각화하는 방법 중에 직관적인 방법은 직선좌표계에 변수값을 점으로 표시하는 것입니다. 직선좌표계의 원점(Origin)을 0으로 하면 변수값들은 원점으로부터 양방향으로 나눠지는 영역에 점으로 표시됩니다. 

애니메이션에서는 딸기의 당도가 모두 양수이므로 직선좌표계의 원점(0)의 오른편에 점들로 데이터가 표시되고 있습니다.

데이터를 산점도를 사용해서 시각화할때 점들이 중복되어 나타나는 것이 가장 큰 애로점입니다. 이것을 해결하기 위하여 여러가지 표현방법이 동원되지만 근원적인 해결은 되지 못합니다. 그래서 같이 사용되는 것이 도수분포도입니다. 한편, 데이터사이언스에서는 도수분포도가 1차원 데이터를 가지는 표본의 확률분포를 표시하는데 주로 사용됩니다. 정리하면 1차원 산점도와 도수분포도는 밀접한 관계를 가지며 도수분포도는 1차원 산점도를 변수의 구간을 정하는 조작을 통해 더 확실하게 시각화한 것입니다. 물론 구간의 간격을 정하는 과정에서 정보가 왜곡될 수 있다는 어려움이 있습니다.

딸기가 당도외에 또 하나의 변수를 가질 때는 2차원 산점도로 확장할 수 있습니다. 그래프로 표시한 변수를 X축 다른 변수를 Y축으로 하여 각각의 관찰값을 XY 평면좌표계의 좌표값으로 정합니다.

산점도를 점그래프라고도 합니다. 1차원 산점도를 확장해서 2차원 산점도를 그리려면 2차원 좌표계, 즉 평면좌표계에서 점을 찍습니다. 직각좌표계를 사용한다면 한 점당, X좌표, Y좌표 두개의 변수값이 필요합니다. 3차원좌표계,  즉 공간좌표계에서는 3개의 변수값이 필요합니다. 

3.2. 함수

=ROWS(F2:F2) : 지정된 배열 또는 범위에 있는 행의 개수.

4.1 용어

제목

내용.

Reference

Title – Wikipedia

4.2. 참조

Reference

Wikipedia