2.1. Q-Q plot 적용 예

추론통계에서 가설의 검정방법을 채택함에 있어 대부분, 집단이 정규분포를 가진다는 가정이 선행됩니다. 이 때 표본데이터의 정규성검정을 행하게 되는 데,  데이터시각화 방법 중에서 Q-Q plot을 가장 널리 사용하고 있습니다. 

2.2. Q-Q plot

Q-Q plot(Quantile-Quantile plot)은 “정규분포 분위수 대조도”라고도 합니다.  분위수는 같은 데이터개수를 가지도록 값의 범위를 나눈 것으로 대표적인  분위수(quantile)로는 4간격으로 나눈 사분위수(quartile)와 100간격으로 나눈 백분위수(percentile)가 있습니다. Q-Q plot에서는 표본데이터의 개수(표본크기)에 맞추어 분위수를 정하게 됩니다.

예를 들어 표준정규분포와 표본데이터의 분포를 비교하는 경우에는 표준정규분포의 분위수를 X축에 놓고 표본데이터의 분위수를 Y축에 놓습니다. 만일 같은 분위의 표본데이터의 분위수와 표준정규분포의 분위수가 같다면  점그래프에서 점들은 직선($y=x$)상에 위치하게 됩니다. 직선을 이루는 표본데이터의 구간은 정규분포를 따른다고 할 수 있습니다. 

Q-Q plot은 여러 통계페키지(예를 들면 Goolge sheet 등)의 Q-Q plot함수를 사용하여 쉽게 그릴 수 있습니다.

3.2. 구글시트 함수

=SORT(B3:B22,1,TRUE) : 데이터정렬. B3와 B22 범위에 있는 데이터를 1(첫)번째 열을 기준으로 오름차순(TRUE)으로 정렬. TRUE 대신 FALSE를 넣으면 내림차순으로 정렬.

=COUNT(E3:E22) : 데이터개수. E3와 E22 범위에 있는 숫자형 데이터들의 개수.

=NORM.S.INV(F3) : 표준정규분포의 확률변수. F3를 누적확률밀도로 가지는 표준정규분포 상에서의 확률변수(표준정규분포 가로축의 값). 

=NORMDIST(L3,0,1,FALSE) : 정규분포 확률밀도. 평균 0, 표준편차 1인 정규분포, 즉 표준정규분포 상에서 L3 확률변수의 확률밀도를 계산함. FALSE 대신 TRUE를 입력하면, 누적확률밀도를 계산함.

4.1 용어

Q-Q plot (Quantile-Quantile plot, 정규분포 분위수 대조도)

통계에서 Q–Q plot(정규분포 분위수 대대조도)은 확률분포의 속성을 표현하는 점그래프입니다. 두 확률분포의 연관된 위치를  2차원 좌표계에 표시하여 두 확률분포를 비교하는 데이터시각화입니다. 산점도에 나타나는 점(x, y)은 첫 번째 분포(X 좌표)의 동일한 분위수에 대해 표시된 두 번째 분포(Y 좌표)의 분위수입니다. 이 점들은 분위수 간격을  매개변수로 가지는 함수곡선을 정의합니다.

비교되는 두 분포가 유사하면 Q–Q plot의 점은 대략 동일선($y = x$)에 놓입니다. 분포가 선형인 상관을 가지면 Q–Q plot 의 점은 대부분 선상에 있지만 반드시 직선($y = x$)상에 있을 필요는 없습니다. Q–Q plot은 확률분포의 모수를 추정하는 시각화방법으로도 사용할 수 있습니다.

Q–Q plot은 분포의 모양을 비교할 때 사용하며 분포의 위치와 범위 및 왜도와 같은 속성이 두 분포에서 어떻게 유사하거나 다른지 시각화합니다. Q–Q plot은 데이터세트의 분포와 이론적 분포를 비교할 때도 사용할 수 있습니다. 두 표본 데이터를 비교하기 위해 Q–Q plot을 사용하는 것은 확률분포를 비교하기 위한 기본적인 비모수적 접근 방식으로 볼 수 있습니다. Q–Q plot는 일반적으로 표본의 히스토그램을 비교하는 것보다 더 자세히 분석할 수 있지만 덜 쓰이고 있습니다. Q–Q plot은 일반적으로 데이터 세트를 이론적인 모델과 비교하는 데 사용됩니다. 이를 통해 설명통계 외에 데이터시각화로 적합도 평가를 할 수 있습니다. Q–Q plot은 두 개의 이론적 분포를 서로 비교하는 데에도 사용됩니다. Q–Q plot는 분포를 비교하므로 산점도에서와 같이 대응된 값을 관찰하거나 대응되는 두 집단의 크기가 동일할 필요가 없습니다.

“Probability plot”이라는 용어는  Q–Q plot이나 덜 일반적으로 사용되는 P–P plot을 나타냅니다. 확률-확률 상관계수 plot(PPCC plot)은 관측된 데이터와 피팅된 분포의 일치를 측정하고 때때로 데이터에 분포를 pitting하는 수단으로 사용되는 Q-Q plot의 개념에서 나온 값입니다.

Reference

Q-Q plot – Wikipedia

2.1.  2차원 산점도

20개의 딸기의 과중과 당도를 측정한 데이터가 있습니다. 데이터를 보면 딸기 하나에 과중과 당도, 두 개의 데이터(변수값)가 있습니다. 딸기의 과중과 당도의 관계를 탐색하기 위하여 두 변수의 관계를 시각화하는 산점도(scatter plot)를 그립니다.

딸기 하나를 한 점(point)으로 생각하면 딸기 하나가 독립된 두 변수를 가진다면 2차원 직각 좌표계에  점으로 딸기를 나타낼 수 있습니다. 결과적으로 딸기가 20개이므로 20개의 점이 평면좌표계에 찍힙니다. 산점도를 그릴 때는 보통, 원인이 되는 변수를 $X$축(가로축), 결과를 나타내는 변수를 $Y$축(세로축)으로 정합니다. 따라서 과중과 당도를 각각 $X$축과  $Y$축에 나타냅니다.

애니메이션의 산점도를 보면 과중이 클수록 당도가 높게 나옵니다. 딸기가 무거울수록, 즉, 큰 딸기일수록  달다고 해석할 수 있겠습니다. 두번쨰 애니메이션에서는 20개 딸기의 출하일과 당도를 기록한 데이터를 다룹니다. 산점도를 보면 출하일이  겨울에 가까울수록 딸기가 달다는 것을 알 수 있습니다.

산점도는 데이터의 요소가 가지는 두 변수의 상관 관계를 분석하는 그래프입니다. 특히,  두 연속형 변수의 관계를 분석하는데 매우 효율적입니다. 2차원 산점도는 개체(object, 요소, element)의 한 변수를 $X$축,  다른 변수를 $Y$축으로 하여 각각의 관찰값을  $XY$ 평면상의 점으로 나타내는 “데이터시각화”입니다.

두 개의 변수에서 한쪽이 증가하면 다른 쪽도 증가하는 관계를 양의 상관이라고 합니다. 반대로 한쪽이 증가하면 다른 쪽은 줄어드는 관계를 음의 상관이라고 합니다.

3.2. 구글시트 함수

=AVERAGE(B3:B22) : 평균. B3에서 B22에 있는 데이터의 평균을 구함. 데이터를 모두 더해서 개수로 나눔. 산술평균.

4.1. 용어

산점도

산점도(산포도)는 일반적으로 여러 변수를 가지는 개체를 표시하기 위해 직각  좌표계를 사용하는 그래프 유형입니다. 점이 시각적으로 정의된 경우 (색상 / 모양 / 크기) 하나의 추가 변수로 표시 될 수 있습니다. 3차원 산점도에서 데이터는 수평 축상의 위치를 결정하는 하나의 변수 값과 수직축 상의 위치를 결정하는 다른 변수의 값을 갖는 점들의 모음으로 표시됩니다.

Reference

Scatter plot – Wikipedia

2.1. 3차원 산점도

딸기 20개의 출하일과 과중과 당도를 관측한 데이터가 있습니다. 데이터를 보면 딸기 하나에 출하일, 과중, 당도, 세 개의 데이터(변수값)가 있습니다. 딸기의 출하일과 과중과 당도의 관계를 탐색하기 위하여 3차원 산점도(scatter plot)를 그립니다.

딸기 하나를 한 점(point)으로 생각하면 딸기가 세 변수를 가지므로 3차원 직각 좌표계에  점으로 딸기를 나타낼 수 있습니다. 직각 좌표계의 3축(3axis)은 서로 독립입니다. 즉, 서로 영향을 주지 않습니다. 그래서 3차원 산점도를 그리면 딸기가 가지는 세 변수의 관계를 관찰할 수 있습니다.

딸기가 20개이므로 20개의 점이 3차원 좌표계(공간좌표계)에 찍힙니다. 3차원 산점도를 그릴 때는 보통 결과의 원인이 되는 변수로 평면을 구성하고  관심있는 결과변수를 평면과 직교하는 축(axis)에 나타냅니다. 애니메이션에서는 딸기의 당도를 결과변수로 놓았습니다. 여기서, 결과변수를 종속변수(dependent variable)로 표현합니다. 따라서 원인변수는 종속변수에 영향을 주는 변수이며 보통 서로 독립인 경우를 가정하기 때문에 독립변수(indendent variable)라고 부릅니다.

애니메이션에서 관심있는 변수를 당도로 하면 과중이 클수록 당도가 높게 나옵니다. 딸기가 무거울수록, 즉, 큰 딸기일수록  달다고 해석할 수 있겠습니다. 그리고 출하일이  겨울에 가까울수록 딸기가 달다는 것을 알 수 있습니다. 이것을 한번에 나타내면 과중이 작을수록 출하일이 봄에 가까울수록 당도가 떨어짐을 보여줍니다.

산점도는 데이터가 가지는 여러 변수의 관계를 분석할 때 유용합니다. 특히,  두 연속형 변수의 관계를 볼 때 2차원 산점도를 통하여 명확하게 두 변수의 관계를 탐색할 수 있습니다. 그래서 3차원 산점도를 3개의 평면에 투영해서 3개의 2차원산점도로 분해한 후 두 변수의 관계를 분석하기도 합니다.

3.2. 구글시트 함수

=MIN(B3:B22) : 최소값. B3에서 B22에 있는 데이터 중에서 최소값을 표시함. 

=MAX(B3:B22) : 최대값. B3에서 B22에 있는 데이터 중에서 최대값을 표시함.

4.1. 용어

산점도

산점도(산포도)는 일반적으로 여러 변수를 가지는 개체를 표시하기 위해 직각  좌표계를 사용하는 그래프 유형입니다. 점이 시각적으로 정의된 경우 (색상 / 모양 / 크기) 하나의 추가 변수로 표시 될 수 있습니다. 3차원 산점도에서 데이터는 수평 축상의 위치를 결정하는 하나의 변수 값과 수직축 상의 위치를 결정하는 다른 변수의 값을 갖는 점들의 모음으로 표시됩니다.

Reference

Scatter plot – Wikipedia

종속변수

수학적 모델링, 통계 모델링 및 실험과학에서 종속변수의 값은 독립변수의 값에 따릅니다. 즉, 종속변수는 독립변수에 따른  결과를 나타냅니다. 통계에서 종속변수의 회귀를 일으키는  회귀변수로도 나타나는 독립변수는 입력되어져서 종속변수의 변동의 원인이 될 수 있습니다. 실험에서는 실험자가 다루는 변수를 독립변수라고 할 수 있습니다. 모델과 실험은 독립변수가 종속변수에 미치는 영향을 살펴봅니다. 때로는 직접적인 영향을 주지 않더라도 잠재적인  교란을 설명하는 것과 같은 이유로도 독립변수를 고려합니다.

Reference

dependent variable – Wikipedia

2.1.  2차원 산점도

20개의 딸기의 과중과 당도를 측정한 데이터가 있습니다. 데이터를 보면 딸기 하나에 과중과 당도, 두 개의 데이터(변수값)가 있습니다. 딸기의 과중과 당도의 관계를 탐색하기 위하여 두 변수의 관계를 시각화하는 산점도(scatter plot)를 그립니다.

딸기 하나를 한 점(point)으로 생각하면 딸기 하나가 독립된 두 변수를 가진다면 2차원 직각 좌표계에  점으로 딸기를 나타낼 수 있습니다. 결과적으로 딸기가 20개이므로 20개의 점이 평면좌표계에 찍힙니다. 산점도를 그릴 때는 보통, 원인이 되는 변수를 $X$축(가로축), 결과를 나타내는 변수를 $Y$축(세로축)으로 정합니다. 따라서 과중과 당도를 각각 $X$축과  $Y$축에 나타냅니다.

애니메이션의 산점도를 보면 과중이 클수록 당도가 높게 나옵니다. 딸기가 무거울수록, 즉, 큰 딸기일수록  달다고 해석할 수 있겠습니다. 두번쨰 애니메이션에서는 20개 딸기의 출하일과 당도를 기록한 데이터를 다룹니다. 산점도를 보면 출하일이  겨울에 가까울수록 딸기가 달다는 것을 알 수 있습니다.

산점도는 데이터의 요소가 가지는 두 변수의 상관 관계를 분석하는 그래프입니다. 특히,  두 연속형 변수의 관계를 분석하는데 매우 효율적입니다. 2차원 산점도는 개체(object, 요소, element)의 한 변수를 $X$축,  다른 변수를 $Y$축으로 하여 각각의 관찰값을  $XY$ 평면상의 점으로 나타내는 “데이터시각화”입니다.

두 개의 변수에서 한쪽이 증가하면 다른 쪽도 증가하는 관계를 양의 상관이라고 합니다. 반대로 한쪽이 증가하면 다른 쪽은 줄어드는 관계를 음의 상관이라고 합니다.

3.2. 구글시트 함수

=AVERAGE(B3:B22) : 평균. B3에서 B22에 있는 데이터의 평균을 구함. 데이터를 모두 더해서 개수로 나눔. 산술평균.

4.1. 용어

산점도

산점도(산포도)는 일반적으로 여러 변수를 가지는 개체를 표시하기 위해 직각  좌표계를 사용하는 그래프 유형입니다. 점이 시각적으로 정의된 경우 (색상 / 모양 / 크기) 하나의 추가 변수로 표시 될 수 있습니다. 3차원 산점도에서 데이터는 수평 축상의 위치를 결정하는 하나의 변수 값과 수직축 상의 위치를 결정하는 다른 변수의 값을 갖는 점들의 모음으로 표시됩니다.

Reference

Scatter plot – Wikipedia

2.1 1차원 산점도

1차원의 연속형변수값들을 시각화하는 방법 중에 직관적인 방법은 직선좌표계에 변수값을 점으로 표시하는 것입니다. 직선좌표계의 원점(Origin)을 0으로 하면 변수값들은 원점으로부터 양방향으로 나눠지는 영역에 점으로 표시됩니다. 

애니메이션에서는 딸기의 당도가 모두 양수이므로 직선좌표계의 원점(0)의 오른편에 점들로 데이터가 표시되고 있습니다.

데이터를 산점도를 사용해서 시각화할때 점들이 중복되어 나타나는 것이 가장 큰 애로점입니다. 이것을 해결하기 위하여 여러가지 표현방법이 동원되지만 근원적인 해결은 되지 못합니다. 그래서 같이 사용되는 것이 도수분포도입니다. 한편, 데이터사이언스에서는 도수분포도가 1차원 데이터를 가지는 표본의 확률분포를 표시하는데 주로 사용됩니다. 정리하면 1차원 산점도와 도수분포도는 밀접한 관계를 가지며 도수분포도는 1차원 산점도를 변수의 구간을 정하는 조작을 통해 더 확실하게 시각화한 것입니다. 물론 구간의 간격을 정하는 과정에서 정보가 왜곡될 수 있다는 어려움이 있습니다.

딸기가 당도외에 또 하나의 변수를 가질 때는 2차원 산점도로 확장할 수 있습니다. 그래프로 표시한 변수를 X축 다른 변수를 Y축으로 하여 각각의 관찰값을 XY 평면좌표계의 좌표값으로 정합니다.

산점도를 점그래프라고도 합니다. 1차원 산점도를 확장해서 2차원 산점도를 그리려면 2차원 좌표계, 즉 평면좌표계에서 점을 찍습니다. 직각좌표계를 사용한다면 한 점당, X좌표, Y좌표 두개의 변수값이 필요합니다. 3차원좌표계,  즉 공간좌표계에서는 3개의 변수값이 필요합니다. 

3.2. 구글시트 함수

=준비 중 입니다. 

4.1 용어

확률밀도함수

도수분포표로 히스토그램 그리기

2.1 히스토그램과 확률밀도함수

도수분포를 관찰하기 위하여 도수분포표를 만듭니다. 같은 간격으로 변수의 구간을  정하였을 때,  각 구간에 속하는 변수값(데이터)의 갯수를 도수(빈도수)라고 합니다. 도수는 각 구간에 변수가 나타나는 횟수입니다. 구간별로 도수를 나타내는 표가 도수분포표입니다.

도수분포표를 시각화하는 것이 히스토그램입니다. 히스토그램은 각 구간을 직사각형으로 표현하는데 밑변은 구간의 간격이 되고 높이는 빈도수를 나타냅니다. 여기서 빈도수를 상대 빈도수로 바꾸면 히스토그램을 이루는 직사각형의 높이는 그 구간을 대표하는 확률인 확률질량을 나타냅니다.  각 구간의 확률질량을 모두 더하면 1이 됩니다. 각 구간의 상대도수는 각 구간의 빈도수를 전체 빈도수로 나눈 값입니다. 즉, 전체 빈도수에서 각 구간의 빈도수가 차지하는 비율입니다.

히스토그램이 나타내는 도수를 상대도수로 바꾼 것을 상대도수 히스토그램이라 하겠습니다. 상대도수 히스토그램을 다시 확률밀도 함수로 바꾸어 봅니다. 상대도수 히스토그램에서 구간의 간격으로 상대도수를 나누면 상대도수 히스토그램은 확률밀도함수를 나타냅니다. 즉, 상대도수를 구간의 간격으로 나눈 값이 확률밀도가 됩니다. 각 구간의 직사각형의 윗변의 처음과 시작을 이상과 미만으로 표시하면  확률밀도함수를 나타냅니다. 이 확률밀도함수는 모양은 이산(discrete)로 나타남으로 이산확률밀도함수입니다.

만일, 상대도수 히스토그램의 간격이 무한소가 되면서 동시에 상대도수를 구간의 간격으로 나눈다면 상대도수 히스토그램은 연속확률밀도함수로 변화합니다.

3.2. 구글시트 함수

=COUNT(B3:B22) : 데이터 개수. B3에서 B22에 있는 숫자로 표시된 데이터의 개수.

=AVERAGE(B3:B22) : 평균. B3에서 B22에 있는 데이터의 평균.

=VAR.S(B3:B22) : 표본분산. B3에서 B22에 있는 데이터의 표본분산. 편차제곱합을 데이터 개수 -1로 나눔.

=STDEV.S(B3:B22) : 표본표준편차. B3에서 B22에 있는 데이터의 표본표준편차. 표본분산의 제곱근.

=MIN(B3:B22) : 최소값. B3에서 B22에 있는 데이터 중에서 최소값을 표시함.

=MAX(B3:B22) : 최대값. B3에서 B22에 있는 데이터 중에서 최대값을 표시함.

=SQRT(D3) : 제곱근. D3값의 제곱근.

=ROUNDUP(SQRT(D3)) : 올림. D3값의 제곱근의 올림값.

=ROUND(M3/N3,2) : 반올림. M3값을 N3값으로 나눈 값을 반올림해서 소수점 2번째자리까지 표시.

=FREQUENCY(B3:B22,R3:R7) : 빈도수. B3에서 B22에 있는 데이터를 R3에서 R7까지의 구간에 맞춰 빈도수를 구함.

=S3/SUM(S3:S7) : 합계. S3에서 S7에 있는 데이터의 합계. 

=NORMDIST(Y3,E3,G3,FALSE) : 정규분포 확률밀도. E3가 평균, G3가 표준편차인 정규분포 상에서 Y3값의 확률밀도를 계산함. FALSE 대신 TRUE를 넣으면, 누적확률밀도를 계산함. 

4.1 용어

히스토그램

데이터값의 분포를 표현하는 방식중의 하나입니다.  연속확률변수의 확률값을 막대그래프 모양으로 표현한 것입니다. Karl Pearson에 의해 처음 소개되었습니다.

히스토그램을 작성하려면 먼저 변수 범위를 구간(“bin”또는 “bucket”)으로 나눕니다. 그리고  각 구간에 몇 개의 데이터 값이 속하는 지를 정리합니다. 구간은 연속적이고 겹치지 않고 인접해야 하며 같은 간격이면 분석에 용이합니다.(구간 간격이 꼭 같아야 하는 것은 아닙니다.)

직사각형(막대)의 높이에 비례하는 빈도수는 상대빈도수로 정규화될 수 있습니다.  구간들이 동일한 간격이고 간격이 1인 경우, 빈도수를 정규화하게 되면 각 직사각형의 높이는 상대빈도수를 표현하는 확률이 되어 각 직사각형의 높이의 합은 1이 됩니다. 그러나 구간은 동일한 폭(구간크기)일 필요는 없습니다. 이 경우 직사각형(막대)은 구간의 빈도수에 비례하는 면적을 갖도록 정의됩니다 . 수직축은 빈도수가 아니라 빈도수밀도(수평축상의 변수의 단위당 경우의 수)입니다. 모양은 막대 그래프의 막대가 서로 인접한 모양으로 변수가 연속적으로 표현되었다는 것이 중요합니다.

히스토그램은 데이터의 기본 확률분포밀도를 대략적으로 나타내며, 확률밀도 추정시 자주 사용됩니다 . 즉, 기본 확률변수의 확률밀도함수를 나타냅니다 . 확률 밀도에 사용되는 히스토그램의 총 면적은 항상 1로 정규화됩니다. $X$ 축의 간격이 모두 1이면 히스토그램은 상대빈도 막대그래프와 동일합니다 . 히스토그램은 통계적 속성을 모델링해야 할 때 통계 패키지 프로그램에서 자주 쓰입니다. 예를 들면, 커널 밀도 추정치의 상관 관계 변이는 수학적으로 설명하기가 매우 어렵지만 각 구간이 독립적으로 변하는 히스토그램에서는 이해하기가 쉽습니다. 커널 밀도 추정의 대안은 평균 이동된 히스토그램입니다  계산 속도는 빠르며 커널을 사용하지 않고 밀도를 부드럽게 계산할 수 있습니다.

히스토그램은 때때로 막대그래프와 혼동됩니다.히스토그램은 연속 데이터에 사용되기 때문에 막대는 붙어 있게 됩니다.  그래서 구별을 분명히 하기 위해 막대그래프는 막대 사이에 간격을 줍니다.

Reference

Histogram – Wikipedia

확률밀도함수

확률에서 확률밀도함수(PDF) 또는 연속확률변수의 밀도는 표본공간의 임의의 표본(또는 점)의 확률변수의 값이 같다면 같은 확률을 가진다는 것입니다. 다른 말로 하면, 임의의 연속확률변수에 대한 확률값은 0이지만  두 개의 서로 다른 확률변수 값에서 PDF의 값을 사용하여 유추할 수는 있습니다. PDF는 임의의 확률변수에서의 확률값을 취하는 것보다는 특정 확률변수 범위 내에서 임의의 확률변수가 있을 확률을 나타내는데 사용됩니다. 확률은 확률변수의 범위에 대한  PDF의 적분값으로 주어집니다. 확률밀도함수는 모든 곳에서 음수가 아니며 전체 확률변수범위에 대한 적분은 1이 됩니다.

“확률분포함수”와 “확률함수”라는 용어는 때로는 확률밀도함수를 의미하기도 하지만 이 용어는 표준이 아닙니다. 한편, 확률질량함수(PMF)는 이산확률변수 (불연속 확률변수)에서 사용되는 반면, 확률밀도함수(PDF)는 연속확률변수에서 사용됩니다.

Reference

Probability density function – Wikipedia

2.1.히스토그램(histogram)

히스토그램은 양적 데이터를 구간화하여 각 구간에 속해있는 개체의 빈도수를 시각적으로 표현한 것입니다. 히스토그램은 양적 데이터의 분포를 시각적으로 나타낼 때 사용되며 질적 데이터의 크기를 나타내는 막대그래와 비교됩니다. 따라서 막대그래프에서는 막대의 밑변의 길이는 중요하지 않지만 히스토그램에서는 밑변의 길이인 구간의 폭이 매우 중요합니다. 그래서 히스토그램은 도수분포도이고 각 구간의 상대적인 확률분포를 표현할 수 있습니다.

‘1차원 산점도’ 애니메이션에서 보는 바와 같이 양적 데이터(수치 데이터)를 산점도로 시각화할 때 , 중첩되거나 밀집도가 높아 표현하기가 어려운 경우 그 밀집도를 효과적으로 시각화하는 방법입니다. 그래서 데이터의 분포를 시각적으로 살펴보는 데 많이 사용됩니다.

히스토그램을 그리기 위해서는 데이터(변수값)의 범위(range)를 먼저 정하는데 데이터의 최대값과 최소값의 차로 먼저 범위(range)를 구합니다. 그리고 동일한 간격(구간의 크기)을 가진 서로 중복되지 않는 구간(계급, bin, bucket)을  정합니다. 각 구간에 속하는 개체(요소, object, element, record)의 개수, 즉 데이터의 개수를 그 구간의 빈도수(frequency)라 하는데 줄여서 도수라고 합니다.

각 구간의 데이터의 빈도수를 직사각형의 높이로 나타내면 히스토그램이 됩니다.  여기서 각 구간은 직사각형의 밑변이 됩니다. 그리고 구간의 간격이 같기 때문에  히스토그램의 면적은 각 구간의 빈도수와 선형관계를 나타냅니다. 히스토그램을 이루는 각 구간의 직사각형은 서로 붙여서 그립니다. 

‘몇 개의 구간으로 정할 것인가?’는 히스토그램을 그리기 위해서 정하는 가장 중요한 결정 중의 하나입니다. 구간의 개수를 정하는 방법은 데이터 개수의 제곱근에 근사한 정수로 하는 방법 등 여러가지가 제시되고 있습니다. 하지만 목적과 상황에 따라 결정하는 것이 좋습니다. 구간의 개수가 정해지면 변수의 범위(최대값-최소값)를 구간의 개수로 나누어 구간을 구합니다. 각 구간의 시작점과 끝점은 보통  ‘~ 이상($≥$)에서 ~ 미만($<$)’으로 정합니다.

3.2. 구글시트 함수

=COUNT(B3:B22) : 데이터 개수. B3에서 B22에 있는 숫자로 표시된 데이터의 개수.

=AVERAGE(B3:B22) : 평균. B3에서 B22에 있는 데이터의 평균.

=VAR.S(B3:B22) : 표본분산. B3에서 B22에 있는 데이터의 표본분산. 편차제곱합을 데이터 개수 -1로 나눔.

=STDEV.S(B3:B22) : 표본표준편차. B3에서 B22에 있는 데이터의 표본표준편차. 표본분산의 제곱근.

=MIN(B3:B22) : 최소값. B3에서 B22에 있는 데이터 중에서 최소값을 표시함.

=MAX(B3:B22) : 최대값. B3에서 B22에 있는 데이터 중에서 최대값을 표시함.

=SQRT(D3) : 제곱근. D3값의 제곱근.

=ROUNDUP(SQRT(D3)) : 올림. D3값의 제곱근의 올림값.

=ROUND(M3/N3,2) : 반올림. M3값을 N3값으로 나눈 값을 반올림해서 소수점 2번째자리까지 표시.

=FREQUENCY(B3:B22,R3:R7) : 빈도수. B3에서 B22에 있는 데이터를 R3에서 R7까지의 구간에 맞춰 빈도수를 구함.

4.1 용어

히스토그램

데이터값의 분포를 표현하는 방식중의 하나입니다.  연속확률변수의 확률값을 막대그래프 모양으로 표현한 것입니다. Karl Pearson에 의해 처음 소개되었습니다.

히스토그램을 작성하려면 먼저 변수 범위를 구간(“bin”또는 “bucket”)으로 나눕니다. 그리고  각 구간에 몇 개의 데이터 값이 속하는 지를 정리합니다. 구간은 연속적이고 겹치지 않고 인접해야 하며 같은 간격이면 분석에 용이합니다.(구간 간격이 꼭 같아야 하는 것은 아닙니다.)

직사각형(막대)의 높이에 비례하는 빈도수는 상대빈도수로 정규화될 수 있습니다.  구간들이 동일한 간격이고 간격이 1인 경우, 빈도수를 정규화하게 되면 각 직사각형의 높이는 상대빈도수를 표현하는 확률이 되어 각 직사각형의 높이의 합은 1이 됩니다. 그러나 구간은 동일한 폭(구간크기)일 필요는 없습니다. 이 경우 직사각형(막대)은 구간의 빈도수에 비례하는 면적을 갖도록 정의됩니다 . 수직축은 빈도수가 아니라 빈도수밀도(수평축상의 변수의 단위당 경우의 수)입니다. 모양은 막대 그래프의 막대가 서로 인접한 모양으로 변수가 연속적으로 표현되었다는 것이 중요합니다.

히스토그램은 데이터의 기본 확률분포밀도를 대략적으로 나타내며, 확률밀도 추정시 자주 사용됩니다 . 즉, 기본 확률변수의 확률밀도함수를 나타냅니다 . 확률 밀도에 사용되는 히스토그램의 총 면적은 항상 1로 정규화됩니다. $X$ 축의 간격이 모두 1이면 히스토그램은 상대빈도 막대그래프와 동일합니다 . 히스토그램은 통계적 속성을 모델링해야 할 때 통계 패키지 프로그램에서 자주 쓰입니다. 예를 들면, 커널 밀도 추정치의 상관 관계 변이는 수학적으로 설명하기가 매우 어렵지만 각 구간이 독립적으로 변하는 히스토그램에서는 이해하기가 쉽습니다. 커널 밀도 추정의 대안은 평균 이동된 히스토그램입니다  계산 속도는 빠르며 커널을 사용하지 않고 밀도를 부드럽게 계산할 수 있습니다.

히스토그램은 때때로 막대그래프와 혼동됩니다.히스토그램은 연속 데이터에 사용되기 때문에 막대는 붙어 있게 됩니다.  그래서 구별을 분명히 하기 위해 막대그래프는 막대 사이에 간격을 줍니다.

Reference

Histogram – Wikipedia

막대그래프

막대그래프는 데이터값에 비례하는 길이를 가지는 직사각형 막대로 데이터값을 표현합니다. 막대그래프는 세로 또는 가로로 그릴 수 있습니다. 세로 막대그래프는 때로는 선 그래프와 같이 표현됩니다. 막대그래프는 각 범주간 데이터값을 잘 비교합니다. 그래프의 한 축은 비교할 특정 범주를 표시하고 다른 축은 측정된 데이터값을 길이로 나타냅니다. 막대 그래프를 응용하면 두 개 이상의 그룹으로 묶어서 막대를 나타낼 수 있으며 둘 이상의 측정 변수의 값을 비교하여 보여 줄 수 있습니다.

Reference

Bar chart – Wikipedia

4.2. 참조

Reference

Wikipedia

2.1 도수분포 막대그래프

막대그래프(bar chart)는 독립변수에따라 변하는  종속변수의 값을 막대의 길이로 나타내는 그래프입니다.

독립변수를 X축, 종속변수를 Y축으로 하는 2차원 그래프입니다.

도수분포 막대그래프는 독립변수를 확률변수로 종속변수를 빈도수로 하는 막대그래프입니다.

즉, 빈도수를 막대의 길이로 나타내어 빈도수의 분포를 시각화한 그래프입니다.

도수를 영어로는 frequency라고 하며 도수분포도는 frequency distribution이라고 부릅니다.

도수분포표(frequency table)를 작성하는 것은 연속형 데이터를 구간에 따른 빈도수로 시각화하는 기초작업입니다.

연속형 데이터의 분석을 위해 우선  도수분포표를 만들고 그리고 나서 도수분포도를 그립니다.

도수분포표 작성에서 가장 중요한 것은 구간의 간격을 정하는 것입니다. 구간의 간격은 분석의 목적에 따라 결정됩니다. 구간의 간격이 결정되면 구간의 수가 자동으로 결정됩니다.

3.2. 구글시트 함수

=준비 중 입니다. 

4.1 용어

2.1. 상자그림(box plot)

상자그림(box plot)은 데이터값의 분포를 나타내는 시각화 방법으로 널리 사용되고 있습니다. 데이터의 대표값으로 평균을 사용하는 확률분포함수(확률밀도함수 또는 확률질량함수)와는 다르게 상자그림은 데이터의 대표값으로 중앙값을 표시합니다. 그리고 상자그림의 각 상자에는 같은 개수의 데이터가 들어가게 됩니다. 

상자그림은 사분위표를 먼저 작성하면 쉽게 그릴수 있습니다. 상자그림은 가로 또는 세로로 그릴 수 있습니다. 상자그림은 도수분포 히스토그램과 달리 평균이나 분산같은 모수(parameter)를 가지지 않습니다.

딸기 20개의 당도를 측정한 후 상자그림을 그려보겠습니다. 20개의 당도를 내림차순으로 가장 큰 값부터 작은 값 순으로 배열합니다. 당도는 12.24에서 10.68까지 분포되어있습니다. 당도의 중앙값은 11.71입니다. 중앙값은 두 개의 상자를 나누는 선으로 표시됩니다. 두 개의 상자의 범위는 각각 25%의 데이터 개수를  가집니다. 당도의 1사분위수는 11.16이고 3사분위수는 11.89입니다. 2사분위수와 3사분위수는 상자의 끝선으로 나타냅니다. 최대값은 12.24이고 최소값은 10.68 입니다. 최대값과 최소값은 상자와 이어진 선으로 표현합니다. 

3.2. 함수

=SORT(C3:C22,1,TRUE) : 데이터정렬. C3와 C22 범위에 있는 데이터를 1(첫)번째 열을 기준으로 오름차순(TRUE)으로 정렬. TRUE 대신 FALSE를 넣으면 내림차순으로 정렬.

4.1 용어

상자그림

상자그림(Box plot)은 4분위수를 통해 데이터를 그래픽으로 묘사하는 방법입니다. 최대값과 최소값으로 표현되는 데이터의 범위를 나타내는 선이 보입니다. 특이값은 개별 점으로 표시 할 수 있습니다. 상자그림은 도수분포 히스토그램과 달리 모수(파라미터)를 가지지 않습니다. 특정 분포를 나타내지 않고 데이터의 분포를 표시합니다 (상자그림은 상자의 대칭 및 길이로 정규성을 나타낼 수도 있음). 상자의 간격과 상자에 붙어있는 선의 길이는 데이터의 분산 정도를 나타내고  점들은 이상값을 나타냅니다. 특히 4분위수, 범위, 중앙값을 시각적으로 나타낼 수 있습니다. 상자그림은 가로 또는 세로로 그릴 수 있습니다.

Reference

Box plot – Wikipedia

4.2. 참조

Reference

Box plot

Interquartile range

2.1 3차원(공간)좌표계

세 변수를 가지는 요소(element, 객체, object)를 시각화 할 때, 3차원(공간)좌표계를 많이 사용합니다. 3차원(공간)좌표계에는 대표적으로 차원(three dimensions) 직교좌표계(Cartesian coordinate system)가 있습니다. 여기서 세 좌표축(axis)은 직각을 이루어서 서로 영향을 주지 않습니다.

예를 들어 위의 애니메이션에서 보는 바와 같이 딸기를 요소라 하면 딸기의 당도와 과중과 출하일은 변수가 됩니다. 이때 딸기를 점(point)로 생각한다면 당도와 과중과 출하일을 세 축으로 하는 3차원 직교좌표계를 사용하여 산점도를 그릴 수 있습니다.

다른 관점으로 공간에서의 한 점(point)을 표현하는 방법에는 대표적으로 직교좌표계(Cartesian coordinate system)가 있습니다. 세개의 선이 직각(perpendicular)으로 교차하는 좌표축(coordinate axis)을 가집니다.  공간의 한 점은 기준(Origin)에서의 거리를 좌표로 합니다. 그리고 그 거리는 같은 단위를 가집니다. 따라서 공간의 한 점은 세개의 좌표값으로 표현할 수 있습니다. 즉, 공간의 한점은 세개의 좌표의 변수값을 가집니다. 

공간좌표는 세개의 변수들의 관계를 나타내고 있기 때문에 3차원(three dimensions) 좌교계라고도 합니다. 한편, 평면좌표는 두개의 변수들의 관계를 나타내고 있기 때문에 2차원(two dimensions)좌표계라고 합니다.

3.2. 구글시트 함수

=준비 중 입니다. 

4.1 용어