데이터 분석을 위해서는 먼저 데이터가 어떤 종류인지 파악하는 것이 중요하다. 왜냐하면 데이터의 종류에 따라 사용할 수 있는 분석 기법이 달라지기 때문이다.
정형 데이터 (Structured Data)
정형데이터의 분류
- 질적 데이터 (Qualitative Data) 품질, 특성 또는 특성의 유무를 나타내는 비수치적 데이터. 범주형 데이터라고도 불리며, 수학적 계산이 가능하더라도 의미는 없다.
- 명목형 데이터(nominal data): 순서의 개념이 없다.
- 서열형 데이터(ordinal data): 순서의 개념이 있다.
- 양적 데이터 (Quantitative Data) 양이나 수치를 나태낼 수 있는 데이터로, 수학적 계산이 가능한 데이터.
- 연속형 데이터 (Continuous Data): 실수와 같이 연속적인 수치를 나타내는 데이터
- 이산형 데이터 (Discrete Data): 정수와 같이 불연속적인 수치를 나타내는 데이터.
비정형 데이터 (Unstructured Data)
텍스트나 음성, 비디오와 같이 구조가 없거나 제한적인 구조를 가지고 있지 않은 데이터
반정형 데이터 (Semi-Structed Data)
일정한 형식을 지니고 있지만 완전한 정형 데이터는 아닌 데이터
import pandas as pd
df = pd.read_csv('data/titanic.csv')
df.head()
| PassengerId | Survived | Pclass | Name | Sex | Age | SibSp | Parch | Ticket | Fare | Cabin | Embarked | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | 1 | 0 | 3 | Braund, Mr. Owen Harris | male | 22.0 | 1 | 0 | A/5 21171 | 7.2500 | NaN | S |
| 1 | 2 | 1 | 1 | Cumings, Mrs. John Bradley (Florence Briggs Th... | female | 38.0 | 1 | 0 | PC 17599 | 71.2833 | C85 | C |
| 2 | 3 | 1 | 3 | Heikkinen, Miss. Laina | female | 26.0 | 0 | 0 | STON/O2. 3101282 | 7.9250 | NaN | S |
| 3 | 4 | 1 | 1 | Futrelle, Mrs. Jacques Heath (Lily May Peel) | female | 35.0 | 1 | 0 | 113803 | 53.1000 | C123 | S |
| 4 | 5 | 0 | 3 | Allen, Mr. William Henry | male | 35.0 | 0 | 0 | 373450 | 8.0500 | NaN | S |
여기서 성별(Sex)는 male, female값을 갖고 수학적 계산을 할 수 없고 순서의 개념도 없는 명목형 데이터이다.
보통의 경우 갯수를 세는 방식으로 분석을 한다.
df['Sex'].value_counts().plot.bar()
<Axes: >
요금(Fare)의 경우 실수 값을 갖고 수학적 계산이 가능하며 연속적인 수치값을 갖는 연속형 데이터이다. 평균과 같은 통계값 계산이 가능하다.
df['Fare'].plot.box()
<Axes: >
