결측치, 이상치

결측치와 이상치는 데이터 분석 및 모델링에서 주로 다루는 문제로, 데이터의 품질과 정확성에 영향을 미칩니다.

1. 결측치 (Missing Values):
   결측치는 데이터에서 값이 누락되어 있는 경우를 의미합니다. 이는 데이터 수집 과정에서 발생할 수 있으며, 여러 이유로 인해 발생할 수 있습니다. 예를 들어, 실험 과정에서 장비 오류로 인한 누락, 설문 조사에서 회신하지 않은 항목 등이 있습니다. 결측치는 데이터 분석과 모델링에서 문제를 일으킬 수 있으며, 주로 다음과 같은 방법으로 처리됩니다:

   • 결측치 삭제: 결측치를 포함하는 행 또는 열을 삭제하는 방법입니다. 이는 결측치가 일부인 경우나 다른 변수와 관련이 없는 경우에 적용됩니다.
   • 대체값 채우기: 결측치를 다른 값으로 대체하는 방법입니다. 평균, 중앙값, 최빈값 등의 대체값을 사용하여 결측치를 대체할 수 있습니다.
   • 예측 모델 사용: 결측치를 예측하는 모델을 사용하여 결측치를 대체할 수 있습니다. 회귀 모델이나 KNN (K-Nearest Neighbors) 등의 기계 학습 알고리즘을 사용하여 결측치를 예측할 수 있습니다.

2. 이상치 (Outliers):
   이상치는 데이터의 일반적인 패턴에서 벗어나는 극단적인 값으로, 대부분의 다른 관측치들과는 다른 패턴을 보입니다. 이상치는 데이터의 품질을 저하시키고, 모델의 정확성을 낮출 수 있으며, 주로 다음과 같은 방법으로 탐지 및 처리됩니다:

   • 시각화: 데이터를 그래프나 플롯으로 시각화하여 이상치를 시각적으로 식별하는 방법입니다. 산점도, 상자 수염 플롯, 히스토그램 등을 사용하여 이상치를 탐지할 수 있습니다.
   • 통계적 방법: 통계적 기법을 사용하여 이상치를 탐지하는 방법입니다. 평균과 표준 편차를 사용하여 Z-점수를 계산하거나, 사분위수 범위를 사용하여 이상치를 식별할 수 있습니다.
   • 기계 학습 모델: 기계 학습 알고리즘을 사용하여 이상치를 탐지할 수 있습니다. 군집화, 이상치 탐지 알고리즘 등을 사용하여 이상치를 식별할 수 있습니다.

결측치와 이상치는 데이터의 정확성과 품질을 향상시키기 위해 적절하게 처리되어야 합니다. 이는 데이터 분석과 모델링의 정확성을 향상시키고, 올바른 의사 결정을 내릴 수 있도록 도와줍니다.