WjExplor Story

DataFrame 마스터하기 본문

AI 엔지니어 부트캠프/파이썬 데이터 분석 기초와 머신 러닝 기초

DataFrame 마스터하기

더블유제이플로어 2025. 10. 1. 19:04

강사님의 EDA 조언 및 경험 공유

1. EDA 학습을 위한 자세 (Mindset for Learning EDA)

  • 핵심은 '사고방식': EDA(탐색적 데이터 분석)는 코딩 실력보다 가설을 세우고, 패턴을 찾으려는 사고방식이 훨씬 중요합니다. 코드는 그 생각을 구현하는 도구일 뿐입니다.
  • 최고의 학습법은 '참고': 다른 사람들이 특정 데이터를 어떻게 분석했는지, 특히 어떤 생각의 흐름으로 EDA를 진행했는지 참고하는 것이 가장 좋습니다.
  • 어디서 참고하는가?:
    • 캐글(Kaggle)에 가면 전 세계 사람들이 특정 데이터(예: 타이타닉, 자전거 수요)를 분석한 EDA 코드를 통째로 공유해 놓았습니다。
    • 감을 잡기 어려울 때는, 익숙한 타이타닉이나 자전거 수요 예측(Bike Sharing) 데이터에 대한 다른 사람들의 EDA를 먼저 참고해 보는 것을 추천합니다.

2. 데이터 시각화 Tip

  • 좋은 도구: plotly 라이브러리를 사용하면 움직이는 그래프 등 상호작용이 가능하고 멋진 시각화를 할 수 있습니다. (예: 시간에 따른 국가별 인구 성장 표현)
  • 상황에 맞는 차트 선택:
    • 시간의 흐름을 표현할 때는 막대그래프보다 선 그래프가 더 효과적입니다.
    • 비율을 보여줄 때는 파이 차트가 좋지만, 클래스(범주)의 개수가 너무 많아지면 오히려 이해하기 어려우므로 주의해야 합니다.
  • 가장 중요한 것: "내 의도를 가장 잘 전달할 수 있는 차트는 무엇인가?"를 먼저 고민하고, 그 다음 해당 차트를 구현할 방법을 찾는 순서로 접근하는 것이 좋습니다.

3. 실전 분석 프로젝트 예시 (금융 데이터)

  • 유용한 도구: finance-datareader 라이브러리를 사용하면 주식, 환율 등 금융 데이터를 쉽게 가져올 수 있습니다. (pip install finance-datareader로 설치)
  • 강사님의 경험:
    1. 첫 시도 (암호화폐 차익거래):
      • 아이디어: 거래소 간(업비트, 바이낸스) 코인 가격 차이를 이용한 차익 거래.
      • 실패 원인: 거래량이 없는 소위 '잡코인'을 선택했더니, 구매 후 팔려고 해도 아무도 사주지 않음 (유동성 문제).
    2. 두 번째 시도 (금 투자 분석):
      • 아이디어: 국내/외 금 가격과 환율을 비교하여, 가격이 결국 수렴할 것이라는 가설로 투자.
      • 결과: 예측과 달리 손해를 봄.
  • 교훈 (Lesson): 데이터 분석을 현실 세계(투자 등)에 적용하는 것은 매우 흥미롭고 즐거운 일입니다.

결측치 확인: .isnull().sum()

  • 목적: 데이터프레임의 각 열(column)에 결측치(비어있는 값)가 총 몇 개인지 한 번에 확인할 때 사용하는 가장 기본적인 코드입니다.

  • 동작 원리 (단계별):

    1. .isnull(): 데이터프레임의 모든 값을 검사하여, 비어있는 값(NaN)은 True로, 값이 있는 곳은 False로 변환한 새로운 True/False 표를 만듭니다.

      예시: data

      Name Age Cabin
      John 25 NaN
      Jane NaN C85

      data.isnull() 결과

      Name Age Cabin
      False False True
      False True False

    2. .sum(): 위에서 만들어진 True/False 표에 . sum()을 적용합니다. 계산 시 True는 1, False는 0으로 취급됩니다. 이 값들을 각 열(column) 별로 모두 더합니다.

      최종 결과

      Name     0  (False + False = 0)
Age      1  (False + True = 1)
Cabin    1  (True + False = 1)

  • 결론: 이 한 줄의 코드로 각 열에 몇 개의 데이터가 비어있는지 빠르고 정확하게 파악할 수 있어, 데이터 전처리 방향을 정하는 데 큰 도움이 됩니다.

시각화 오류: plot.pie의 explode 길이 불일치

  • 문제 상황: data['Survived'].value_counts()와 같이 2개의 항목을 가진 데이터를 파이 차트로 그릴 때, explode=[0, 0.1]은 되지만 explode=[0, 0, 1]은 오류가 발생하는 경우.

  • 오류 원인: explode 리스트의 항목 개수가 파이 차트의 조각 개수와 일치하지 않기 때문입니다.

  • 분석:

    1. 데이터 확인: data['Survived'].value_counts()는 '사망(0)'과 '생존(1)'의 개수를 세어, 2개의 데이터 항목을 만듭니다.
    2. 파이 차트 조각: 따라서 파이 차트는 2조각으로 그려집니다.
    3. explode 규칙: explode 리스트는 각 조각을 얼마나 띄울지 지정하며, 리스트의 길이는 반드시 파이 차트 조각의 개수와 같아야 합니다.
    4. 코드 비교:
      • explode=[0, 0.1] : 길이가 2. 데이터 조각 2개와 일치. (성공)
      • explode=[0, 0, 1] : 길이가 3. 데이터 조각 2개와 불일치. (오류 발생)

  • 결론: 파이 차트를 그릴 때 explode 옵션을 사용하려면, explode 리스트의 항목 개수를 차트를 구성하는 데이터의 항목 개수와 항상 동일하게 맞춰야 합니다.

Seaborn countplot 오류: TypeError

  • 오류 메시지: TypeError: countplot() got multiple values for argument 'data'
  • 의미: countplot 함수가 'data'라는 인자를 여러 번 받았다는 뜻입니다.
  • 원인: sns.countplot('Survived', data=data)와 같이 코드를 작성하면, Seaborn은 첫 번째 위치의 'Survived'를 x축 데이터로 인식해야 할지, data로 인식해야 할지 혼동합니다. 동시에 data=data라는 키워드 인자가 또 들어오면서 'data'를 두 번 받았다고 판단하여 오류를 발생시킵니다.
  • 해결책: x= 또는 y= 키워드를 명시하여 인자의 역할을 명확히 지정합니다.
    • (X) 오류 코드: sns.countplot('Survived', data=data)
    • (O) 수정 코드: sns.countplot(x='Survived', data=data)

Seaborn 그래프 특정 막대 색상 지정하기

  • 목표: countplot에서 '0' 막대는 파란색, '1' 막대는 빨간색으로 지정하고 싶을 때.

  • 해결책: palette 파라미터에 딕셔너리(Dictionary)를 사용합니다.

  • 사용법: 딕셔너리의 Key에는 카테고리 값(예: 0, 1)을, Value에는 원하는 색상 이름을 넣습니다.

  • 코드 예시:

    # {카테고리값: '색상'} 형태의 딕셔너리를 만듭니다.
color_palette = {0: 'blue', 1: 'red'}

# palette 파라미터에 위에서 만든 딕셔너리를 전달합니다.
sns.countplot(x='Survived', data=data, palette=color_palette)
plt.show()

  • 결과: 'Survived'의 0 값에 해당하는 막대는 파란색으로, 1 값에 해당하는 막대는 빨간색으로 그려집니다.

Matplotlib AttributeError: set_title 오타

  • 오류 메시지: AttributeError: 'Axes' object has no attribute 'set_titile'

  • 원인: matplotlib.pyplot의 Axes 객체에는 set_titile이라는 메서드가 존재하지 않습니다. 이는 set_title의 오타입니다.

  • 해결책: set_titile을 set_title로 수정하면 됩니다.

  • 코드 예시:

    • (X) 오류 코드: ax[0].set_titile('Survived vs Sex')
    • (O) 수정 코드: ax[0].set_title('Survived vs Sex')

  • 결론: 라이브러리 함수나 메서드를 사용할 때는 정확한 철자를 사용하는 것이 중요합니다. AttributeError는 주로 존재하지 않는 이름의 함수나 속성을 호출하려 할 때 발생합니다.

안녕하세요! Pandas 심화 과정 공부를 응원합니다. set_index(), reset_index(), rename() 함수에 대해 잘 이해하실 수 있도록 설명해 드릴게요.

1. set_index(): 특정 열을 인덱스로 설정

set_index() 함수는 데이터프레임의 특정 열(column)을 인덱스로 지정할 때 사용합니다. 기본적으로 데이터프레임은 0부터 시작하는 정수 인덱스를 가지지만, 데이터의 특정 열이 고유한 식별자 역할을 할 때 그 열을 인덱스로 사용하면 데이터 분석 및 탐색이 훨씬 편리해집니다.

예시 코드:

titanic2 = titanic.set_index("Name")

위 코드는 titanic 데이터프레임의 "Name" 열을 새로운 인덱스로 설정합니다. 이제 각 행은 0, 1, 2... 대신 승객의 이름으로 식별됩니다.

2. reset_index(): 인덱스를 일반 열로 되돌리기

reset_index() 함수는 set_index()와 반대되는 기능을 합니다. 현재 인덱스로 설정된 값을 일반 열(column)으로 되돌리고, 인덱스는 다시 0부터 시작하는 기본 정수 인덱스로 초기화합니다.

예시 코드:

titanic2 = titanic2.reset_index()

set_index("Name")으로 "Name" 열이 인덱스가 된 titanic2 데이터프레임에 reset_index()를 적용하면, "Name"은 다시 일반 열이 되고 인덱스는 0, 1, 2...로 돌아갑니다.

3. rename(): 열 또는 인덱스 이름 변경

rename() 함수는 데이터프레임의 열(column) 이름이나 인덱스(index)의 이름을 변경할 때 사용합니다. columns 매개변수에 딕셔너리 형태로 {기존 이름: 새 이름}을 전달하여 이름을 바꿀 수 있습니다.

예시 코드:

titanic3 = titanic.rename(columns={"Sex": "Gender"})

위 코드는 titanic 데이터프레임의 "Sex"라는 열 이름을 "Gender"로 변경합니다.

요약

  • set_index(): 특정 열을 인덱스로 지정하고 싶을 때 사용합니다.
  • reset_index(): 현재 인덱스를 일반 열로 바꾸고, 기본 정수 인덱스로 되돌리고 싶을 때 사용합니다.
  • rename(): 열이나 인덱스의 이름을 바꾸고 싶을 때 사용합니다.

이 함수들을 잘 활용하면 데이터를 원하는 형태로 깔끔하게 정리하고 다루는 데 큰 도움이 됩니다. 궁금한 점이 있다면 언제든지 다시 질문해 주세요

1. set_index(): 특정 열을 인덱스로 설정

set_index() 함수는 데이터프레임의 특정 열(column)을 인덱스로 지정할 때 사용합니다. 기본적으로 데이터프레임은 0부터 시작하는 정수 인덱스를 가지지만, 데이터의 특정 열이 고유한 식별자 역할을 할 때 그 열을 인덱스로 사용하면 데이터 분석 및 탐색이 훨씬 편리해집니다.

예시 코드:

titanic2 = titanic.set_index("Name")

위 코드는 titanic 데이터프레임의 "Name" 열을 새로운 인덱스로 설정합니다. 이제 각 행은 0, 1, 2... 대신 승객의 이름으로 식별됩니다.

2. reset_index(): 인덱스를 일반 열로 되돌리기

reset_index() 함수는 set_index()와 반대되는 기능을 합니다. 현재 인덱스로 설정된 값을 일반 열(column)으로 되돌리고, 인덱스는 다시 0부터 시작하는 기본 정수 인덱스로 초기화합니다.

예시 코드:

titanic2 = titanic2.reset_index()

set_index("Name")으로 "Name" 열이 인덱스가 된 titanic2 데이터프레임에 reset_index()를 적용하면, "Name"은 다시 일반 열이 되고 인덱스는 0, 1, 2...로 돌아갑니다.

3. rename(): 열 또는 인덱스 이름 변경

rename() 함수는 데이터프레임의 열(column) 이름이나 인덱스(index)의 이름을 변경할 때 사용합니다. columns 매개변수에 딕셔너리 형태로 {기존 이름: 새 이름}을 전달하여 이름을 바꿀 수 있습니다.

예시 코드:

titanic3 = titanic.rename(columns={"Sex": "Gender"})

위 코드는 titanic 데이터프레임의 "Sex"라는 열 이름을 "Gender"로 변경합니다.

요약

  • set_index(): 특정 열을 인덱스로 지정하고 싶을 때 사용합니다.
  • reset_index(): 현재 인덱스를 일반 열로 바꾸고, 기본 정수 인덱스로 되돌리고 싶을 때 사용합니다.
  • rename(): 열이나 인덱스의 이름을 바꾸고 싶을 때 사용합니다.

4. 불린 인덱싱 (Boolean Indexing): 조건으로 행 선택하기

불린 인덱싱은 특정 조건을 만족하는 행들만 선택하는 매우 강력하고 편리한 기능입니다.

단일 조건

데이터프레임에 직접 조건을 적용하여 True 또는 False 값을 가진 시리즈(Series)를 만들고, 이를 사용해 True인 행들만 필터링합니다.

예시 코드:

# 나이가 30 이상인 승객만 선택
print(titanic[titanic["Age"] >= 30])

titanic["Age"] >= 30 부분은 각 승객의 나이가 30 이상이면 True, 아니면 False를 반환합니다. 이 결과를 다시 titanic [...]에 넣어주면 True인 행들만 남게 됩니다.

여러 조건 조합

여러 조건을 조합할 때는 논리 연산자를 사용합니다.

  • &: AND (두 조건 모두 만족)
  • |: OR (두 조건 중 하나라도 만족)
  • ~: NOT (조건을 만족하지 않음)

중요: 여러 조건을 사용할 때는 각 조건을 소괄호 ()로 묶어주어야 합니다.

예시 코드:

# 성별이 여성이면서(`female`) 나이가 30 이상인 승객 선택
print(titanic[(titanic["Sex"] == "female") & (titanic ["Age"] >= 30)])

위 코드는 (titanic["Sex"] == "female") 조건과 (titanic ["Age"] >= 30) 조건을 & 연산자로 연결하여 두 가지를 모두 만족하는 행만 선택합니다.

안녕하세요! Pandas 심화 과정 공부를 응원합니다. set_index(), reset_index(), rename() 함수에 대해 잘 이해하실 수 있도록 설명해 드릴게요.

1. set_index(): 특정 열을 인덱스로 설정

set_index() 함수는 데이터프레임의 특정 열(column)을 인덱스로 지정할 때 사용합니다. 기본적으로 데이터프레임은 0부터 시작하는 정수 인덱스를 가지지만, 데이터의 특정 열이 고유한 식별자 역할을 할 때 그 열을 인덱스로 사용하면 데이터 분석 및 탐색이 훨씬 편리해집니다.

예시 코드:

titanic2 = titanic.set_index("Name")

위 코드는 titanic 데이터프레임의 "Name" 열을 새로운 인덱스로 설정합니다. 이제 각 행은 0, 1, 2... 대신 승객의 이름으로 식별됩니다.

2. reset_index(): 인덱스를 일반 열로 되돌리기

reset_index() 함수는 set_index()와 반대되는 기능을 합니다. 현재 인덱스로 설정된 값을 일반 열(column)으로 되돌리고, 인덱스는 다시 0부터 시작하는 기본 정수 인덱스로 초기화합니다.

예시 코드:

titanic2 = titanic2.reset_index()

set_index("Name")으로 "Name" 열이 인덱스가 된 titanic2 데이터프레임에 reset_index()를 적용하면, "Name"은 다시 일반 열이 되고 인덱스는 0, 1, 2...로 돌아갑니다.

3. rename(): 열 또는 인덱스 이름 변경

rename() 함수는 데이터프레임의 열(column) 이름이나 인덱스(index)의 이름을 변경할 때 사용합니다. columns 매개변수에 딕셔너리 형태로 {기존 이름: 새 이름}을 전달하여 이름을 바꿀 수 있습니다.

예시 코드:

titanic3 = titanic.rename(columns={"Sex": "Gender"})

위 코드는 titanic 데이터프레임의 "Sex"라는 열 이름을 "Gender"로 변경합니다.

요약

  • set_index(): 특정 열을 인덱스로 지정하고 싶을 때 사용합니다.
  • reset_index(): 현재 인덱스를 일반 열로 바꾸고, 기본 정수 인덱스로 되돌리고 싶을 때 사용합니다.
  • rename(): 열이나 인덱스의 이름을 바꾸고 싶을 때 사용합니다.

4. 불린 인덱싱 (Boolean Indexing): 조건으로 행 선택하기

불린 인덱싱은 특정 조건을 만족하는 행들만 선택하는 매우 강력하고 편리한 기능입니다.

단일 조건

데이터프레임에 직접 조건을 적용하여 True 또는 False 값을 가진 시리즈(Series)를 만들고, 이를 사용해 True인 행들만 필터링합니다.

예시 코드:

# 나이가 30 이상인 승객만 선택
print(titanic[titanic["Age"] >= 30])

titanic["Age"] >= 30 부분은 각 승객의 나이가 30 이상이면 True, 아니면 False를 반환합니다. 이 결과를 다시 titanic [...]에 넣어주면 True인 행들만 남게 됩니다.

여러 조건 조합

여러 조건을 조합할 때는 논리 연산자를 사용합니다.

  • &: AND (두 조건 모두 만족)
  • |: OR (두 조건 중 하나라도 만족)
  • ~: NOT (조건을 만족하지 않음)

중요: 여러 조건을 사용할 때는 각 조건을 소괄호 ()로 묶어주어야 합니다.

예시 코드:

# 성별이 여성이면서(`female`) 나이가 30 이상인 승객 선택
print(titanic[(titanic["Sex"] == "female") & (titanic ["Age"] >= 30)])

위 코드는 (titanic["Sex"] == "female") 조건과 (titanic ["Age"] >= 30) 조건을 & 연산자로 연결하여 두 가지를 모두 만족하는 행만 선택합니다.

NOT 조건 (~)

~ (물결표) 연산자는 조건을 부정할 때 사용합니다. '...가 아닌' 경우를 선택할 수 있습니다.

중요: ~ 연산자는 반드시 괄호 ()로 묶인 조건 앞에 와야 합니다.

예시 코드:

# 성별이 여성이 아닌 승객 선택
print(titanic[~(titanic["Sex"] == "female")])

위 코드는 (titanic["Sex"] == "female") 조건의 결과를 뒤집어, False였던 행(즉, 남성)을 True로 만들어 선택합니다.

이것은 != (같지 않다) 연산자를 사용한 아래 코드와 동일한 결과를 반환합니다.

print(titanic[titanic["Sex"] != "female"])

5. 행과 열 삭제 (drop())

drop() 함수는 데이터프레임에서 특정 행이나 열을 삭제할 때 사용합니다.

  • labels: 삭제할 행/열의 이름을 지정합니다. 하나를 지정하거나 리스트로 여러 개를 지정할 수 있습니다.
  • axis: 삭제할 축을 지정합니다.
    • axis=0: 행(index)을 삭제합니다. (기본값)
    • axis=1: 열(column)을 삭제합니다.

예시 1: 열 삭제

# 'Sex' 열 삭제
titanic_drop_col = titanic.drop("Sex", axis=1)
print(titanic_drop_col.head())

예시 2: 행 삭제

# 0번 인덱스 행 삭제
titanic_drop_row = titanic.drop(0, axis=0)
print(titanic_drop_row.head())

마지막 코드 오류 분석 및 해결

오류 코드: titanic.drop([0,1,2,3,4].asix=0

이 코드가 동작하지 않는 이유는 두 가지입니다.

  1. 오타: asix가 아니라 axis가 올바른 매개변수 이름입니다.
  2. 잘못된 문법: 삭제할 행의 리스트 [0, 1, 2, 3, 4]와 axis=0이 잘못된 방식으로 연결되었습니다. 삭제할 레이블(여기서는 행 인덱스 리스트)은 drop 함수의 첫 번째 인자로 전달되어야 합니다.

해결 방법:

여러 행을 한 번에 삭제하려면 삭제할 인덱스 번호를 리스트 []에 담아 drop 함수의 첫 번째 인자로 전달해야 합니다.

올바른 코드:

# 0, 1, 2, 3, 4번 인덱스 행들을 삭제
titanic_drop_rows = titanic.drop([0, 1, 2, 3, 4], axis=0)
print(titanic_drop_rows.head())

dropna(subset=[...]) 심층 이해하기

강사님께서 보여주신 코드의 핵심은 "특정 열(column)에 결측값(NaN)이 있는 '행(row)'을 선택적으로 삭제하는 방법"을 설명하기 위한 것입니다.

dropna() 함수는 기본적으로 결측치가 하나라도 있는 행을 모두 삭제해버려서, 자칫하면 너무 많은 데이터를 잃을 수 있습니다. 그래서 subset이라는 옵션을 사용해 "여기 지정된 열들만 검사해서, 이 열에 결측치가 있을 때만 행을 삭제해 줘"라고 명령하는 것입니다.

강사님 코드 흐름 분석 (단계별 설명)

강사님의 코드 흐름을 따라가면 dropna의 효과를 명확히 알 수 있습니다.

1단계: 원본 데이터 확인

titanic.info()
  • 목적: 데이터프레임의 요약 정보를 봅니다. 여기서 가장 중요한 것은 'Non-Null Count' (결측치가 아닌 값의 개수) 입니다. 'Age' 열을 보면 전체 행 개수(RangeIndex)보다 숫자가 적은 것을 볼 수 있는데, 이는 'Age' 열에 결측치가 있다는 의미입니다.
titanic.shape
  • 목적: 원본 데이터가 총 몇 개의 행과 열로 이루어져 있는지 확인합니다. 예를 들어 (891, 12) 라면, 891개의 행이 있다는 뜻입니다. 이 숫자를 기억해 두어야 dropna 이후 얼마나 많은 행이 삭제되었는지 비교할 수 있습니다.

2단계: dropna 적용 및 결과 비교

# 'Age' 열에 결측치가 있는 행을 모두 삭제
titanic_drop = titanic.dropna(subset=['Age'])
  • 핵심 동작: titanic 데이터프레임의 모든 행을 하나씩 확인하면서, 'Age' 열의 값이 비어있는(NaN) 행을 전부 삭제합니다. 그리고 그 결과를 titanic_drop이라는 새로운 변수에 저장합니다.
  • 'subset'의 의미: "다른 열은 신경 쓰지 말고, 오직 'Age' 열만 검사해줘!" 라는 뜻입니다.
print(titanic_drop)
# print(titanic_drop.shape) # 이 코드를 같이 실행해보면 변화를 확실히 알 수 있습니다.
  • 결과 확인: titanic_drop을 출력해보면 'Age'가 비어있던 승객들이 모두 사라진 것을 볼 수 있습니다.
  • titanic_drop.shape을 찍어보면 원본의 891개였던 행이 714개로 줄어든 것을 확인할 수 있습니다. 즉, 나이 정보가 없던 177명의 승객 데이터가 모두 삭제된 것입니다.

titanic.dropna(subset=['Ticket']) 예시도 마찬가지입니다. 'Ticket' 열에 결측치가 있는 행을 삭제하는 것이지만, 타이타닉 데이터셋에는 'Ticket' 열에 결측치가 거의 없어서 아마 삭제되는 행이 거의 없거나 아예 없을 것입니다. 강사님께서는 'Age'와 비교하여 subset에 어떤 열을 지정하는지에 따라 결과가 어떻게 달라지는지 보여주려 하신 것입니다.

요약

dropna(subset=['컬럼명'])은 특정 칼럼의 데이터가 누락된 행들을 골라서 삭제하고 싶을 때 사용하는 매우 중요한 기능입니다. 무작정 모든 결측치를 삭제하는 것이 아니라, 분석에 꼭 필요한 핵심 칼럼을 기준으로 데이터를 선별적으로 정리할 수 있게 해 줍니다.

데이터 다듬기 체크포인트

✅ 결측값 (Missing Values)

  • isna(): 데이터가 결측값인지 확인하여 True/False로 반환합니다.
  • dropna(): 결측값이 포함된 행 또는 열을 삭제합니다.
  • fillna(): 결측값을 특정 값(평균, 중간값, 특정 숫자 등)으로 대체합니다.

✅ 중복값 (Duplicates)

  • duplicated(): 각 행이 중복인지 아닌지 확인하여 True/False로 반환합니다.
  • drop_duplicates(): 중복된 행을 삭제합니다.

✅ 이상점 (Outliers)

  • 박스플롯 (Box Plot): 데이터를 시각화하여 다른 값들과 동떨어진 이상점을 찾습니다.
  • IQR (사분위수 범위): 통계적 방법을 사용하여 정상 범위를 벗어나는 값을 이상점으로 판단합니다.

이름(Name)에서 호칭(Title)을 추출하여 막대그래프 그리기

강사님 코드의 전체적인 목적은 "승객의 이름('Name')에서 'Mr', 'Miss' 같은 호칭(Title)을 추출하고, 가장 흔한 호칭 5개의 분포를 막대그래프로 그리는 것" 입니다.

오류가 나는 이유는 코드의 논리적 순서가 맞지 않고, 오타와 잘못된 함수 사용이 있었기 때문입니다. 아래 수정된 단계별 코드를 통해 올바른 과정을 이해할 수 있습니다.

단계별 코드 설명 및 올바른 코드

1단계: 이름에서 호칭(Title) 추출하기

'Name' 열은 보통 "Braund, Mr. Owen Harris" 와 같은 형식입니다. 여기서 호칭인 'Mr'를 뽑아내야 합니다.

  • 핵심 로직: ,로 문자열을 나눈 뒤 두 번째 부분을 가져오고, 다시 .으로 나누어 첫 번째 부분을 가져옵니다. .strip()은 불필요한 공백을 제거하는 중요한 역할을 합니다.

  • 올바른 코드:

    # 'Name' 열에서 호칭을 추출하여 'Title'이라는 새로운 열에 저장합니다.
titanic['Title'] = titanic ['Name']. apply(lambda x: x.split(', ')[1]. split('.')[0]. strip())

2단계: 호칭별 인원수 계산 및 상위 5개 선택

새로 만든 'Title' 열을 이용해 각 호칭이 몇 번 나왔는지 세고, 가장 많이 나온 5개만 고릅니다.

  • 올바른 코드:
    # 1. 호칭별로 인원수를 계산합니다.
title_counts = titanic['Title'].value_counts()

2. 인원수 순서대로 정렬된 결과에서 상위 5개만 선택하고, 데이터프레임으로 변환합니다.

top5_titles = title_counts.head(5).reset_index()

3. 그래프를 그리기 쉽도록 컬럼 이름을 'Title'과 'Count'로 명확하게 변경합니다.

top5_titles.columns = ['Title', 'Count']

결과 확인:

print(top5_titles)

Title Count

0 Mr 517

1 Miss 182

2 Mrs 125

3 Master 40

4 Dr 7


#### 3단계: 막대그래프 그리기

준비된 데이터를 바탕으로 막대그래프를 그립니다.

- **`plt.text()` 오류**: `plt.text(['as'])`는 문법적으로 완전히 틀린 코드입니다. `plt.text()`는 그래프의 특정 (x, y) 위치에 텍스트를 추가하는 함수이며, 이 분석의 핵심 기능이 아니므로 제외하고 그래프 그리기에 집중하는 것이 좋습니다.

- **올바른 코드**:
```python
import matplotlib.pyplot as plt

# x축에는 'Title', y축에는 'Count'를 넣어 막대그래프를 생성합니다.
plt.bar(top5_titles ['Title'], top5_titles ['Count'])

# 그래프의 가독성을 높이기 위해 제목과 라벨을 추가합니다.
plt.title('Top 5 Titles in Titanic')
plt.xlabel('Title')
plt.ylabel('Count')

# 그래프를 화면에 보여줍니다.
plt.show()

전체 수정 코드 (정리)

import matplotlib.pyplot as plt
import pandas as pd

# (데이터 로딩 코드가 필요합니다. 예: titanic = pd.read_csv("data/titanic.csv"))

# 1. 'Name' 열에서 호칭(Title) 추출하여 'Title' 열 생성
titanic['Title'] = titanic ['Name']. apply(lambda x: x.split(', ')[1]. split('.')[0]. strip())

# 2. 호칭별 인원수 계산 후, 상위 5개만 선택하여 데이터프레임으로 변환
title_counts = titanic['Title'].value_counts()
top5_titles = title_counts.head(5).reset_index()

# 3. 가독성을 위해 컬럼 이름 변경
top5_titles.columns = ['Title', 'Count']

# 4. 막대 그래프 그리기
plt.bar(top5_titles ['Title'], top5_titles ['Count'])

# 5. 그래프 가독성을 위한 제목 및 라벨 추가
plt.title('Top 5 Titles in Titanic')
plt.xlabel('Title')
plt.ylabel('Count')

# 6. 그래프 출력
plt.show()

주제: 이름에서 호칭을 추출하고, 막대그래프에 값 표시하기

이 작업의 전체 흐름은 다음과 같습니다.

  1. 데이터 준비: 'Name' 열에서 'Mr', 'Mrs' 같은 호칭을 추출하여 새 'Title' 열을 만듭니다.
  2. 데이터 집계: 호칭별로 개수를 세고, 가장 많은 상위 5개만 선택합니다.
  3. 시각화: 막대그래프를 그립니다.
  4. 주석 달기: 각 막대 위에 정확한 숫자(개수)를 텍스트로 추가합니다.

단계별 상세 설명 및 전체 코드

1, 2단계: 데이터 준비 및 집계

# 1. 'Name' 열에서 호칭(Title) 추출하여 'Title' 열 생성
# .strip()으로 불필요한 공백을 제거하는 것이 중요합니다.
titanic ['Title'] = titanic ['Name']. apply(lambda x: x.split(', ')[1]. split('.')[0]. strip())

# 2. 호칭별 인원수 계산 후, 상위 5개만 선택하여 데이터프레임으로 변환
title_counts = titanic['Title'].value_counts()
top5_titles = title_counts.head(5).reset_index()
top5_titles.columns = ['Title', 'Count'] # 컬럼 이름을 'Title', 'Count'로 변경

3단계: 막대그래프 그리기

plt.bar() 함수를 사용해 기본적인 막대그래프를 그립니다.

import matplotlib.pyplot as plt

# x축에는 'Title', y축에는 'Count'를 넣어 막대그래프를 생성합니다.
plt.bar(top5_titles ['Title'], top5_titles ['Count'])

4단계: 그래프 위에 숫자(레이블) 표시하기 (핵심 부분)

이제 for 반복문과 plt.text() 함수를 이용해 각 막대 위에 숫자를 표시합니다.

# top5_titles['Count']에 들어있는 값들(예: [517, 182, 125, 40, 7])을 하나씩 순회합니다.
# enumerate 함수는 (인덱스, 값) 쌍을 만들어줍니다. 
# 예: (0, 517), (1, 182), (2, 125),...
for index, value in enumerate(top5_titles['Count']):
    # plt.text() 함수로 그래프에 텍스트를 추가합니다.
    # plt.text(x좌표, y좌표, '표시할 텍스트')
    plt.text(index, value + 5, str(value), ha='center')

for문 상세 설명:

  • enumerate(top5_titles['Count']): top5_titles 데이터프레임의 'Count' 열에 있는 값들을 가져옵니다. enumerate는 이 값들에 순서 번호(인덱스)를 붙여줍니다. 첫 번째 막대의 인덱스는 0, 두 번째는 1,... 이 됩니다.
  • for index, value in ...: 루프가 돌 때마다 index 변수에는 막대의 순서 번호(0, 1, 2,...)가, value 변수에는 해당 막대의 높이(인원수)가 저장됩니다.

plt.text() 함수 상세 설명:

  • plt.text(x, y, s): 특정 (x, y) 위치에 s라는 텍스트를 쓰는 함수입니다.
  • x좌표: index: index는 각 막대의 x축 위치(0, 1, 2...)이므로, 텍스트를 해당 막대 바로 위에 쓸 수 있습니다.
  • y좌표: value + 5: value는 막대의 높이입니다. 여기에 +5를 더해, 텍스트가 막대 꼭대기에서 약간 위쪽에 표시되도록 하여 겹치지 않게 합니다.
  • 표시할 텍스트: str(value): 화면에 표시할 실제 텍스트입니다. value(인원수)를 문자열로 변환하여 넣어줍니다.
  • ha='center': horizontalalignment의 약자로, 텍스트를 x좌표 기준으로 가운데 정렬하여 막대의 중앙에 예쁘게 위치시킵니다.

최종 전체 코드

import matplotlib.pyplot as plt
import pandas as pd

# (데이터 로딩 코드가 필요합니다. 예: titanic = pd.read_csv("data/titanic.csv"))

# 1. 'Name' 열에서 호칭(Title) 추출
titanic['Title'] = titanic ['Name']. apply(lambda x: x.split(', ')[1]. split('.')[0]. strip())

# 2. 호칭별 인원수 계산 및 상위 5개 데이터 준비
title_counts = titanic['Title'].value_counts()
top5_titles = title_counts.head(5).reset_index()
top5_titles.columns = ['Title', 'Count']

# 3. 막대그래프 그리기
plt.bar(top5_titles['Title'], top5_titles ['Count'])

# 4. 그래프 위에 값(label) 표시하기
for index, value in enumerate(top5_titles['Count']):
    plt.text(index, value + 5, str(value), ha='center')

# 5. 그래프 가독성을 위한 제목 및 라벨 추가
plt.title('Top 5 Titles in Titanic')
plt.xlabel('Title')
plt.ylabel('Count')

# 6. 그래프 출력
plt.show()

-- coding: utf-8 --

판다스와 matplotlib 공부를 위한 예제 코드입니다.

titanic 데이터프레임이 있다고 가정하고 진행합니다.

예:

import pandas as pd

titanic = pd.read_csv('path/to/your/titanic/dataset.csv')

import matplotlib.pyplot as plt

import seaborn as sns

사용자 제공 예제: 이름에서 호칭 추출 및 시각화

print("-- 사용자 제공 예제 --")

gender name 생성.

titanic["gender_name"] = titanic ["Name"]. apply(lambda x : x.split(', ')[1]. split('.')[0])

gender_name의 각 값 개수를 센뒤 테이블로 변환 -> 상위 5 개행만 추출

df_gender = titanic["gender_name"].value_counts().reset_index()[:5]

막대그래프 그리기

plt.figure()
plt.bar(df_gender['gender_name'], df_gender ['count'])

막대그래프 위에 label 새기기.

for index, value in enumerate(df_gender['count']):
plt.text(index, value + 5, str(value), ha='center') # ha='center'로 가운데 정렬
plt.title('Top 5 Name Genders')
plt.show()

print("\n\n-- 추가 예제 --")

예제 1: 결측치(Missing Value) 확인 및 처리

print("\n# 예제 1: 결측치 처리")

'Age' 컬럼의 결측치 개수 확인

missing_age_count = titanic ['Age']. isnull(). sum()
print(f"Age 컬럼의 결측치 개수: {missing_age_count}")

'Age' 컬럼의 결측치를 평균 나이로 채우기 (새로운 칼럼에 저장하여 원본 보존)

average_age = titanic['Age'].mean()
titanic ['Age_filled'] = titanic ['Age']. fillna(average_age)
print("Age 컬럼의 결측치를 평균값으로 채운 'Age_filled' 칼럼을 생성했습니다.")
print(titanic[['Age', 'Age_filled']].head())

예제 2: 데이터 그룹화(Grouping) 및 집계(Aggregation)

print("\n# 예제 2: 그룹화 및 집계")

성별(Sex)과 좌석 등급(Pclass)에 따른 평균 생존율 계산

unstack()을 사용하면 보기 좋은 피벗 테이블 형태로 만들 수 있습니다.

survival_rate = titanic.groupby(['Sex', 'Pclass'])['Survived'].mean().unstack()
print("성별 및 좌석 등급별 평균 생존율:")
print(survival_rate)

Seaborn을 사용한 히트맵 시각화 (데이터를 색상으로 표현)

plt.figure()
sns.heatmap(survival_rate, annot=True, fmt=".2f", cmap="viridis")
plt.title('Survival Rate by Sex and Pclass')
plt.show()

예제 3: 히스토그램(Histogram) - 수치 데이터의 분포 확인

print("\n# 예제 3: 히스토그램")
plt.figure()

kde=True 옵션은 밀도 추정 곡선을 함께 그려줍니다.

sns.histplot(data=titanic, x='Age_filled', bins=20, kde=True)
plt.title('Distribution of Age')
plt.xlabel('Age')
plt.ylabel('Frequency')
plt.grid(True)
plt.show()

예제 4: 박스 플롯(Box Plot) - 그룹별 데이터 분포 비교

print("\n# 예제 4: 박스 플롯")
plt.figure()

좌석 등급(Pclass)에 따른 나이(Age) 분포를 비교합니다.

sns.boxplot(data=titanic, x='Pclass', y='Age_filled')
plt.title('Age Distribution by Ticket Class')
plt.xlabel('Pclass')
plt.ylabel('Age')
plt.grid(True)
plt.show()

예제 5: 카운트 플롯(Count Plot) - 범주형 데이터의 개수 시각화

print("\n# 예제 5: 카운트 플롯")
plt.figure()

hue 옵션을 사용하여 'Survived' 여부에 따라 색상을 다르게 표현합니다.

sns.countplot(data=titanic, x='Sex', hue='Survived')
plt.title('Count of Survivors by Sex')
plt.xlabel('Sex')
plt.ylabel('Count')
plt.legend(title='Survived', labels=['No', 'Yes'])
plt.show()

[코드 정리 및 상세 설명]

1. 정리된 최종 코드

  • 주석을 통해 각 코드 라인이 어떤 역할을 하는지 설명했습니다.
  • 가독성과 재사용성을 높이기 위해 그래프에 제목, 축 레이블 등을 추가했습니다.
  • plt.text() 부분을 더 정확하고 깔끔하게 수정했습니다.
import pandas as pd
import matplotlib.pyplot as plt

# --- 데이터 준비 (사용자 코드와 동일) ---
# titanic 데이터프레임이 이미 로드되어 있다고 가정합니다.
# 예: titanic = pd.read_csv('titanic.csv')

# 1. 'Name' 컬럼에서 호칭(gender_name) 추출 시, 공백 제거(strip()) 추가
titanic ["gender_name"] = titanic ["Name"]. apply(lambda x : x.split(', ')[1]. split('.')[0]. strip())

# 2. 호칭(gender_name)별 개수를 세고, 가장 많은 5개를 선택
df_gender = titanic["gender_name"].value_counts().reset_index()
df_gender.columns = ['gender_name', 'count'] # 컬럼 이름 재설정
df_gender = df_gender.head(5) # 상위 5개 추출

# --- 그래프 시각화 ---

# 3. 그래프 사이즈를 설정합니다. (가로 10, 세로 6 인치)
plt.figure(figsize=(10, 6))

# 4. 막대 그래프를 그립니다.
# x축에는 'gender_name', y축에는 'count' 값을 사용합니다.
plt.bar(df_gender ['gender_name'], df_gender ['count'], color='skyblue')

# 5. 그래프에 각종 정보를 추가하여 가독성을 높입니다.
plt.title('Top 5 Name Titles in Titanic', fontsize=16) # 그래프 제목
plt.xlabel('Title', fontsize=12) # x축 이름
plt.ylabel('Count', fontsize=12) # y축 이름
plt.xticks(rotation=45) # x축 레이블이 겹치지 않게 45도 회전
plt.grid(axis='y', linestyle='--', alpha=0.7) # y축에만 그리드 추가

# 6. 막대 위에 값(label)을 표시합니다. (핵심 설명 부분)
# enumerate를 사용하여 각 막대의 인덱스(index)와 값(value)을 순차적으로 가져옵니다.
for index, value in enumerate(df_gender['count']):
    # plt.text(x좌표, y좌표, 표시할 텍스트, 옵션...)
    plt.text(
        index,           # x좌표: 현재 막대의 인덱스 (0, 1, 2, 3, 4)
        value + 5,       # y좌표: 막대 높이(value)보다 조금 위에 표시
        str(value),      # 표시할 텍스트: 막대의 값(value)을 문자열로 변환
        ha='center',     # horizontalalignment: 텍스트를 x좌표의 중앙에 정렬
        fontsize=10
    )

# 7. 그래프를 화면에 보여줍니다.
plt.tight_layout() # 레이아웃을 깔끔하게 자동 조정
plt.show()

2. plt.text() 함수 상세 설명

plt.text() 함수는 그래프의 특정 위치에 텍스트를 추가하는 역할을 합니다.

plt.text(x, y, s, **kwargs) 의 형태로 사용됩니다.

  • x: 텍스트를 표시할 x축 좌표입니다.

    • 정리된 코드의 index에 해당합니다. 막대그래프에서 각 막대는 내부적으로 0, 1, 2,... 와 같은 정수 인덱스 위치에 그려지므로, 이 인덱스를 그대로 x좌표로 사용합니다.

  • y: 텍스트를 표시할 y축 좌표입니다.

    • 정리된 코드의 value + 5에 해당합니다. value는 막대의 높이(값)이므로, y=value 위치는 정확히 막대의 맨 위 끝입니다. 여기에 +5를 하여 텍스트가 막대와 겹치지 않고 살짝 위에 위치하도록 조정한 것입니다. (이 숫자는 y축의 크기에 따라 적절히 조절하면 됩니다.)

  • s: 화면에 표시될 실제 텍스트(string)입니다.

    • 정리된 코드의 str(value)에 해당합니다. 숫자 값인 value를 str()을 이용해 문자열로 변환하여 전달해야 합니다.

  • **kwargs (키워드 인수, 즉 각종 옵션): 텍스트의 스타일을 꾸미는 데 사용됩니다.

    • ha (horizontalalignment): 수평 정렬을 의미합니다.

      • 'center': x 좌표를 기준으로 텍스트의 가운데가 오도록 정렬합니다. (가장 많이 사용)
      • 'left': x 좌표를 기준으로 텍스트의 왼쪽 끝이 오도록 정렬합니다.
      • 'right': x 좌표를 기준으로 텍스트의 오른쪽 끝이 오도록 정렬합니다.
      • 기존 코드의 index-0.1처럼 수동으로 위치를 조절하는 것보다, ha='center'를 사용하는 것이 훨씬 더 정확하고 편리한 방법입니다.

    • va (verticalalignment): 수직 정렬을 의미합니다. ('top', 'bottom', 'center')

    • fontsize: 텍스트의 폰트 크기를 조절합니다.

    • color: 텍스트의 색상을 지정합니다.

따라서 plt.text(index, value + 5, str(value), ha='center') 코드는 "각 막대의 x축 인덱스 위치, y축 상단에서 5만큼 위인 지점에, 막대의 숫자 값을 중앙 정렬하여 표시하라" 는 의미가 됩니다.

Age_filled 컬럼을 새로 만드는 이유와 . fillna() 함수 설명

사용하신 코드에 대한 설명을 study_1001(3).txt 파일에 정리해 드립니다.

import pandas as pd

# titanic 데이터프레임이 있다고 가정합니다.
# 예: titanic = pd.read_csv('titanic.csv')

# 결측치 개수 확인
print(f"처리 전 Age 컬럼의 결측치 개수: {titanic ['Age']. isna(). sum()}")

# 'Age' 컬럼의 평균값 계산
mean_age = titanic ["Age"]. mean()

# 평균값으로 결측치를 채운 새로운 컬럼 'Age_filled' 생성
titanic ["Age_filled"] = titanic ["Age"]. fillna(mean_age)

print(f"처리 후 Age_filled 컬럼의 결측치 개수: {titanic ['Age_filled']. isna(). sum()}")
print("\n'Age'와 'Age_filled' 컬럼 비교 (상위 5개):")
print(titanic[['Age', 'Age_filled']].head())

1. 왜 titanic["Age_filled"] 라는 새로운 칼럼을 만들었나요?

가장 큰 이유는 원본 데이터를 보존하기 위함입니다. 이는 데이터 분석에서 매우 중요한 원칙입니다.

  • 데이터 무결성 유지 (원본 보존): 원본 Age 컬럼을 직접 수정(titanic ["Age"] = titanic ["Age"]. fillna(mean_age))해버리면, 원래 어떤 값이 결측치였는지, 그리고 원래의 값 분포는 어땠는지 알 수 없게 됩니다. 원본 데이터를 그대로 두면 언제든지 초기 상태의 데이터를 다시 확인하고 다른 방식으로 처리해 볼 수 있습니다.

  • 비교 및 검증: 원본 데이터와 결측치를 채운 데이터를 쉽게 비교할 수 있습니다. 예를 들어, 평균값으로 채우는 것이 타당했는지, 데이터 분포에 어떤 영향을 미쳤는지 등을 나란히 놓고 분석할 수 있습니다.

  • 실험의 유연성: 결측치를 채우는 방법은 평균값 외에도 중앙값(median), 최빈값(mode) 등 다양합니다. Age_filled_mean, Age_filled_median처럼 여러 방법을 적용한 컬럼들을 각각 만들어두고, 어떤 방법이 분석 모델의 성능을 가장 높이는지 실험하고 선택할 수 있습니다.

요약: 원본 데이터를 훼손하지 않는 '비파괴적(non-destructive) 연산'은 좋은 데이터 분석 습관입니다. 원본을 지키면서 새로운 처리 결과를 새 컬럼에 저장하면, 분석 과정을 추적하고 검증하기 용이해집니다.

2. .fillna(mean_age)는 무엇인가요?

. fillna()는 Pandas 라이브러리에서 결측치(NA/NaN)를 특정 값으로 채워주는(fill) 함수입니다.

  • titanic["Age"]: 결측치를 채울 대상이 되는 데이터(Pandas Series)입니다.
  • .fillna( ... ): 이 대상의 결측치를 채우겠다는 의미의 함수 호출입니다.
  • mean_age: 괄호 안에 넣어준 값, 즉 결측치를 대체할 값입니다. 앞서 titanic ["Age"]. mean()으로 계산해 둔 나이 평균값이 mean_age 변수에 저장되어 있으므로, 모든 결측치가 이 평균 나이 값으로 채워집니다.

요약: titanic["Age"].fillna(mean_age)는 "titanic의 Age 데이터에서 모든 결측치(NA)를 찾아서, mean_age라는 변수에 담긴 값으로 바꿔줘"라는 의미의 코드입니다.

중복값 처리 함수 설명: .duplicated(), . drop_duplicates(), . shape

1. titanic.duplicated()

  • 정의: 데이터프레임의 각 행(row)이 중복인지 아닌지를 검사하는 함수입니다.
  • 작동 방식:
    • 첫 번째로 나타나는 행은 무조건 고유한 값(False)으로 판단합니다.
    • 그 이후에 나타나는 행이 이전에 나왔던 행과 모든 열의 내용이 완전히 동일하면, 그 행을 중복(True)으로 판단합니다.
  • 결과: 각 행에 대해 True(중복임) 또는 False(고유함) 값을 가지는 불리언(boolean) 시리즈를 반환합니다.
  • .duplicated().sum():
    • .duplicated()의 결과는 [False, False, True, False, True,...] 와 같은 형태입니다.
    • 파이썬에서 True는 숫자 1, False는 숫자 0으로 취급될 수 있습니다.
    • 따라서 .sum() 함수를 붙이면 True의 개수, 즉 총 중복된 행의 개수를 계산할 수 있습니다.

2. titanic.drop_duplicates()

  • 정의: 중복된 행을 제거한 새로운 데이터프레임을 반환하는 함수입니다.
  • 작동 방식:
    • 기본적으로, 중복된 행들 중에서 첫 번째 행은 남기고 나머지 중복 행들을 제거합니다.
    • 원본 데이터프레임(titanic)을 직접 수정하지 않고, 중복이 제거된 새로운 데이터프레임의 복사본을 반환합니다.
    • 그렇기 때문에 titanic_unique = titanic.drop_duplicates() 와 같이 새로운 변수에 결과를 저장해야 합니다.
  • 결과: 중복된 행이 제거된 깨끗한 데이터프레임.

3. titanic_unique.shape

  • 정의: 데이터프레임의 형태(크기)를 알려주는 속성(attribute)입니다. (함수가 아니므로 () 괄호를 붙이지 않습니다.)
  • 결과: (행의 개수, 열의 개수) 형태의 튜플(tuple)을 반환합니다.
  • 사용 예: print(titanic_unique.shape) 코드는 중복이 제거된 titanic_unique 데이터프레임에 몇 개의 행과 몇 개의 열이 남았는지 출력합니다. 이를 통해 중복 제거 전후의 데이터 크기를 비교할 수 있습니다.

이상점(Outlier) 탐지 (IQR 방식) 코드 해설

제공된 코드는 데이터의 사분위수 범위를 이용하여 정상 범위를 벗어나는 값, 즉 '이상점'을 찾아내는 표준적인 방법입니다.

# titanic 데이터프레임이 있다고 가정합니다.

# 1. 1사분위수(Q1)와 3 사분위수(Q3) 계산
Q1 = titanic["Fare"].quantile(0.25) # 하위 25% 지점의 값
Q3 = titanic["Fare"].quantile(0.75) # 하위 75% 지점의 값

# 2. 사분위수 범위(IQR) 계산
IQR = Q3 - Q1

# 3. 정상 범위의 경계(lower/upper bound) 계산
lower_bound = Q1 - 1.5 * IQR # 하한선
upper_bound = Q3 + 1.5 * IQR # 상한선

# 4. 정상 범위를 벗어나는 데이터(이상점) 필터링
outliers = titanic[(titanic["Fare"] < lower_bound) | (titanic ["Fare"] > upper_bound)]

# 5. 탐지된 이상점의 'Fare' 값 확인
print("탐지된 이상점 (상위 5개):")
print(outliers[["Fare"]].head())

1. 주요 함수 및 개념 설명

  • .quantile(q): 데이터의 특정 분위수에 해당하는 값을 찾아주는 함수입니다.

    • .quantile(0.25): 데이터를 오름차순으로 정렬했을 때, 25% 위치에 있는 값(제1사분위수, Q1)을 의미합니다.
    • .quantile(0.75): 75% 위치에 있는 값(제3사분위수, Q3)을 의미합니다.

  • IQR (Interquartile Range, 사분위수 범위): Q3 - Q1으로 계산하며, 데이터의 중간 50%가 분포하는 범위를 나타냅니다. 이상치의 영향을 덜 받기 때문에 데이터의 퍼짐 정도를 안정적으로 측정할 수 있습니다.

  • lower_bound / upper_bound: '정상 데이터'로 간주할 범위를 정의하는 경계선입니다. 통계학에서는 일반적으로 Q1에서 1.5 * IQR 만큼 아래까지, Q3에서 1.5 * IQR 만큼 위까지를 정상 범위로 봅니다.

2. outliers 라인 상세 해설

outliers = titanic[(titanic["Fare"] < lower_bound) | (titanic ["Fare"] > upper_bound)]

이 코드는 Pandas의 '불리언 인덱싱(Boolean Indexing)' 기능을 사용한 것으로, 단계별로 나누어 보면 이해하기 쉽습니다.

1단계: 조건 확인 (결과는 True/False 시리즈)

  • titanic["Fare"] < lower_bound:

    • titanic의 모든 행에 대해 'Fare' 값이 lower_bound보다 작은지 검사합니다.
    • 결과: [False, False, True, False,...] 와 같이 각 행마다 True 또는 False 값을 갖는 시리즈(Series)가 생성됩니다.

  • titanic["Fare"] > upper_bound:

    • titanic의 모든 행에 대해 'Fare' 값이 upper_bound보다 큰지 검사합니다.
    • 결과: 마찬가지로 [True, False, False, False,...] 와 같은 불리언 시리즈가 생성됩니다.

2단계: 두 조건을 | (OR) 연산자로 연결

  • | 기호는 파이썬에서 '또는(OR)'을 의미합니다.
  • (조건1) | (조건 2)는 두 조건 중 하나라도 True이면 True를 반환합니다.
  • 즉, 'Fare' 값이 하한선보다 작거나, 또는 상한선보다 큰 모든 행을 True로 표시하는 최종 조건 시리즈가 만들어집니다. 이 True로 표시된 행들이 바로 우리가 찾으려는 '이상점'입니다.

3단계: titanic[...]으로 데이터 필터링

  • titanic[ 최종_조건_시리즈 ]
  • Pandas 데이터프레임의 대괄호 [] 안에 True/False로 이루어진 시리즈를 넣으면, True에 해당하는 행들만 골라서 새로운 데이터프레임을 만들어 반환합니다.

결론: 이 한 줄의 코드는 "타이타닉 데이터프레임에서, 'Fare' 값이 하한선보다 작거나 상한선보다 큰 모든 행들을 추출하여 outliers라는 새로운 데이터프레임에 저장하라" 는 의미입니다.

'AI 엔지니어 부트캠프 > 파이썬 데이터 분석 기초와 머신 러닝 기초' 카테고리의 다른 글

위클리 페이퍼 진행_2025.10.13  (0) 2025.10.13
펭귄 데이터셋 EDA_데이터분석.ipynb  (0) 2025.10.02
기초 통계와 데이터 시각화  (2) 2025.10.01
데이터 사이언스 Toolkit  (0) 2025.09.30
문자열 압축 게임  (0) 2025.09.26
'AI 엔지니어 부트캠프/파이썬 데이터 분석 기초와 머신 러닝 기초' Related Articles more