티스토리

G471000

검색하기

블로그 홈

G471000

g471000.tistory.com/m

G47's Journey

구독자: 0

방명록 방문하기

주요 글 목록

Infer population parameters with the central limit theorem: 극한정리를 활용한 모수 추정하기 최근 중심극한정리에 대해 배우며 다양한 데이터셋을 다루는 방법을 익혔다. 데이터 전문가는 중심극한정리를 활용해 경제, 과학, 비즈니스 등 여러 분야의 데이터를 바탕으로 모집단의 모수를 추정한다. 이번 글에서는 중심극한정리에 대해 좀 더 자세히 살펴보고, 이를 통해 다양한 데이터에서 모집단의 평균을 추정하는 방법을 알아본다. 중심극한정리의 정의, 적용 조건, 그리고 실제 예제를 통해 내용을 구체화한다. 정의중심극한정리는 "표본평균의 분포는 표본 크기가 커질수록 정규분포에 가까워진다"는 이론이다. 즉, 표본 크기가 충분히 크면, 표본평균의 분포는 종 모양(정규분포)의 형태를 띠게 된다. 또한, 표본을 많이 추출할수록 표본평균은 모집단의 평균에 근접한다. 예를 들어, 경량 픽업트럭의 평균 무게를 추정하고 싶다.. 공감수 0 댓글수 0 2025. 4. 12.
The Central Limit Theorem: 중심극한정리 데이터 분석 업무에서 중심극한정리(Central Limit Theorem, CLT)는 매우 강력한 도구이다. 통계적으로 신뢰할 수 있는 추론을 위해 중심극한정리를 이해하고 적용하는 것은 데이터 전문가에게 필수적이다. 이번 글에서는 중심극한정리가 무엇인지, 그리고 왜 이 정리가 실제 데이터 분석에 유용한지를 예시와 함께 알아본다. 표본의 크기가 충분히 크면, 어떤 분포를 가진 모집단이든 간에표본 평균의 분포는 정규 분포(종 모양의 곡선)를 따른다.이 말은 즉, 모집단의 분포가 치우쳐 있거나 정규 분포가 아니더라도, 표본 크기를 충분히 키우면 표본 평균들의 분포는 정규 분포에 가까워진다는 뜻이다. 중심극한정리의 활용 예시 예시 1: 남아프리카 대학생의 평균 키 추정모든 학생을 측정하기는 어렵기 때문에, 일.. 공감수 1 댓글수 0 2025. 4. 11.
How sampling affects your data: 샘플링이 데이터에 미치는 영향 데이터 전문가로 일하면서, 종종 샘플 데이터를 활용해 미래의 매출 예측이나 제품 성능 평가 모델을 만든다. 이러한 작업은 종종 모집단에 대한 추론(inference) 을 필요로 한다. 그 중심에는 샘플 통계량을 기반으로 모집단의 모수(parameter) 를 추정하는 과정이 있다. 샘플링과 점 추정 통계량(statistic): 샘플의 특성 (예: 100마리 펭귄의 평균 몸무게)모수(parameter): 모집단의 특성 (예: 전체 10,000마리 펭귄의 평균 몸무게)샘플 평균을 활용하여 모집단 평균을 추정하는 것을 점 추정(point estimate) 이라고 한다. 이는 하나의 값으로 모집단의 특성을 추정하는 방식이다. 샘플링 분포란? 샘플링 분포(sampling distribution) 는 샘플 통계량의 .. 공감수 0 댓글수 0 2025. 4. 10.
bias in sampling: 샘플링과 편향 데이터 전문가는 머신러닝 모델을 만들 때 샘플 데이터를 자주 활용한다. 오늘날 머신러닝 모델은 대출 승인, 면접 기회 제공, 정확한 의료 진단 등 다양한 결정에 영향을 줄 수 있다. 대표성 있는 샘플로 구축된 모델은 대출이나 면접 기회 등의 결정을 공정하고 편향 없이 수행할 가능성이 높다. 모집단의 다양한 유형을 대표하는 샘플을 사용하는 것은 각 개인에게 적절한 결과를 제공하는 데 매우 중요하다. 그러나 안타깝게도 샘플 데이터에는 종종 편향(bias)이 존재한다. 샘플링 편향(sampling bias) 은 샘플이 모집단 전체를 제대로 대표하지 못할 때 발생한다. 확률 샘플링 vs 비확률 샘플링최근 학습한 바와 같이, 확률 샘플링(probability sampling) 은 무작위 선택을 사용하여 모집단의.. 공감수 0 댓글수 0 2025. 4. 9.
Sampling Methods: 샘플링 방법 데이터 분석 과정에서 표본 데이터를 수집할 때, 많은 경우 확률 샘플링 방법을 사용한다. 이전 글에서 확률 샘플링과 비확률 샘플링의 차이를 간단히 살펴보았다. 이번에는 확률 샘플링의 구체적인 방법 네 가지와 각 방법의 장단점에 대해 정리한다. 확률 샘플링이란?확률 샘플링은 모집단의 모든 구성원이 무작위로 선택될 기회를 동일하게 갖는 샘플링 방식이다. 무작위성을 기반으로 하므로, 모집단의 대표성을 확보할 수 있는 가능성이 크다. 대표성이 높은 표본은 신뢰성 있는 추론을 가능하게 한다.확률 샘플링에는 다음과 같은 네 가지 주요 방법이 있다.단순 무작위 샘플링 (Simple Random Sampling)층화 무작위 샘플링 (Stratified Random Sampling)군집 무작위 샘플링 (Cluster R.. 공감수 1 댓글수 0 2025. 4. 8.
The sampling process: 샘플링 과정 데이터 분석을 수행할 때, 대부분의 경우 전체 모집단의 데이터를 수집하는 것은 불가능하거나 비효율적이다. 따라서 데이터 전문가들은 샘플링(sampling)을 활용하여 모집단을 대표할 수 있는 일부 데이터를 선택하고 분석한다. 하지만 샘플링 과정이 잘못되면 분석의 신뢰성이 떨어질 수 있다. 이번 글에서는 샘플링 과정의 주요 5단계를 소개하고, 데이터 분석에서 신뢰할 수 있는 샘플 데이터를 확보하는 방법을 알아보겠다. 1. 목표 모집단 정의하기 (Identify the Target Population)샘플링 과정의 첫 번째 단계는 목표 모집단(target population)을 정의하는 것이다. 목표 모집단은 연구나 분석을 통해 정보를 얻고자 하는 모든 요소(사람, 조직, 사물 등)를 포함한다. 예를 들어.. 공감수 0 댓글수 0 2025. 4. 7.
The relationship between sample and population: 표본과 모집단의 관계 이전에 추론 통계가 표본 데이터를 사용하여 더 큰 모집단에 대한 결론을 도출하거나 예측하는 방법을 다룬 적이 있다. 데이터 전문가들은 추론 통계를 활용하여 데이터에 대한 유용한 통찰을 얻는다. 이번 글에서는 모집단과 표본의 관계를 더 깊이 탐구하고, 데이터 분석에서 샘플링이 어떻게 활용되는지, 그리고 대표성 있는 표본을 확보하는 것이 왜 중요한지에 대해 설명한다. 모집단(Population)과 표본(Sample) 통계학에서 모집단(population) 은 측정하려는 모든 요소를 포함하는 데이터 집합이다. 모집단은 다양한 유형의 데이터를 포함할 수 있다.사람 (예: 모든 대학생, 모든 고객)조직 (예: 특정 산업 내 모든 기업)객체 (예: 한 회사에서 생산한 모든 휴대폰)이벤트 (예: 특정 기간 동안 발.. 공감수 0 댓글수 0 2025. 4. 6.
Introduction to sampling: 샘플링 데이터 분석에서 샘플링(Sampling)은 전체 모집단에서 일부 데이터를 선택하여 분석하는 과정이다. 샘플링은 데이터 과학과 통계학에서 필수적인 개념이며, 특히 방대한 데이터를 다루는 현대의 데이터 분석에서 중요한 역할을 한다. 샘플링과 통계적 접근이전에 기술 통계(Descriptive Statistics)와 추론 통계(Inferential Statistics)의 차이에 대해 간략히 설명한 적이 있다.기술 통계는 평균, 표준편차와 같은 값을 계산하여 데이터의 주요 특징을 요약하는 방법이다.추론 통계는 샘플 데이터를 바탕으로 모집단에 대한 결론을 도출하거나 예측하는 방법이다.이번에는 샘플과 모집단(Population) 간의 관계를 좀 더 깊이 있게 살펴보고, 데이터 분석에서 대표성(Representativ.. 공감수 0 댓글수 0 2025. 4. 5.
Probability Distributions in Python: 파이썬으로 확률 분포 분석하기 데이터 분석을 할 때, 확률 분포를 이해하는 것은 매우 중요하다. 이번 글에서는 정규 분포를 이용하여 데이터를 모델링하는 방법과 Z-Score를 활용한 이상값 탐지를 다룬다. 특히, 특정 데이터가 정규 분포를 따르는지 확인하고, 경험적 법칙(Empirical Rule)을 통해 데이터를 해석하는 방법을 설명할 것이다. 마지막으로, Z-Score를 활용하여 이상값을 찾는 방법을 알아본다. 라이브러리 불러오기먼저 필요한 라이브러리를 불러온다.pandas: 데이터프레임 처리numpy: 수학 연산matplotlib.pyplot: 시각화scipy.stats: 통계 분석import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom scipy impo.. 공감수 0 댓글수 0 2025. 4. 4.
Z-Score: 표준 점수 이전 글에서 정규 분포에 대해 배웠다. 정규 분포는 다양한 데이터 집합에서 나타나는 가장 일반적인 확률 분포로, 평균을 중심으로 대칭적인 종 모양(bell shape)을 띤다. 이번 글에서는 Z-Score(표준 점수)에 대해 알아보고, 이를 활용하여 데이터를 비교하는 방법을 설명한다. Z-Score란? Z-Score(표준 점수)는 데이터 값이 평균으로부터 얼마나 떨어져 있는지를 표준 편차를 기준으로 나타낸 값이다. 즉, 데이터 값이 평균보다 몇 개의 표준 편차만큼 위 또는 아래에 위치하는지를 알려주는 지표이다.Z-Score의 특징Z-Score가 0이면, 해당 값은 평균과 같다.Z-Score가 양수이면, 해당 값은 평균보다 크다.Z-Score가 음수이면, 해당 값은 평균보다 작다.일반적으로 Z-Score는.. 공감수 0 댓글수 0 2025. 4. 3.
Model data with the normal distribution: 정규 분포를 활용한 데이터 모델링 데이터 전문가로서 확률 분포를 이해하는 것은 매우 중요하다. 최근에는 연속 확률 분포(Continuous Probability Distribution)에 대해 배웠는데, 이는 키, 몸무게, 시간, 온도와 같은 연속형 변수를 다룰 때 유용하다. 이번 글에서는 가장 널리 사용되는 확률 분포 중 하나인 정규 분포(Normal Distribution)에 대해 깊이 탐구하고, 이를 활용하여 데이터를 모델링하는 방법을 알아보겠다. 연속 확률 분포(Continuous Probability Distribution)란?이전에 살펴본 이산 확률 분포(Discrete Probability Distribution)와 달리, 연속 확률 분포(Continuous Probability Distribution)는 연속형 변수를 다룬.. 공감수 1 댓글수 1 2025. 4. 2.
Normal Distribution: 정규 분포 지금까지 우리는 실험의 결과가 셀 수 있는 정수로 표현되는 이산 확률 분포(Discrete Probability Distribution)에 대해 이야기했다. 예를 들어, 주사위를 굴리면 결과는 2 또는 3이 될 수 있지만, 2.178이나 3.394 같은 소수 값이 나올 수는 없다. 이제 연속 확률 분포(Continuous Probability Distribution)로 넘어가 보자. 연속 확률 분포는 특정 구간 내에서 모든 값을 가질 수 있는 확률 분포를 의미한다. 일반적으로 키, 몸무게, 시간, 온도와 같은 측정 가능한 변수가 이에 해당한다. 예를 들어, 시간을 측정할 때 소수 자릿수를 계속 추가하여 더 정밀하게 측정할 수 있다. 이번 글에서는 가장 널리 사용되는 확률 분포 중 하나인 정규 분포(Nor.. 공감수 0 댓글수 0 2025. 4. 1.
Discrete Probability Distributions: 이산 확률 분포 데이터 분석에서는 확률 분포를 이용하여 다양한 데이터 집합을 모델링하고 중요한 패턴을 파악할 수 있다. 확률 분포는 랜덤한 사건에서 가능한 결과들의 발생 확률을 설명하는데, 이 중 **이산 확률 분포(Discrete Probability Distributions)**는 개별적인 값(예: 정수)로 표현되는 사건을 다룬다. 예를 들어, 주사위를 굴렸을 때 나올 수 있는 값은 1, 2, 3, 4, 5, 6이며, 2.57 또는 3.184와 같은 소수 값이 나올 수 없다. 즉, 특정한 개수로 셀 수 있는 확률 변수를 나타내는 것이 이산 확률 분포이다. 이번 글에서는 대표적인 이산 확률 분포 네 가지, 즉 균등 분포(Uniform Distribution), 이항 분포(Binomial Distribution), 베르.. 공감수 1 댓글수 1 2025. 3. 31.
Poisson Distribution: 포아송 분포 데이터 전문가로서 확률 분포를 이해하는 것은 매우 중요하다. 확률 분포는 다양한 데이터의 패턴을 모델링하는 데 도움을 주며, 적절한 머신러닝 모델을 선택하는 데도 유용하다. 이번 글에서는 가장 일반적인 두 개의 이산 확률 분포인 이항 분포(Binomial Distribution)와 포아송 분포(Poisson Distribution)를 비교하고, 포아송 분포의 주요 특징과 활용 사례를 살펴보겠다. 포아송 분포(Poisson Distribution)란? 포아송 분포는 일정한 시간 동안 특정 사건이 발생할 확률을 모델링하는 확률 분포이다. 프랑스의 수학자 시메옹 드니 포아송(Simeon Denis Poisson)이 1830년에 처음 도출한 이 분포는 원래 도박에서 승리하는 횟수를 설명하기 위해 개발되었다. .. 공감수 0 댓글수 0 2025. 3. 30.
Binomial Distribution: 이항분포 이전에 이산 확률 분포(Discrete Probability Distribution)에 대해 배웠다. 이산 확률 분포는 결과 값이 셀 수 있는 랜덤한 사건을 나타낸다. 예를 들어, 동전을 10번 던졌을 때 앞면이 나오는 횟수처럼 확률을 계산할 수 있다. 이번에는 가장 널리 사용되는 이산 확률 분포 중 하나인 이항 분포(Binomial Distribution)에 대해 알아보겠다. 이항 분포란?이항 분포는 결과가 성공(Success) 또는 실패(Failure) 두 가지 중 하나로만 나타나는 사건의 확률을 모델링하는 분포이다. 이항 분포를 따르는 사건은 다음과 같은 특징을 가진다:반복되는 실험(Trials): 실험이 여러 번 반복된다.두 가지 결과(성공 또는 실패):각 실험은 성공(Success) 또는 실패(.. 공감수 0 댓글수 0 2025. 3. 29.
Probability Distribution: 확률 분포 이전까지 기본적인 확률 개념을 배웠다. 이제 확률 분포(Probability Distribution)에 대해 알아볼 차례다. 데이터 분석에서는 확률 분포를 이용하여 다양한 데이터의 패턴을 모델링하고 분석할 수 있다. 확률 분포란 랜덤한 사건이 발생할 확률을 표현하는 방법이다. 예를 들어, 동전을 던지거나 주사위를 굴리는 것과 같은 단순한 확률 사건뿐만 아니라, 새로운 약물이 특정 질병을 치료할 확률과 같은 더 복잡한 사건도 확률 분포로 표현할 수 있다. 확률 변수 (Random Variable) 확률 분포를 이해하기 위해서는 먼저 확률 변수(Random Variable) 개념을 알아야 한다.확률 변수는 랜덤한 사건의 결과 값을 표현하는 변수다. 확률 변수에는 크게 이산 확률 변수(Discrete Rand.. 공감수 3 댓글수 2 2025. 3. 28.
Expanded Bayes' Theorem: 확장된 베이즈 정리 이전에 베이즈 정리(Bayes' Theorem)를 사용하여 새로운 정보에 따라 확률을 업데이트하는 방법을 배웠다. 하지만 베이즈 정리에는 여러 버전이 있으며, 문제의 유형에 따라 다른 방식으로 사용할 수 있다. 이번에는 확장된 베이즈 정리(Expanded Bayes' Theorem)를 활용하여 테스트의 정확도를 평가하는 방법을 배운다. 확장된 베이즈 정리란? (What is the Expanded Bayes' Theorem?)기본 베이즈 정리는 다음과 같은 수식을 따른다:P(A | B) = (P(A) × P(B | A)) / P(B)하지만 일부 문제에서는 P(B) 값을 알 수 없는 경우가 있다. 이런 경우, 확장된 베이즈 정리를 사용하면 문제를 해결할 수 있다. 확장된 공식은 다음과 같이 표현된다:P(.. 공감수 0 댓글수 0 2025. 3. 27.
베이즈 정리: Bayes' Theorem 이전에 조건부 확률(Conditional Probability)이란 어떤 사건이 이미 발생했을 때, 다른 사건이 발생할 확률이라는 것을 배웠다. 예를 들어, 트럼프 카드 덱에서 에이스를 한 장 뽑으면, 두 번째 에이스를 뽑을 확률이 변한다. 이번에는 베이즈 정리(Bayes' Theorem)를 사용하여 조건부 확률을 계산하는 방법을 배울 것이다. 베이즈 정리(Bayes' Rule)는 조건부 확률을 구하는 수학 공식으로, 18세기 영국의 수학자 토마스 베이즈(Thomas Bayes)의 이름을 따서 명명되었다. (아래 그림이 토마스 베이즈님이다) 베이즈 정리란? (What is Bayes' Theorem?) 베이즈 정리는 새로운 정보에 따라 사건의 확률을 업데이트하는 방법을 제공한다.베이즈 통계에서는 사.. 공감수 1 댓글수 0 2025. 3. 26.
Conditional Probability: 조건부 확률 조건부 확률이란? (What is Conditional Probability?)지금까지 단일 사건과 두 개 이상의 독립적인 사건(Independent Events)에 대한 확률을 계산하는 방법을 배웠다. 독립적인 사건이란 한 사건이 발생해도 다른 사건의 결과에 영향을 주지 않는 경우를 의미한다. 예를 들어, 두 번의 동전 던지기는 독립적인 사건이다. 첫 번째 던지기의 결과가 두 번째 던지기의 결과에 영향을 주지 않기 때문이다. 이전 글 참고:https://g471000.tistory.com/244https://g471000.tistory.com/245 이번에는 종속적인 사건(Dependent Events)에 대한 확률을 계산하는 방법을 배운다. 조건부 확률(Conditional Probability)은 .. 공감수 3 댓글수 3 2025. 3. 25.
The Probability of Multiple Events: 다중 사건의 확률 지금까지 단일 사건의 확률을 계산하는 방법을 배웠다. 이전글 참고https://g471000.tistory.com/243https://g471000.tistory.com/244 하지만 현실 세계와 데이터 분석에서는 여러 개의 사건이 동시에 발생하는 경우가 많다. 데이터 전문가로서 여러 사건의 확률을 다룰 일이 많을 것이다. 이번 글에서는 세 가지 기본 확률 규칙, 즉 여사건 규칙(Complement Rule), 덧셈 규칙(Addition Rule), 곱셈 규칙(Multiplication Rule)을 배울 것이다. 또한 서로 배타적인 사건(Mutually Exclusive Events)과 독립적인 사건(Independent Events)의 차이를 이해하고 각각의 확률을 계산하는 방법을 알아보겠다. 두 가.. 공감수 0 댓글수 0 2025. 3. 24.
Fundamental Concepts of Probability: 확률의 기본 개념 최근에 확률이 수학을 사용하여 불확실성을 정량화하거나 어떤 일이 발생할 가능성을 설명하는 데 활용된다는 것을 배웠다. 예를 들어, 내일 비가 올 확률이 80%라든가, 특정 후보가 선거에서 승리할 확률이 20%라는 식으로 표현할 수 있다.https://g471000.tistory.com/243 이번 글에서는 확률의 기본 개념에 대해 자세히 알아보겠다. 무작위 실험의 개념, 사건의 확률을 표현하고 계산하는 방법, 그리고 기본적인 확률 표기법에 대해 논의할 것이다. 확률의 기초 개념확률 이론의 기초가 되는 세 가지 개념을 먼저 살펴보자:무작위 실험 (Random Experiment)결과 (Outcome)사건 (Event)확률은 통계학에서 무작위 실험(또는 통계 실험)이라고 부르는 개념을 다룬다. 무작위 실험.. 공감수 0 댓글수 0 2025. 3. 23.
Objective vs Subjective Probability: 객관적 vs 주관적 확률 확률(Probability)은 불확실성을 측정하고 정량화하여 불확실한 결과에 대한 정보에 입각한 결정을 내리는 데 도움을 준다. 예를 들어, 날씨 예보에서 눈이 올 확률이 70%라고 하면, 이 정보를 바탕으로 모자, 장갑, 그리고 눈 부츠를 착용하기로 결정할 수 있다. 실제로 눈이 내리면 따뜻하고 건조하게 유지될 수 있다.데이터 전문가들은 확률을 활용하여 기업이 특정 기간 동안 일정량의 제품을 판매할 가능성, 금융 투자에서 긍정적인 수익을 올릴 가능성, 정치 후보자가 선거에서 승리할 가능성, 또는 의료 검사의 정확도를 예측할 수 있다. 이번에는 확률의 두 가지 주요 유형인 객관적 확률(objective probability)과 주관적 확률(subjective probability)에 대해 살펴보겠다. 객.. 공감수 2 댓글수 2 2025. 3. 22.
Measures of position: 위치 측정값 - 백분위수와 사분위수 지금까지 평균과 중앙값과 같은 중심 경향 측정값을 사용하여 데이터의 중심을 설명하는 방법을 배웠다. 또한 표준 편차와 같은 산포도를 사용하여 데이터의 분포를 나타내는 방법도 살펴보았다. 이러한 도구들은 데이터를 탐색하고 이해하는 데 유용하다. 지난글들: https://g471000.tistory.com/238https://g471000.tistory.com/239https://g471000.tistory.com/240https://g471000.tistory.com/241 이제 위치 측정값을 살펴보면서 기술 통계학의 개념을 완성해 보겠다.위치 측정값은 특정 값이 데이터셋 내에서 다른 값들과 비교하여 어느 위치에 있는지를 결정하는 데 도움이 된다. 중심 경향과 분포도를 함께 고려할 때, 개별 값들의 상.. 공감수 3 댓글수 1 2025. 3. 21.
Measures of Dispersion: Range, variance, and standard deviation (데이터의 분산 측정: 범위, 분산, 표준 편차) 새로운 데이터셋을 탐색할 때, 데이터의 중심뿐만 아니라 값들이 얼마나 퍼져 있는지도 파악하는 것이 중요하다. 중심 경향 측정값(Mean, Median, Mode)만으로는 데이터의 전체 구조를 완전히 이해하기 어렵다. 데이터가 같은 평균을 갖더라도 퍼짐 정도가 다를 수 있기 때문이다. 이를 분석하는 데 사용하는 개념이 바로 분산 측정값(Measures of Dispersion)이다. 분산 측정값이란?분산 측정값은 데이터셋 내 값들의 변동성을 나타낸다. 주요 분산 측정값으로는 범위(Range), 분산(Variance), 표준 편차(Standard Deviation)가 있다.범위(Range): 가장 큰 값과 가장 작은 값의 차이분산(Variance): 데이터 값들이 평균에서 얼마나 떨어져 있는지 측정하는 값 .. 공감수 2 댓글수 2 2025. 3. 20.
Measures of central tendency: 중심 경향 측정 값 중심 경향 측정값(measures of central tendency)은 데이터셋의 중심을 나타내는 값이다. 대표적인 중심 경향 측정값에는 평균(mean), 중앙값(median), 최빈값(mode)이 있다.평균(Mean): 데이터셋의 모든 값을 더한 후 개수로 나눈 값중앙값(Median): 데이터셋을 정렬했을 때 가운데 위치하는 값최빈값(Mode): 가장 자주 등장하는 값이제 각각의 측정값을 계산하는 방법과 적절한 사용 사례를 살펴보자. 평균(Mean) 계산 방법평균은 데이터셋의 모든 값을 더한 후 전체 개수로 나누어 구한다.예를 들어, 데이터셋이 다음과 같다고 가정하자: 10, 5, 3, 50, 12평균을 계산하는 과정:(10 + 5 + 3 + 50 + 12) ÷ 5 = 80 ÷ 5 = 16이 데이터.. 공감수 0 댓글수 0 2025. 3. 19.
Descriptive Statistics vs Inferential Statistics: 기술 통계와 추론 통계의 차이점 이제 통계와 데이터 과학의 역할에 대해 더 깊이 이해했으니, 두 가지 주요 통계 방법인 기술 통계와 추론 통계에 대해 알아보자. 데이터 전문가는 각 방법을 활용해 서로 다른 인사이트를 얻는다. 이번 글에서는 기술 통계와 추론 통계의 차이점, 그리고 데이터 전문가들이 이를 활용하는 방법에 대해 살펴본다. 기술 통계 (Descriptive Statistics)기술 통계는 데이터의 주요 특징을 요약하고 설명하는 데 사용된다. 이는 많은 양의 데이터를 빠르게 이해하는 데 유용하다. 예를 들어, 1,000만 명의 신장 데이터를 보유하고 있다고 가정해보자. 모든 데이터를 직접 살펴보는 것은 어렵고, 설령 가능하더라도 해석하는 것이 쉽지 않다. 하지만 데이터를 요약하면 즉시 의미 있는 정보를 얻을 수 있다. 예를 .. 공감수 1 댓글수 1 2025. 3. 18.
A/B testing: 데이터 기반 의사결정과 A/B 테스트의 중요성 현대 경제에서 데이터는 가장 중요한 자산 중 하나다. 기업의 성공 여부는 데이터를 얼마나 효과적으로 활용하는지에 달려 있으며, 이를 위해 데이터 기반 의사결정이 필수적이다. 데이터를 분석하고 인사이트를 제공하는 데이터 전문가는 기업의 성장과 혁신을 이끄는 중요한 역할을 한다. 이 글에서는 A/B 테스트라는 강력한 데이터 분석 기법과 이를 활용하는 방법에 대해 알아본다. A/B 테스트란?A/B 테스트는 두 가지 버전(A와 B)의 요소를 비교하여 어느 것이 더 나은 성과를 보이는지 평가하는 실험 방법이다. 웹사이트 디자인, 모바일 앱, 온라인 광고, 마케팅 이메일 등 다양한 분야에서 활용된다. 예를 들어, 기업은 웹페이지의 두 가지 버전을 제작하여 어떤 디자인이 더 많은 클릭, 구매 또는 구독을 유도하는지 .. 공감수 1 댓글수 0 2025. 3. 17.
ML Development Process 머신러닝을 개발하는 프로세스는 어떻게 진행될까? 먼저 어떤 모델과 데이터등을 사용할지 architecture를 결정하고 모델을 학습시킨다. 이후, bias, variance, error들을 이용해 모델을 진단하고, 만약 결과가 맘에 들지 않는다면 model이나 data를 변경해주고, 이 과정을 반복해준다. Error Analysis위 단계로 스팸 이메일을 찾아내는 Classification 모델을 트레이닝 했는데, 500개의 예시중 Cross Validation에서 100개를 잘못 분류했다고 가정해보자. Error Analysis는 매뉴얼하게 각 에러를 살펴보는 일이다. Cross Validation에서 알고리즘이 잘못 분류한 예제를 직접 찾아서 공통 주제나 속성 등으로 그룹화를 하는것이다. 예를 들어.. 공감수 0 댓글수 1 2024. 4. 28.
Bias and Variance 머신러닝 클래스들에서 예시로 주는, 잘 정제된 데이터로 모델을 생성하면, 8-90%의 예측률을 보여주는 모델을 만나가 되지만, 실제 현실에서는 그렇지가 않다. 선형 회귀 문제를 생각해보자. Bias가 높아서 underfit하거나, Variance가 높아서 Overfit하는 경우가 발생한다. Underfit의 경우, 오차값이 크기때문에 Jtrain값은 높아지고, Jcv값도 높을것이다. Overfit의 경우, Jtrain값은 낮더라도, Jcv값이 높을수 있다. 이렇게 Jtrain과 Jcv를 비교해서 Underfit인지, Overfit인지 예측할 수 있다. Good fit일 경우에는 Jtrain값도, Jcv값도 낮을것이다. 지난시간, 여러가지 다차항을 이용해서 모델의 성능을 살펴보고, 최적의 모델을 선택하는.. 공감수 0 댓글수 0 2024. 4. 27.
Model Selection and Evaluation 머신러닝 모델을 만들었는데, 결과값이 심각하게 좋지 않을 때, 어떻게 해야할까? 아래를 포함한 여러가지 방법이 있을것이다.트레이닝 데이터 더 수집하기feature를 늘리거나 줄이기ploynomical feature등을 사용하거나 다른 feature engineering 기법을 사용해보기알파/감마값을 줄이거나 늘이기다른 모델 선택하기 Evaluation하지만, 이 모든것을 랜덤하게 해보는것은 수개월이 걸릴지도 모른다. 그렇기 때문에 어떤 문제가 발생하는지 모델을 Evaluation을 잘 하는것은 매우 중요하다. Linear Regression에서, 첫번째로, Train/Test error를 계산하는 방법이 있다. 많이 사용하는 Squared Error Cost를 이용해볼 수 있는데, train값은 0에 가.. 공감수 0 댓글수 1 2024. 4. 27.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.