ADsP 3단원 데이터 분석 9장 연관 분석 정리

1. 연관분석의 개요 및 측도연관 분석 조건과 결과로 이루어진 패턴을 분석조건에 따른 결과의 형태로 해석 (IF~ THEN~)품목의 수가 증가하면 분석 계산이 기하급수적으로 증가 측도지지도두 개의 품목이 동시에 포함된 거래의 비율$$P(A\cap B)=\frac{N(A\cap B )(A와\, B가\, 동시에\, 포함된\, 거래\, 수)}{전체\, 거래수}$$신뢰도어떤 하나의 품목이 구매되었을 때 다른 품목이 구매될 확률$$P(B|A) = \frac{P(A\cap B)}{P(A)}$$$$P(A|B) = \frac{P(A\cap B)}{P(B)}$$향상도품목 A가 주어지지 않았을 때 품목 B가 구매될 확률 대비 A가 구매될 때 B가 구매될 확률$$향상도(A→B) = \frac{신뢰도(A→B)}{P(B)}$$..

ADsP 3단원 데이터 분석 7장 분류 분석 정리

1. 로지스틱 회귀 분석로지스틱 회귀분석  종속변수가 범주형 변수일 때 독립변수의 선형 결합을 이용해 사건의 발생 가능성을 분류 예측각 범주에 포함될 확률값을 반환하여 분류한다. 오즈 성공할 확률이 실패할 확률의 몇 배인지$$Odds\, =\, \frac{성공 확률(P)}{실패 확률(1-P)}$$오즈는 두가지의 한계가 존재    - 음수를 가질 수 없다    - 확률값과 오즈의 그래프는 비대칭성을 보임 오즈에 의한 로지스틱 회귀분석 추정식 $$ln(\frac{P}{1-P})\, =\, \alpha + \beta_{1}X_{1} + \beta_{2}X_{2}+\cdots  + \beta_{k}X_{k}$$ 로짓 변환 오즈에 로그값을 취한 것독립변수X가 n 증가하면 확률이 $e^{n}$만큼 증가$$log(O..

1. 데이터 마이닝데이터 마이닝 데이터 속에서 규칙, 패턴 등을 찾아내어 예측하거나 의사결정에 활용하는 것 지도 학습 : 정답이 있는 데이터를 활용해 분석 모델을 학습시키는 것    - 회귀 분석, 의사결정나무, 신경망비지도 학습 : 정답을 알려주지 않고 학습하는 것    - 군집 분석, 차원축소, 연관분석 데이터 마이닝 프로세스 목적 정의데이터 준비데이터 가공데이터 마이닝 기법 적용검증 데이터 분할 데이터 마이닝 기법을 적용하기에 앞서 데이터를 훈련용, 검정용 평가용의 세 가지 데이터로 분할 과대적합과 과소적합 과대적합 : 모델이 지나치게 데이터를 학습하여 매우 복잡해진 모델과소적합 : 모델이 데이터를 충분히 설명하지 못하는 것  2. 데이터 분할을 통한 검증홀드아웃 전체 데이터를 랜덤하게 추출해 학습..

1.  시계열 분석시계열 분석 일정 시간 간격으로 기록된 자료들에 대하여 특성을 파악하고 미래를 예측하는 분석시계열은 추세요인, 계절요인, 순환요인, 불규칙 요인 등으로 구성 정상성 모든 시점에 일정한 평균과 분산을 갖는 것시계열 예측에 필수 정상성 확보 방법 차분 : 현 시점의 자료 값에서 이전 시점의 자료 값을 빼는 것분산 크기 일정 : 지수 변환, 로그 변환으로 일정하게 만들어야 함 자기상관계수(ACF : Autocorrelation Function) '시간의 흐름'에 따른 변수 간의 상관관계 변화 부분자기상관계수(PACF : Partial Autocorrelation Function) 자기상관함수는 두 시계열 확률변수 간의 상관관계를 보여주지만, 부분자기상관함수는 두 시계열 확률 변수 간에 다른 ..

1. 다차원 척도법 (MDS : MultiDimensional Scaling) 다차원 척도법 객체 간의 근접성을 시각화데이터를 축소하는 목적으로 사용$$Stress = \sqrt{\frac{\sum(실제거리\, - \, 추정거리)^{2}}{\sum(실제거리^{2})}}$$Stress는 0~1의 값을 갖고 0에 가까울수록 적합도가 높음 계량적 MDS : 양적척도 활용비계량적 MDS : 순서척도(서열척도) 활용   2. 주성분 분석 (PCA, Principal Components주성분 분석 상관성 높은 변수들의 선형 결합으로 차원을 축소하여 새로운 변수 생성  스크리 플롯 (Scree plot) x축은 성분의 개수, y축은 분산변화로 설정하여 주성분의 개수를 선택하는데 도움을 준다. 바이 플롯 (Biplot..

1. 회귀분석회귀분석 독립변수들이 종속 변수에 얼마나 영향을 미치는지 추정 독립변수 : 원인 변수종속변수 : 결과 변수잔차 : 계산값과 예측값의 차이 회귀분석의 종류 단순회귀 : 1개의 독립변수와 종속변수다중회귀 : 2개 이상의 독립변수와 종속변수다항회귀 : 2개이 상의 독립변수와 종속변수가 2차 함수 관계를 이룸릿지회귀 : L2 규제를 포함라쏘회귀 : L1 규제를 포함 선형 회귀 분석의 분산분석표 요인제곱 합자유도제곱평균F회귀SSRkMSR = SSR/k 잔차SSEn-k-1MSE = SSE/(n-k-1) 총SST = SSR + SSEn-1 MSR/MSE$$SSR\, =\, \sum(\acute{Y}-Y)^2, \; SSE\, = \, \sum(Y-\acute{Y})^2$$  회귀 분석의 가정 선형성 : ..

1. t-검정 일 표본 t-검정 (One sample t-test) 하나의 모집단의 평균(n)값을 특정 값과 비교하는 경우 사용 일 표본 단측 t-검정 모수값이 "~보다 크다" 혹은 "~보다 작다"와 같이 한쪽의 방향성을 갖는 경우 수행 일 표본 양측 t-검정 모수값이 "~이다" 혹은 "~이 아니다"와 같이 방향성이 없는 경우 수행 이(독립) 표본 t-검정(Independent sample t-test) 서로 독립적인 두 개의 집단에 대하여 모수(모평균)의 값이 같은 값을 갖는지 통계적으로 검정하는 방법 이 표본 단측 t-검정 두 집단에 대하여 모수 비교를 할 때 "~이 ~보다 크다" 혹은 "~이 ~보다 작다"와 같이 두 집단 사이에 대소가 있는 경우 수행 이 표본 양측 t-검정 두 집단에 대하여 모수 ..

1. 통계 개요전수조사, 표본조사 전수조사 : 전체를 다 조사, 시간 & 비용 ↑표본조사 : 표본집단만 선별해 조사 표본 추출 방법 단순 랜덤 추출법 : n개의 데이터를 무작위로 추출계통 추출법 : 모딥단의 원소에 차례대로 번호를 부여한 뒤 일정 간격을 두고 추출집락 추출법(군집 추출법) : 군집은 서로 비슷하고, 군집 내 데이터는 서로 이직적층화 추출법 : 군집이 서로 다르고 군집 내 데이터는 서로 동질적복원 추출, 비복원 추출 척도 질적 척도 : 명목 척도, 순서 척도(서열 척도)양적 척도 : 구간 척도(등간 척도), 비율 척도 기초 통계 평균 = 기댓값중앙값최빈값 : 가장 빈번하게 등장하는 겂분산 : 자료들이 퍼진 정도표준편차 : 분산의 제곱근공분산 : 두 변수의 상관관계$$Conv(X,\,Y)\,..

R은 이제 잘 안나오는 추세라고 하니 간단하게 하고 넘어갑니다. 1. R 대입연산자, 비교 연산자, 산술 연산자정규분포, 표본추출 R 데이터 구조 벡터, 행렬, 배열, 리스트, 데이터 프레임 데이터 전처리 요약변수파생변수 R에서의 데이터 전처리 패키지 reshape : melt로 데이터를 녹이고 cast로 재구조화sqldf : sql로 데이터를 다룸plyt : apply 함수 기반data.table : table 데이터 구조  2. 데이터 마트 데이터 마트 작은 규모의 데이터 웨어하우스로 사용자가 원하는 방향으로 데이터를 수집, 변형, 적재한 것 3. EDA(탐색적 자료 분석) EDA 데이터를 이해하고 의미있는 관계를 찾아내기 위해 시각화하고 파악하는 것 결측값 존재하지 않는 데이터NA, Null, 공백..

1. 마스터 플랜 수립 분석 마스터 플랜 어떤 하나의 분석 프로젝트를 위한 전체 설계도수립 → 수행 과제 도출 및 우선순위 평가 → 이행 계획 수립 분석 마스터 플랜 수립 프레임 워크우선 순위 고려 요소전략적 중요도비즈니스 성과 / ROI실행 용이성↓적용 우선순위 설정↓적용 범위 / 방식 고려 요소업무 내재화 적용 수준분석 데이터 적용 수준기술 적용 수준 수행 과제 도출 및 우선순위 평가 1) 일반적인 IT 프로젝트 우선 순위 평가    - 전략적 중요도, 실행 용이성을 고려 2) 빅데이터의 특징을 고려한 분석 ROI 요소    - 투자 비용 요소 : 3V (Volume 크기, Variety 다양성, Velocity 속도)    - 비즈니스 효과 : Value 가치 3) 우선 순위 평가 기준    - 난..