빅데이터 STUDY

library(randomForest) library(dplyr) library(pROC) set.seed(1234) x_train

잘 되던 실행문에 주석처리를 하니 저런식으로 에러가 뜨네요 처음에 코딩 잘못한줄알고 식겁했는데 주의하세요!

> ################### 이상치(최대값) 확인 및 변환 >library(dplyr, caret, randomForest,pROC) > x_train y_train full full$최대구매액 full$총구매액 full$환불금액 full$환불금액 full$주구매상품 full$주구매지점 full$gender round(cor(full[,-c(1,5,6,11)]),2) 총구매액 최대구매액 환불금액 내점일수 내점당구매건수 주말방문비율 구매주기 총구매액 1.00 0.70 0.47 0.66 0.09 0.01 -0.21 최대구매액 0.70 1.00 0.43 0.37 0.02 0.02 -0.12 환불금액 0.47 0.43 1.00 0.38 0.00 -0.02 -0.14 내점일수 0.66 0.37 0.38..

이번에는 EDA를 한다음 의미있는 결과가 있으면 파생변수를 추가한후 랜덤포레스트 분석을 시행해보겠습니다. > library(dplyr, caret, randomForest,pROC) > set.seed(1234) > x_train y_train full full$최대구매액 full$총구매액 full$환불금액 full$환불금액 full$주구매상품 full$주구매지점 full$gender full full %>% + filter(총구매액 > quantile(full$총구매액, 0.8)) %>% + group_by(gender) %>% + summarise(count=n()) # A tibble: 2 x 2 gender count 1 0 545 2 1 155 > full %>% + filter(최대구매액 > ..

이번에는 표준화를 시행해서 랜덤포레스트를 돌려보겠습니다. 참고로 AUC값은 표준화 하기전에는 0.6378이 나오며 표준화 한후에는 0.6719 나오네요 이것도 돌릴때마다 값이 계속 변하긴 합니다... 시험기관에서는 0.5 rf.model pred.rf auc(test$gender, pred.rf[,1]) # 남자로 예측할 확률 auc 값 확인 Setting levels: control = 0, case = 1 Setting direction: controls > cases Area under the curve: 0.6378 ### 표준화 후 > x_train y_train full full$최대구매액 full$총구매액 full$환불금액 full$환불금액 full$주구매상품 full$주구매지점 full$g..

현재 별다른 전처리 과정없이 랜덤포레스트 수행후 pROC패키지로 점수를 매겼을때 0.64정도 나오는데 더 높이기 위해 데이터가 어떤 경향을 띄고 있는지 파악해보겠습니다. 원래 순서가 반대가 되야하는거 같은데 ... 현재는 자격증을 따기위해 점수높이기에 급급하기때문에 이런식으로 진행하겠습니다. 그리고 시험환경에서는 그래프를 그릴수가 없기떄문에 시각화를 통한 EDA는 못하고 자료를 통계내어서 수치형으로 살펴보는 방향으로 가겠습니다. (R에서 그래프를 빼는건 햄버거에 패티 안넣는거랑 똑같은거 같은데 ..?) x_train

제가 랜덤포레스트를 이용하여 작업형2번을 하던중 의문이 드는게 있네요 첫번째 결과값은 할때 마다 바뀌긴하는데 0.59정도 나오고 두번째 결과값은 0.64가 나옵니다. 같은 분석결과를 type과 package만 다르게 해서 점수를 매겼는데 왜 다르게 나오는걸까요 ??... 뭐 시험때는 pROC로 평가해서 더 점수가 잘나오는 상황이지만 의문이 드네요 x_train

1. 역전파 알고리즘 : 인공신경망의 출력값이 원하는 출력과 다를경우, 가중치 갱신을 통해 오차를 최소화시키도록 반복 수행하여 신경망을 학습시키는 알고리즘 2. 자기조직화지도(Self-Organizing Map) : 차원축소와 군집화를 동시에 수행하며, 고차원으로 표현된 데이터를 저차원으로 변환하여 보는 비지도 학습 기반 클러스터링 기법 3.파라미터 -파라미터: 모델 내부에서 확인이 가능한 변수로 데이터를 통해서 산출이 가능한값 -하이퍼 파라미터: 모델에서 외적인 요소로 데이터 분석을 통해 얻어지는 값이 아니라 사용자가 직접 설정해주는 값 4.주성분 회귀(Principal Component Regression) : 독립변수들의 주성분들을 추출한 후 이 주성분들을 이용해서 회귀 모델을 만드는 기법 5. 가..

1. 차원의 저주 :데이터의 차원이 증가할수록 해당 공간의 크기가 기하급수적으로 증가하기 때문에 동일한 개수의 데이터의 밀도는 차원이 증가할수록 급속도로 희박해진다. 따라서, 차원이 증가할수록 데이터의 분포 분석 또는 모델추정에 필요한 샘플 데이터의 개수가 기하급수적으로 증가하게 되는 현상 2.그리디 알고리즘 :문제를 해결하는 과정에서 그 순간순간마다 최적이라고 생각되는 결정을 하는 방식으로 진행하여 최종 해답에 도달하는 문제 해결방식이다. 3. 차원축소 : 분석대상이 되는 여러 변수의 정보를 최대한 유지하면서 데이터 세트 변수의 개수를 줄이는 탐색적 분석기법 -주성분 분석(PCA): 변수들의 공분산 행렬이나 상관행렬을 이용 -특이값 분해(SVD): 행렬데이터에서 특이값을 추출하고 이를 통해 주어진 데이..

상관분석은 주로 변수사이의 상관관계를 파악하기 위하여 시행하는데 이번에는 R에 내장되어있는 mtcars데이터로 상관분석 및 그래프를 그려보겠습니다. 또한 두 변수간의 상관계수 검정도 같이 실시하면 다음과 같습니다. mpg변수와 cyl변수사이의 상관계수는 -0.85이며 유의확률이 0.000000000이므로 유의수준 0.05하에서 상관계수는 통계적으로 유의하다고 할수있습니다. > mt_cor round(mt_cor, 2)## 숫자를 짧게 보기위해 mpg cyl disp hp drat wt qsec vs am gear carb mpg 1.00 -0.85 -0.85 -0.78 0.68 -0.87 0.42 0.66 0.60 0.48 -0.55 cyl -0.85 1.00 0.90 0.83 -0.70 0.78 -0...