티스토리

빅데이터 STUDY

검색하기

블로그 홈

빅데이터 STUDY

jinuk.tistory.com/m

한번해보즈아 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

구매 영수증 데이터 전처리 (평균방문주기) 아래의 데이터는 한 매장의 고객이 6월 한달동안 물품을 구매한 날짜를 기록해둔 데이터(ex.영수증)이며 간략한 설명을 붙이자면 1번 고객은 22년 6월 1일에 1번의 구매를 하였고, 2일에는 2번, 3일에도 구매를 한 경우이며 10번 고객은 22년 6월 23일 1번만 물품을 구매하였다. 영수증 데이터를 분석하다 보면 이러한 형식의 데이터를 주로 볼 수 있을것이며 이러한 형식으로 데이터가 있으면 단점이 주말에 몇번오고 평일엔 몇번 왔는지 파악하기가 어렵다는 점이다. 따라서 전처리를 적절하게 해줘야 하는데 이 페이지에서 다뤄보도록하겠습니다. 추가적으로 이 고객이 몇일 간격으로 방문하는지 평균 방문주기도 구해보도록 하겠습니다 import pandas as pd from collections import Cou.. 공감수 0 댓글수 1 2022. 9. 19.
pymongo 특정한 문자를 포함한 데이터 찾기 MongDB를 jupyter 환경에서 python언어로 사용할수 있는 방법에 대해 알아보도록 하겠습니다. from pymongo import MongoClient client = MongoClient("mongodb://localhost:27017/") # list_database_names() db에 존재하고 있는 database의 이름을 확인할수 있음 print(client.list_database_names()) ['aaa','admin'] db = client['aaa'] # 'aaa'이라는 database에 연결 table = db['table'] # 'table'이라는 table에 연결 # find_one()은 한 건의 데이터만 찾음 #여기서는 'channelType' 컬럼에서 'nav'를 포.. 공감수 0 댓글수 0 2022. 7. 8.
[NLP③] 데이터 병합 및 INT화 저번에 수집했던 전처리한 데이터를 하나의 데이터 프레임으로 만든후 각 데이터를 비교해보이는 EDA를 시행해보겠습니다. import pandas as pd df1 = pd.read_csv('baecksansoo.csv') df2 = pd.read_csv('isis.csv') df3 = pd.read_csv('mongbest.csv') df4 = pd.read_csv('samdasoo.csv') df5 = pd.read_csv('seoksoo.csv') df6 = pd.read_csv('sparkle.csv') # unnamed :0 열이 생겨서 제거작업 df1.drop(['Unnamed: 0'], axis = 1, inplace = True) df2.drop(['Unnamed: 0'], axis = 1, .. 공감수 0 댓글수 0 2022. 7. 4.
[NLP②] 네이버 쇼핑 리뷰 전처리 이번에는 저번시간에 수집했던 리뷰데이터를 전처리 해보도록하겠습니다. 일반적인 전처리의 범위는 중복제거, 결측치 제거, 특수문자 제거 등이 있으며 리뷰를 의미있는 최소한의 단위로 쪼개서 품사를 태깅하는 행위를 형태소분석 및 토크나이징이라고 하는데 이건 다음 시간에 하도록 하고 이번에는 중복제거, 특수문자 제거 등의 처리를 해보겠습니다. 참고로 이 데이터는 저번시간에 수집한 네이버 쇼핑 리뷰를 사용하여 이어나가보도록 하겠습니다. df4=add_dataframe(name_,category_,reviews,stars,cnt) df4 df4.info() Int64Index: 2000 entries, 1 to 2000 Data columns (total 4 columns): # Column Non-Null Coun.. 공감수 0 댓글수 0 2022. 6. 26.
[NLP①] 네이버 쇼핑 리뷰 크롤링 (생수) 이번에는 정형데이터가 아닌 비정형데이터를 분석하도록 하겠습니다. 분석하기 앞서 데이터를 직접 추출할건데 네이버 쇼핑에 판매하고 있는 삼다수 리뷰를 긁어 올것입니다. NLP 시리즈에서는 삼다수, 백산수, 석수, 몽베스트, 스파클, 아이시스 총 6가지의 브랜드의 데이터를 각각 2,000개씩 긁어와서 약 12,000개를 사용할 예정입니다. 네이버 쇼핑에서 제공하고 있는 리뷰는 네이버 쇼핑 자체에서 만들어진 리뷰가 아니라 "우물샵", "NS홈쇼핑", "장대리"등 다양한 인터넷 쇼핑몰에서 리뷰를 긁어오고 있는 형태입니다. from selenium import webdriver from selenium.webdriver.common.keys import Keys from bs4 import BeautifulSoup.. 공감수 1 댓글수 0 2022. 6. 19.
[정규식] re 라이브러리 정규식이란 영어 소문자, 대문자, 한글등 자연어 처리를 하기 위해서 사용되는 개념으로 파이썬에서는 re 라이브러리를 이용해서 주로 처리한다 import re p = re.compile(r'[a-z]+') m=p.match("python") print(m) 이런식으로 소문자에 맞는 문자를 매칭시키거나 search, findall, finditer 4가지의 메서드를 사용할수있으며 각 기능은 다음과같다 Method 목적 match() 문자열의 처음부터 정규식과 매치되는지 조사한다. search() 문자열 전체를 검색하여 정규식과 매치되는지 조사한다. findall() 정규식과 매치되는 모든 문자열(substring)을 리스트로 돌려준다. finditer() 정규식과 매치되는 모든 문자열(substring)을 .. 공감수 0 댓글수 0 2022. 4. 16.
빅분기 실기시험 후기 6월 19일 처음으로 시행된 빅데이터 분석기사 실기시험을 치루고 왔다. 전반적인 느낌은 '와 진짜 별론데?'이다. 시험준비기간은 약 2~3주이다. 5월 29일 sqld 시험끝나고 하루정도 쉬고 바로 빅분기 실기 시험준비를했다. 시험문제는 단답형 10문제 , 1작업형 3문제 ,2작업형 1문제이며 단답형은 그냥 7~8문제는 무난한 수준으로 풀수 있는 수준이였고 2문제 정도는 난생 처음보는 개념이었다. 1작업형 문제는 상위 10개의 값을 상위 10번째 값을 바꾸고 평균을 구하는? (제대로 기억은 안나요..) 그런문제 였다. 그러니까 library, print 문 포함해서 7줄? 이내로 끝낼수있을정도로 되게 간단한 문제이긴했다. 내 앞자리에서 시험치시는분들은 파이썬을 쓰시는거 같던데 코드를 엄청 길게 쓰시던데 .. 공감수 0 댓글수 0 2021. 6. 22.
[빅분기 실기] GLM, 랜덤포레스트 최종 시험환경 버전 library(randomForest) library(dplyr) library(pROC) set.seed(1234) x_train 공감수 1 댓글수 4 2021. 6. 18.
[빅분기 실기] 주석처리 주의!! 잘 되던 실행문에 주석처리를 하니 저런식으로 에러가 뜨네요 처음에 코딩 잘못한줄알고 식겁했는데 주의하세요! 공감수 0 댓글수 0 2021. 6. 16.
[빅분기 실기] 이상치 정제후 AUC 0.6688 > ################### 이상치(최대값) 확인 및 변환 >library(dplyr, caret, randomForest,pROC) > x_train y_train full full$최대구매액 full$총구매액 full$환불금액 full$환불금액 full$주구매상품 full$주구매지점 full$gender round(cor(full[,-c(1,5,6,11)]),2) 총구매액 최대구매액 환불금액 내점일수 내점당구매건수 주말방문비율 구매주기 총구매액 1.00 0.70 0.47 0.66 0.09 0.01 -0.21 최대구매액 0.70 1.00 0.43 0.37 0.02 0.02 -0.12 환불금액 0.47 0.43 1.00 0.38 0.00 -0.02 -0.14 내점일수 0.66 0.37 0.38.. 공감수 0 댓글수 0 2021. 6. 12.
[빅분기 실기] 작업형2번 파생변수 추가후 랜덤포레스트 이번에는 EDA를 한다음 의미있는 결과가 있으면 파생변수를 추가한후 랜덤포레스트 분석을 시행해보겠습니다. > library(dplyr, caret, randomForest,pROC) > set.seed(1234) > x_train y_train full full$최대구매액 full$총구매액 full$환불금액 full$환불금액 full$주구매상품 full$주구매지점 full$gender full full %>% + filter(총구매액 > quantile(full$총구매액, 0.8)) %>% + group_by(gender) %>% + summarise(count=n()) # A tibble: 2 x 2 gender count 1 0 545 2 1 155 > full %>% + filter(최대구매액 > .. 공감수 0 댓글수 0 2021. 6. 12.
[빅분기 실기] 작업형 2번 표준화후 RF AUC 0.6719 이번에는 표준화를 시행해서 랜덤포레스트를 돌려보겠습니다. 참고로 AUC값은 표준화 하기전에는 0.6378이 나오며 표준화 한후에는 0.6719 나오네요 이것도 돌릴때마다 값이 계속 변하긴 합니다... 시험기관에서는 0.5 rf.model pred.rf auc(test$gender, pred.rf[,1]) # 남자로 예측할 확률 auc 값 확인 Setting levels: control = 0, case = 1 Setting direction: controls > cases Area under the curve: 0.6378 ### 표준화 후 > x_train y_train full full$최대구매액 full$총구매액 full$환불금액 full$환불금액 full$주구매상품 full$주구매지점 full$g.. 공감수 0 댓글수 0 2021. 6. 11.
[빅분기 실기] 작업형 2번문제 EDA(데이터 뜯어보기) 현재 별다른 전처리 과정없이 랜덤포레스트 수행후 pROC패키지로 점수를 매겼을때 0.64정도 나오는데 더 높이기 위해 데이터가 어떤 경향을 띄고 있는지 파악해보겠습니다. 원래 순서가 반대가 되야하는거 같은데 ... 현재는 자격증을 따기위해 점수높이기에 급급하기때문에 이런식으로 진행하겠습니다. 그리고 시험환경에서는 그래프를 그릴수가 없기떄문에 시각화를 통한 EDA는 못하고 자료를 통계내어서 수치형으로 살펴보는 방향으로 가겠습니다. (R에서 그래프를 빼는건 햄버거에 패티 안넣는거랑 똑같은거 같은데 ..?) x_train 공감수 1 댓글수 2 2021. 6. 11.
[빅분기 실기] pROC, ROCR의 차이점 제가 랜덤포레스트를 이용하여 작업형2번을 하던중 의문이 드는게 있네요 첫번째 결과값은 할때 마다 바뀌긴하는데 0.59정도 나오고 두번째 결과값은 0.64가 나옵니다. 같은 분석결과를 type과 package만 다르게 해서 점수를 매겼는데 왜 다르게 나오는걸까요 ??... 뭐 시험때는 pROC로 평가해서 더 점수가 잘나오는 상황이지만 의문이 드네요 x_train 공감수 0 댓글수 0 2021. 6. 11.
[빅분기 실기대비] 단답형 예상 개념 ④ 1. 역전파 알고리즘 : 인공신경망의 출력값이 원하는 출력과 다를경우, 가중치 갱신을 통해 오차를 최소화시키도록 반복 수행하여 신경망을 학습시키는 알고리즘 2. 자기조직화지도(Self-Organizing Map) : 차원축소와 군집화를 동시에 수행하며, 고차원으로 표현된 데이터를 저차원으로 변환하여 보는 비지도 학습 기반 클러스터링 기법 3.파라미터 -파라미터: 모델 내부에서 확인이 가능한 변수로 데이터를 통해서 산출이 가능한값 -하이퍼 파라미터: 모델에서 외적인 요소로 데이터 분석을 통해 얻어지는 값이 아니라 사용자가 직접 설정해주는 값 4.주성분 회귀(Principal Component Regression) : 독립변수들의 주성분들을 추출한 후 이 주성분들을 이용해서 회귀 모델을 만드는 기법 5. 가.. 공감수 1 댓글수 0 2021. 6. 10.
[빅분기 실기대비] 단답형 예상 개념 ③ 1. 차원의 저주 :데이터의 차원이 증가할수록 해당 공간의 크기가 기하급수적으로 증가하기 때문에 동일한 개수의 데이터의 밀도는 차원이 증가할수록 급속도로 희박해진다. 따라서, 차원이 증가할수록 데이터의 분포 분석 또는 모델추정에 필요한 샘플 데이터의 개수가 기하급수적으로 증가하게 되는 현상 2.그리디 알고리즘 :문제를 해결하는 과정에서 그 순간순간마다 최적이라고 생각되는 결정을 하는 방식으로 진행하여 최종 해답에 도달하는 문제 해결방식이다. 3. 차원축소 : 분석대상이 되는 여러 변수의 정보를 최대한 유지하면서 데이터 세트 변수의 개수를 줄이는 탐색적 분석기법 -주성분 분석(PCA): 변수들의 공분산 행렬이나 상관행렬을 이용 -특이값 분해(SVD): 행렬데이터에서 특이값을 추출하고 이를 통해 주어진 데이.. 공감수 0 댓글수 0 2021. 6. 10.
상관분석(그래프) with mtcars 상관분석은 주로 변수사이의 상관관계를 파악하기 위하여 시행하는데 이번에는 R에 내장되어있는 mtcars데이터로 상관분석 및 그래프를 그려보겠습니다. 또한 두 변수간의 상관계수 검정도 같이 실시하면 다음과 같습니다. mpg변수와 cyl변수사이의 상관계수는 -0.85이며 유의확률이 0.000000000이므로 유의수준 0.05하에서 상관계수는 통계적으로 유의하다고 할수있습니다. > mt_cor round(mt_cor, 2)## 숫자를 짧게 보기위해 mpg cyl disp hp drat wt qsec vs am gear carb mpg 1.00 -0.85 -0.85 -0.78 0.68 -0.87 0.42 0.66 0.60 0.48 -0.55 cyl -0.85 1.00 0.90 0.83 -0.70 0.78 -0... 공감수 0 댓글수 0 2021. 6. 9.
R CONSOLE창 에러메시지 영어로 뜨게하는법 R을 사용하다 에러가 떠서 구글링을 할려고 하면 한글로 나와서 곤란한 경우가 있습니다. 이럴때는 Sys.setenv("LANGUAGE"="EN") 명령어를 사용해주시면 영어로 콘솔창에 결과물이 나오게 됩니다. 공감수 0 댓글수 0 2021. 6. 7.
[빅분기 실기대비] 단답형 예상 개념 ② 1. 개인정보 비식별화 절차 : 사전검토 -> 비식별조치 -> 적정성 평가 -> 사후관리 2.개인정보 비식별 조치 방법 -가명처리(휴리스틱 익명화, 교환방법, 암호화) : 개인 식별이 가능한 데이터에 대하여 직접 식별할수 없는 다른값으로 대체하는 방법 -총계처리(부분 집계, 라운딩) :개인 정보에 대하여 통곗값을 적용하여 특정 개인을 판단할 수 없도록 하는 기법 -데이터 삭제(속성값 삭제, 속성값 부분 삭제) :개인정보 식별이 가능한 특정 데이터값 삭제 처리 기법 -데이터 범주화(랜덤 올림 방법, 범위 방법) :단일 식별 정보를 해당 그룹의 대푯값으로 변환하거나 구간 값으로 변환하여 고유 정보 추적 및 식별 방지 기법 -데이터 마스킹(공백과 대체방법) :개인 식별 정보에 대하여 전체 또는 부분적으로 대체.. 공감수 1 댓글수 0 2021. 6. 6.
[빅분기 실기대비] 단답형 예상 개념 ① 이 글은 sqld, adsp, 빅분기 필기, 정보처리기사, 사회조사분석사2급을 취득한 통계학과 졸업생의 입장에서 예상 문제를 기록하는것입니다. 참고로 작년에 들은 교육에서 데이터진흥산업원 관계자분이 빅분기 난이도를 adsp, adp 사이에 맞춘다고 하셔서 주로 adsp, adp 기출위주로 접근할것이며 참고로 지난 필기시험에서 수제비에서 출판한 빅데이터 분석기사 필기책에 해당하는 키워드가 많아서 참고하고 있습니다. https://m.blog.naver.com/shinikju/222313580144 빅데이터 분석 기사 1차 필기 시험 : 문항별 Keyword 국가공인이 아닌 국가에서 직접 운영하는 국가기술자격시험으로 '빅데이터 분석 기사' 시험이 처... blog.naver.com [출처] 한국데이터진흥산업.. 공감수 3 댓글수 0 2021. 6. 6.
[빅분기 실기대비] 작업형 제2유형 for R (glm분석 이용) #데이터 불러오기 setwd("C:/Users/jinuk/Downloads/[Dataset] 작업형 제2유형") x_train 공감수 3 댓글수 0 2021. 6. 3.
[빅분기 실기대비] 작업형 제1유형 for R 정규화, 표준화 min-max 정규화 #작업 1유형 문제 #mtcars 데이터셋(mtcars.csv)의 qsec 컬럼을 최소최대 척도(Min-Max Scale)로 변환한 후 #0.5보다 큰 값을 가지는 레코드 수를 구하시오 Min_qsec scale(mtcars$qsec) [,1] [1,] -0.77716515 [2,] -0.46378082 [3,] 0.42600682 [4,] 0.89048716 표준화는 위와 같이 하면 더 간단하게 수행할수있습니다. 공감수 0 댓글수 0 2021. 6. 1.
PCA(주성분 분석) with iris 이번시간에는 주성분분석을 해보도록 하겠습니다. 학교다닐때 관련수업을 듣긴했지만 이해도 안되고 어떻게 쓰는건지도 모르겠고 왜 쓰는지도 모르겠었는데 지금은 아주아주아주 쪼금이라도 이해가 되서 다시 도전합니다. 하지만 아직도 어떻게, 왜 쓰는지 이해는 잘 안되긴합니다. 기본적인 주성분분석의 개념은 고차원의데이터를 저차원으로 변경시키는것으로 알고 있는데 2차원 까지는 변경시킬수 있겠는데 3차원이상은 어떻게 표현하는지 모르겠습니다.... 즉, 현재상황은 PC1, PC2, PC3, PC4 중에서 2개를 골라서 그래프를 그리는거 까지만 가능합니다. 이번에 쓸 데이터는 기본적으로 iris데이터를 사용할건데 4개의 연속형변수와 1개의 범주형 변수로 이루어져있는 데이터입니다. 먼저 연속형 변수(4개)와 범주형변수(1개)로.. 공감수 0 댓글수 0 2021. 4. 7.
R 버전 확인 및 변경하기 (다운그레이드,업그레이드) 가끔 R을 사용하다보면 버전을 업그레이드 해야하는 경우와 다운그레이드 해야하는경우가 생기는데 이번시간에는 버전변경하는 방법에 대해 알아보겠습니다. 제가 만약 4.0.0 버전을 사용하고 있는데 예를 들어 4.0.3 이나 3.5.3으로 버전 변경이 필요할때는 R STUDIO 상단의 TOOLS -> GLOBAL OPTIONS 들어가셔서 CHANGE를 누르시고 원하시는 버전을 누르시고 OK -> APPLY> OK 를 누르시면 됩니다. 참고로 원하는 버전이 설치가 되어있어야합니다. 추가적으로 현재 나의 버전을 확인하고 싶으면 아래코드를 입력해주면 나의 현재버전과 최신버전이 어디까지 나왔는지 알려줍니다. install.packages("installr") library(installr) check.for.updat.. 공감수 0 댓글수 0 2021. 4. 7.
Randomforest로 사이영 상 수상 예측하기 이번시간은 randomforest를 사용하여 사이영상 수상을 예측해보도록 하겠습니다. 그전에 사이영상은 간단히 말하여 사이 영 상(Cy Young Award)은 메이저 리그 베이스볼에서 매년 각 리그의 최고 투수에게 주어지는 상이다. ko.wikipedia.org/wiki/%EC%82%AC%EC%9D%B4_%EC%98%81_%EC%83%81 사이 영 상 - 위키백과, 우리 모두의 백과사전 위키백과, 우리 모두의 백과사전. 사이 영 상(Cy Young Award)은 메이저 리그 베이스볼에서 매년 각 리그의 최고 투수에게 주어지는 상이다. 이 상은 명예의 전당에 헌액된 투수인 사이 영을 기리기 ko.wikipedia.org data의 형태를 살펴보면 다음과 같습니다. 1.시즌(season): 명목형 2.이름.. 공감수 0 댓글수 0 2021. 4. 6.
ggplot2를 이용한 시각화 ② (회귀선표시, 회귀분석, 범례표시) 오늘의 tip ctrl+p를 누르면 괄호안에 커서가 끝에서 끝으로 움직입니다!! 지난 시간에 연속형 두변수를 그래프로 그리는 방법을 다뤘었는데 더 좋은 방법을 알아내서 알려드립니다. 첫번째 방식으로하면 일일히 색 지정해줄 필요도 없고 범례도 표시되서 더 좋은 방법인거같습니다. > ggplot(data=df, + mapping=aes(x=Min.Price, + y=Max.Price))+geom_point(aes(color=Type))+ + geom_smooth() #1번 ggplot(data=df, mapping=aes(x=Min.Price, y=Max.Price))+geom_point(colour=c("red","blue","pink","green","yellow","black")[df$Type])+ g.. 공감수 0 댓글수 0 2021. 4. 5.
ggplot2를 이용한 시각화 ① (두변수가연속형인경우, 그룹별 표시하기) 이번시간에는 MASS 패키지에 있는 Cars93데이터를 이용하여 시각화를 해보도록 하겠습니다. Cars93데이터는 column이 27개나 있으므로 1열부터8열까지 짤라서 보기로 하겠습니다. > library(ggplot2) > library(MASS) > df head(df) Manufacturer Model Type Min.Price Price Max.Price MPG.city MPG.highway 1 Acura Integra Small 12.9 15.9 18.8 25 31 2 Acura Legend Midsize 29.2 33.9 38.7 18 25 3 Audi 90 Compact 25.9 29.1 32.3 20 26 4 Audi 100 Midsize 30.8 37.7 44.6 19 26 5 BMW .. 공감수 0 댓글수 0 2021. 4. 5.
DPLYR를 이용한 Cars93처리 ② 1. 조건에 맞는 데이터 찾기 (filter,slice 사용) > table(df$Type) Compact Large Midsize Small Sporty Van 16 11 22 21 14 9 > filter(df,Type=="Large" , Price=20) ## ,는 and 개념 Manufacturer Model Type Min.Price Price Max.Price MPG.city MPG.highway AirBags DriveTrain 1 Chrylser Concorde Large 18.4 18.4 18.4 20 28 Driver & Passenger Front 2 Eagle Vision Large 17.5 19.3 21.2 20 28 Driver & Passenger Front Cylinders .. 공감수 0 댓글수 0 2021. 4. 5.
DPLYR를 이용한 Cars93처리 ① MASS에 있는 Cars93 데이터를 dplyr package를 이용하여 처리해보도록 하겠습니다. Cars93의 데이터 형태는 다음과 같습니다. 기본적으로 install.packages("패키지이름")을 이용하여 설치한다음 library를 이용하여 불러온다음 데이터의 기본적인 구조를 파악합니다. > library(dplyr) > library(MASS) > df str(df) #자료의 구조파악 'data.frame':93 obs. of 27 variables: $ Manufacturer : Factor w/ 32 levels "Acura","Audi",..: 1 1 2 2 3 4 4 4 4 5 ... $ Model : Factor w/ 93 levels "100","190E","240",..: 49 56.. 공감수 0 댓글수 0 2021. 4. 4.
[PYTHON 기초] 가변인자 *변수명이란? def profile(name, age, hob1,hob2,hob3): print("이름 : {0}\t 나이: {1}\t".format(name, age), end="") print(hob1,hob2,hob3) profile("홍길동",20,"독서","등산","낚시") 위와 같이 취미를 포함한 인적사항을 출력하는 함수를 정의한다고 하면 저렇게 표현할 수 있을 것이다. 하지만 사람에 따라서 흥미가 1개일수도 여러개일수도 있는데 그때마다 함수를 수정하기는 불편할것이다. 이때를 위해 만든게 바로 가변인자이다. def profile(name, age, *hobby): print("이름 : {0}\t 나이: {1}\t".format(name, age), end="") for hob in hobby: print(h.. 공감수 0 댓글수 0 2021. 2. 27.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.