공부잡동사니

데이터 구간화 구간화의 필요성 • 연속형 데이터의 범주화 • 범주화를 통해서 정확한 의미 부여 • 각종 분위수의 산정을 통한 정보의 이해 증진구간화(Binning) 노드 연속형 변수를 등간격, 등비율, 평균/표준편차 등을 고려한 형태의 구간화 규칙을 적용하여 범주형 변수로 변환월평균수입 변수를 4 분위수와 10분위수 두가지로 구간화함전역 값 설정전역값(Filler) 노드 : 필드의 통합 계산된 값을 memory에 저장 하여 스트림내에서 자유롭게 사용할 수 있게 한다총통화시간_분 의 전역값을 설 정함설정한 전역값을 파 생 노드를 통해 새로 운 변수 생성에 사용 함결측 값 처리 (1/2)데이터 재분류재분류(Reclassify) 노드 이산형 변수에 대해 여러 가지 범주 값을 하나의 범주 값으 로 바꾸거나 기존..

Sampling 무엇을 하는가? 전체 data에서 사용자 필요에 따른 일부 data의 추출 왜 하는가?Modeling : Hold-out sample (test & train & validation) Data 감소로 Performance 향상불필요한 Data 제거 사용되는 NodeSample Nod파생노드와 선택노드를 이용하여 한 data set에서 여러 개의 임의 적인 data set을 생성할 수 있 다Select + Derive Node중복제거와 Balance 무엇을 하는가? 자료에서의 중복된 data의 제거와 자료의 균형 맞추기왜 하는가?  효율적인 Modeling 작업을 위해서 Data cleansing (결측값 제거와 함께 대표적인 방법)Distinct Nodbalance Node 균형 조정의..

데이터마이닝(Data Mining)의 정의-대량의 데이터로부터 새롭고 의미 있는 정보를 추출하여 의사결정에 활용하는 작업데이터마이닝의 다양한 정의 -데이터베이스에서 지기발견은 데이터에 있는 유효하고, 잠재적으로 이용가 능하며 궁극적으로 이해할 수 있는 패턴을 식별하는 중요한 프로세스 (Fayyad et al., “Advance in Knowledge Discovery and Data Mining,” 1996) -데이터 마이닝은 비즈니스 문제를 해결하기 위해 현재 조치를 취할 수 있고, 명시적이며 새로운 정보를 추출하기 위해 세부적인 데이터를 분석하는 프로 세스이다.(NCR)-데이터 마이닝은 큰 데이터베이스로부터 이전에 알려지지 않고, 궁극적으로 이해가능한 정보를 추출 및 중요한 비즈니스 의사결정을 하는 ..