본문 바로가기

데이터과학/data mining

LSA (Latent Semantic Analysis) http://blog.sragent.pe.kr/entry/Latent-Semantic-AnalysisLSA http://en.wikipedia.org/wiki/Singular_value_decomposition http://stat.ethz.ch/R-manual/R-patched/library/base/html/svd.html 문서들을 N개의 차원(단어)로 이루어진 M개의 문서 행렬로 보고, SVD(Singular Value Decomposition)를 이용, 단어(T) * 가중치(S) * 문서(D) 로 분해(Decomposition). 가중치(S) 행렬은 좌측상단에서부터 우측하단으로 갈수록 그 값은 점점 작아지는 특성을 가지므로 높은 가중치를 가진 상위의 100~150 정도의 K값으로 정하고 차원을 축.. 더보기
THINK QUARTERLY Think Quarterly - The Data Issue View more documents from Ibrahim Cesar 경영자의 통찰 - 사이먼 로저스, 보다폰 중요한 것은 데이터가 통하게 하는 겁니다... 데이터는 그의 직감에 정보를 제공할 뿐, 그의 직감 자체를 지배하지는 않습니다. 데이터에 직감이 더해지면 막강한 힘을 발휘할 수 있습니다. 로렌스는 "데이터는 그 자체만으로는 무기력하다."라고 결론 짓습니다. 성공이란? 한 시간을 투자해도 더 낫게 만들 수 없으면 성공이라고 생각해요. 가장 최근에 정신줄을 놓아 본 일은? 창의적인 면에서는 항상 그러려고 노력해요. 금전적으로는 한 번도 그런 적이 없고요, 장난치는 걸로 따지자면 매일 정신줄을 놓고 살죠. 탐색적 데이터 분석 기법이라는 것도 나.. 더보기
Strata 2011: Hilary Mason, "What Data Tells Us" 올해 초 Strata2011 컨퍼런스에서 '힐러리 메이슨' 언니가 발표한 키노트입니다. 감상하시죠~ http://strataconf.com/strata2011/public/schedule/detail/17956 1. timelessness - stream, robustness 2. data storage - store - query - operate * with real time * get result before i forget 3. education - how do i become a data person 4. imagination - bit.ly 5. data type - nursistic? : news with view of mine not the other person - sement of da.. 더보기
데이터마이닝의 개요 (2) 지난번 포스팅에 이어 '데이터마이닝'의 연구분야 및 기법에 대한 내용입니다. 데이터마이닝의 연구분야 KDD, 기계학습, 패턴인식, 뉴로컴퓨팅, 통계학 데이터마이닝 활용분야 CRM, 신용평가, 품질개선, 부정행위 적발, 이미지 분석, 생명정보학 고객관계관리에서의 전략 목표마케팅 (target marketing) 고객 세분화 (segementation) 고객 이탈분석 (churn analysis) 교차분석 (cross analysis) 시장바구니 분석 (market basket analysis) 교차분석(Crosstabulation Analysis) 범주형 자료(명목척도)를 두 개 혹은 그 이상의 변수에 대한 결합분포(결합빈도)를 나타내는 분할표를 보여주는 것. 즉, 특정 속성에 대하여 집단별로 어떤 관련성.. 더보기
데이터마이닝의 개요 (1) 지난 주에 우연히 데이터마이닝 관련 강좌를 하나 듣고 있습니다. 시간이 날 때마다 한 강좌씩 듣고 정리를 해보는 것도 좋겠다 싶어서 시작합니다. 데이터마이닝의 도입배경 통신, 보험, 금융권 에서의 고객을 이해, 관리를 위한 CRM으로 시작 데이터마이닝이란? 대용량의 데이터베이스로 부터, 의미있는 정보(관계, 패턴, 규칙 등)를 찾는 것 OLTP vs OLAP vs Data Mining 데이터베이스를 활용한 분야인데, 누구를 대상으로 한 것인지에 따라 조금씩 달라지는 것 같습니다. 이용자를 위한 어플리케이션 또는 절차가 OLTP (On-Line Transaction Processing) 관리자를 위한 것이 OLAP (On-Line Analytical Processing) 정책결정자를 위한 것이 Data M.. 더보기