본문 바로가기

기계학습

Hadoop MapReduce를 이용하여 신경망 학습이 가능할까? 아파치 프로젝트로 진행중인 Mahout라는 프로젝트가 있는데, 이것은 Hadoop MapReduce를 통하여 Machine Learning을 하기 위한 프레임워크다. 하지만 Hadoop만큼이나 인기리에 진행되고 있지는 않는것 같다. 어쨌거나, 클릭로그 정보를 이용하여 문서와 입력된 키워드와의 관계를 neural network를 통하여 학습하고, 검색시에 랭킹에 반영하는 것을 실험해보고 있다. 자세한 내용은 집단지성 프로그래밍 (원서: Programming Collective Intelligence) 4장을 참고. 가장 힘든 부분은 feedforward 단계와 backpropagate 단계에서 node의 weight값과 link 의 weight값을 global하게 사용한다는 점에 있는데, 이를 분산환경에서.. 더보기
기계학습 기법을 이용한 문장 경계 인식 와~ 너무 오랜만에 블로그로 다시 돌아온 이 느낌~ 나름 고향에 돌아온 느낌이 듭니다. 그래도 와 주셨던 분들께 '또 그대로네..' 했던 것 같아 많이 부끄럽습니다. 어쨌거나, 최근 두 달간 논문을 준비하느라, 정신줄을 잠시 놓았더니.. 블로그가 황폐해진 느낌입니다. -_-;;; 작년에 했던 실험들을 바탕으로 올 초에 논문 디펜스를 하고, 정리하면 여유로워 질 것이라 생각했는데, 디펜스 할 때에 대박 깨지고, 논문에 대한 큰 줄기가 바뀌는 덕분에 두어달 정말 고생했습니다. 이제는 이런 저런 마무리 작업을 끝내고, 학위논문 제본을 맡긴 상태입니다. 마음이 한결 편해지고, 조금은 허전한 느낌입니다. 아쉽긴 합니다만, 그래도 뿌듯하네요~~ 서론이 너무 길었네요... 포스팅 제목이 제 논문의 제목이기도 합니다... 더보기
데이터마이닝의 개요 (2) 지난번 포스팅에 이어 '데이터마이닝'의 연구분야 및 기법에 대한 내용입니다. 데이터마이닝의 연구분야 KDD, 기계학습, 패턴인식, 뉴로컴퓨팅, 통계학 데이터마이닝 활용분야 CRM, 신용평가, 품질개선, 부정행위 적발, 이미지 분석, 생명정보학 고객관계관리에서의 전략 목표마케팅 (target marketing) 고객 세분화 (segementation) 고객 이탈분석 (churn analysis) 교차분석 (cross analysis) 시장바구니 분석 (market basket analysis) 교차분석(Crosstabulation Analysis) 범주형 자료(명목척도)를 두 개 혹은 그 이상의 변수에 대한 결합분포(결합빈도)를 나타내는 분할표를 보여주는 것. 즉, 특정 속성에 대하여 집단별로 어떤 관련성.. 더보기

티스토리툴바