본문 바로가기

Machine Learning

Hadoop MapReduce를 이용하여 신경망 학습이 가능할까? 아파치 프로젝트로 진행중인 Mahout라는 프로젝트가 있는데, 이것은 Hadoop MapReduce를 통하여 Machine Learning을 하기 위한 프레임워크다. 하지만 Hadoop만큼이나 인기리에 진행되고 있지는 않는것 같다. 어쨌거나, 클릭로그 정보를 이용하여 문서와 입력된 키워드와의 관계를 neural network를 통하여 학습하고, 검색시에 랭킹에 반영하는 것을 실험해보고 있다. 자세한 내용은 집단지성 프로그래밍 (원서: Programming Collective Intelligence) 4장을 참고. 가장 힘든 부분은 feedforward 단계와 backpropagate 단계에서 node의 weight값과 link 의 weight값을 global하게 사용한다는 점에 있는데, 이를 분산환경에서.. 더보기
기계학습 기법을 이용한 문장 경계 인식 와~ 너무 오랜만에 블로그로 다시 돌아온 이 느낌~ 나름 고향에 돌아온 느낌이 듭니다. 그래도 와 주셨던 분들께 '또 그대로네..' 했던 것 같아 많이 부끄럽습니다. 어쨌거나, 최근 두 달간 논문을 준비하느라, 정신줄을 잠시 놓았더니.. 블로그가 황폐해진 느낌입니다. -_-;;; 작년에 했던 실험들을 바탕으로 올 초에 논문 디펜스를 하고, 정리하면 여유로워 질 것이라 생각했는데, 디펜스 할 때에 대박 깨지고, 논문에 대한 큰 줄기가 바뀌는 덕분에 두어달 정말 고생했습니다. 이제는 이런 저런 마무리 작업을 끝내고, 학위논문 제본을 맡긴 상태입니다. 마음이 한결 편해지고, 조금은 허전한 느낌입니다. 아쉽긴 합니다만, 그래도 뿌듯하네요~~ 서론이 너무 길었네요... 포스팅 제목이 제 논문의 제목이기도 합니다... 더보기