본문 바로가기

all categories

'딥러닝 첫걸음' 라는 책이 출간 되었습니다. "모두의 연구소" 김성필 연구원님께서 작년 말에 출간하신 책인데요, "머신러닝에서 컨벌루션 신경망까지" 라는 부재로 나왔습니다.번역서만 가득한 딥러닝 분야에 단비같은 책이라 할 수 있습니다. :-)김승일 연구소장님의 깨알같은 추천사가 눈에 들어옵니다. “딥러닝은 우리 연구소 스터디 중 가장 인기 있는 주제입니다. 하지만 초보자와 전문가 사이에는 여전히 상당한 격차가 존재하는 것도 사실입니다. 이 책은 딥러닝을 대략적으로 이해한 초보자들이 더 깊게, 하지만 너무 힘들지 않게 한 단계 올라서는 데 좋은 길잡이가 되어줄 것입니다. 특히 컨벌루션 신경망의 설명은 압권입니다.” - 김승일 모두의 연구소 소장 작년부터 "머신 러닝" 스터디를 "모두연"에서 하고 있는데, 여전히 어렵네요.. 아무튼 머신러닝을 빠싹하게.. 더보기
install hadoop 2.x on mac os x http://zhongyaonan.com/hadoop-tutorial/setting-up-hadoop-2-6-on-mac-osx-yosemite.html http://withsmilo.github.io/bigdata/2016/06/01/setup-hadoop-2.7.2-on-osx/$ brew tap homebrew/versions $ brew install protobuf250 $ brew link --force --overwrite protobuf250 $ protoc --version libprotoc 2.5.0 $ brew install cmake $ wget http://www.eu.apache.org/dist/hadoop/common/hadoop-2.7.1/hadoop-2.7.1-src.tar.. 더보기
로그를 통해서 데이터 분석을 이제 시작하려는데 분산 데이터 처리에 있어서 구글이 세상을 평정한 이후로, 오픈소스 진영에서 구글의 대부분 분산 데이터 처리 플랫폼, 서비스에 대한 클론(clone)의 습격이 시작 되었는데.. 최근 10년간 너무 많은 오픈소스가 생겨났고 하나 하나 열거하기에는 어렵고, 쫓아가기도 어려운 상황 그래서 이러 저러한 하둡 에코시스템의 조합을 미리 만들어 주고, 컨설팅 해주는 업체가 가장 잘나가는 2회사가 클라우데라, 호튼웍스가 살아남음.호튼웍스 http://hortonworks.com/hdp/ 클라우데라 https://cloudera.com/products/apache-hadoop.html 두 회사를 비교도 https://www.experfy.com/blog/cloudera-vs-hortonworks-comparing-hado.. 더보기
파이썬 한글 텍스트 마이닝 (KoNLPy) 우선, 이런 훌륭한 도구를 개발해 주신 Lucy Park 님께 심심한 감사를 표합니다. 우선 패키지 매니저 업그레이드 후 파이썬으로 영어와 한국어 텍스트 다루기 페이지에 따라 설치sudo pip install --upgrade pip 도중에 collocation 계산시에 stopwords 관련 오류가 발생하는데 아래와 같이 다운로드 한다.> pythonimport nltknltk.download('stopwords') 마지막 태그 클라우드에서 d3 스크립트 오류가 발생하는데 아래의 사이트에서 다운로드 받아서 로컬에 설치.https://gist.github.com/emeeks/3361332.jshttps://github.com/jasondavies/d3-cloud/blob/master/build/d3.la.. 더보기
Jupyter Scala Kernel 설치 http://people.duke.edu/~ccc14/sta-663/Jupyter.htmltar -xvf jove-scala-cli_2.11-0.1.1-1-SNAPSHOT.tar.gzcd jove-scala-cli-0.1.1-1-SNAPSHOT./jove-scala --kernel-spec 더보기
BMLS w/ Python 2장 - 실제 예제 분류하기 Building Machine Learning System with Python 한국어판https://github.com/luispedro/BuildingMachineLearningSystemsWithPython #!/usr/bin/env python# -*- coding:utf-8 -*-%matplotlib inline from matplotlib import pyplot as pltimport numpy as np# sklearn의 load_iris로 데이터를 로드한다.from sklearn.datasets import load_irisdata = load_iris()# load_iris는 몇 개의 필드를 객체를 반환한다.features = data.datafeatures_names = data.fe.. 더보기
zookeeper 파이썬 라이브러리 kazoo 설치는 kazoo-2.2.1, six-1.10.0 설치가 필요하며, 필요시에 setuptools 도 설치하되 sudo 권한이 없다면 .bashrc 정보에 PYTHONPATH 변경# 압축을 푼 경로에서 아래와 같은 방식으로 설치python setup.py --prefix=/home/psyoblade/install/setuptools # cat .bashrcSETUPTOOLS="/home/psyoblade/install/setuptools/lib/python2.7/site-packages"export PYTHONPATH="$SETUPTOOLS" 예제 프로그램 실행 - https://kazoo.readthedocs.org/en/latest/api.htmlfrom kazoo.client import KazooC.. 더보기
스칼라 match 표현식, 재귀호출 및 yeild 사용 예제 스칼라 match 표현식 예제 def doMatch(firstArg: String): String = { firstArg match { case "salt" => "pepper" case "chips" => "salsa" case "eggs" => "bacon" case _ => "huh?" } // 반환값을 명시하지 않으려면 함수의 마지막에 선언/할당 구문이 없어야 한다. } break와 continue문 없이 살기// args = -1.scala 1.scala -2.scala 2.scala -abc.c -abc.scala a.c xyz.scala def doWhileLoop(args: Array[String]) { var i = 0 while (i < args.length) { if (!args(i).. 더보기
Maven + Java + Spark 연동 개발 메이븐 패키지를 맥에 설치brew install maven 메이븐 기본 아키타입을 통해서 자바 테스트 앱 생성mvn archetype:generate -DgroupId={project-packaging} -DartifactId={project-name} -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false bash$> mvn archetype:generate -DgroupId=com.psyoblade.dm4ir \-DartifactId=foo \-DarchetypeArtifactId=maven-archetype-quickstart \-DinteractiveMode=false 실행 후에 아래와 같이 pom.xml 파일을 통해 확인.. 더보기
스칼라 함수형 객체 클래스 선언, 메소드 오버라이드, 인스턴스 생성 시 전제조건preconditionimport scala.language.implicitConversions // 이 문구를 명시적으로 넣어줘야 아래의 경고 문구가 뜨지 않는다.// warning: implicit conversion method intToRational should be enabled class Rational(n: Int, d: Int) { // constructur val g: Int = gcd(n.abs, d.abs) val numer: Int = n / g // 넘어온 객체의 필드에 접근하기 위해서는 필드 정의가 반드시 필요함 val denom: Int = d / g override def toString = if (d == 1) n.. 더보기