all categories 썸네일형 리스트형 YARN 환경에서 우지(Oozie) 빌드 및 설치 Build Oozie$ curl -O http://apache.mirror.cdnetworks.com/oozie/4.2.0/oozie-4.2.0.tar.gz$$ tar zxvf oozie-4.2.0.tar.gz$ tar$ cd oozie-4.2.0$ export MAVEN_OPTS=-Xmx1024m$ bin/mkdistro.sh -DskipTests Install Oozie$ mkdir oozie ; cd oozie$ cp /home/psyoblade/oozie-4.2.0/distro/target/oozie-4.2.0-distro.tar.gz .$ tar zxvf oozie-4.2.0-distro.tar.gz$ cd oozie-4.2.0 Create Oozie War여기가 중요한데, 결국 우지는 자기가 .. 더보기 Mongo-Hadoop Integration http://www.slideshare.net/mixmax99/mongodb-hadoop-integrationhttp://www.slideshare.net/mongodb/hadoop-webinarhttps://github.com/mongodb/mongo-hadoop/wiki/Configuration-Reference Mongo hadoop input formatmongo.job.input.format=com.mongodb.hadoop.MongoInputFormat mongo.input.uri=mongodb://my-db:27017/enron.messages Read from MongoDB Read from BSON mongo.job.input.format=com.mongodb.hadoop.BSONFile.. 더보기 MongoDB Hadoop Connector 사용기 하둡 버전에 따라 맵리듀스 인터페이스가 다르기 때문에 Mongo Hadoop Connector 의 경우에도 컴파일을 별도로 해야만 한다. 아래에서는 최신버전을 가져왔기 때문에 SNAPSHOT 버전으로 빌드가 되었으나, tag 버전을 가져와서 빌드하는 것을 추천한다. gradle 이라는 조금은 특별한 빌드 도구를 사용해야 하는데, 윈도우 버전을 별도로 설치 후, github 을 통해서 connector 코드를 내려 받은 후, jar 파일을 build 한다.D:\workspace\mongo\mongo-hadoop> gradlew -Phadoop_version=0.23 jar D:\workspace\mongo\mongo-hadoop\core\build\libs mongo-hadoop-core-1.4.0-SNA.. 더보기 문서의 크기가 작으면 집계함수 성능이 올라갈까? 처음 호기심은 문서가 아주 큰 경우에 건 수가 얼마 되지 않아도 디스크 I/O 때문에 어쩔 수 없이 느려지게 된다. 그러면 문서가 아주 작고 100만건 정도 문서들의 집계함수는 빨라지는가? db.foo.createIndex({dt:1,did:1,ps:1}) var start = new Date()db.foo.aggregate([{$match:{dt:"20150629"}},{$project: {dt:1, did:1}},{$group:{_id:{dt:"$dt", did:"$did"}, cnt:{$sum:1}}}],{allowDiskUse:true})var end = new Date()print(end-start)8.110 secs 2~300mb disk i/o speed 만족스러울 만한 수준은 아니며, 우선.. 더보기 몽고디비 궁금한 점들 타임존이 다를때 ISODate 일자 별 집계 문제점한국은 GMT+9 이므로, "$dayOfMonth" 함수를 통해 집계하면 9시간 당겨 출력"$dateToString" 함수와 "$add" 함수를 통해 9시간을 더해 준 뒤에 집계실제 자바 프로그램 상에서 Date 함수를 사용하면 되기 때문에 문제는 없음단, 외부 입력일자가 없는 집계인 경우 Group By Month 는 문제가 됨d1 = ISODate("2015-06-12T23:00:00.000Z")d2 = ISODate("2015-06-13T00:00:00.000Z")d3 = ISODate("2015-06-13T01:00:00.000Z")d4 = ISODate("2015-06-13T02:00:00.000Z")d5 = ISODate("2015-06-13T.. 더보기 W3C - Date and Time Format W3C - Date and Time format UTC 포맷이 TZ 두 가지 밖에 안 써봐서 잘 모랐으나 아래와 같이 다양하게 쓸 수 있더라. Year: YYYY (eg 1997) Year and month: YYYY-MM (eg 1997-07) Complete date: YYYY-MM-DD (eg 1997-07-16) Complete date plus hours and minutes: YYYY-MM-DDThh:mmTZD (eg 1997-07-16T19:20+01:00) Complete date plus hours, minutes and seconds: YYYY-MM-DDThh:mm:ssTZD (eg 1997-07-16T19:20:30+01:00) Complete date plus hours, minut.. 더보기 공부를 위한 사이트 목록 이 페이지는 공부를 위해 관심을 두고 보고 있는 사이트 목록입니다. 프로그래밍Jenkov's Java Tutorials 오픈소스Spark™Mahout 강의&강좌TEDSlideshare넥슨 개발자 컨퍼런스 게임 프로그래밍 유니티 스터디DarkGenesisGamasutraUnity3D 포럼 임베디디 프로그래밍Kocofab IT 웹진블로터테크라이브러리네이버 개발자센터ZDNet 코리아IGN슬로우뉴스IT월드인벤게임뉴스BigDataMadeSimple데브코리아벤처스퀘어 Read Write WebASD BlogBBC Click 웹진ㅍㅍㅅㅅ네이버 캐스트빌게이츠 노트 웹 스크랩Pocketfreedly 예술ArtnetPosemaniacs김달진미술연구소네오룩DavidRevoyITS ARTWiki ArtCPK Lesson도약아.. 더보기 Jenkov.com - Java Lambda Expressions Java Lambda Expressions - Single Method Interface 자바8 람다 표현식은 컴파일 시에 인터페이스의 형식을 보고 추정(Inference)하여 기동된다.public interface StateChangeListener { public void onStateChange(State oldState, State newState); }stateOwner.addStateListener(new StateChangeListener() { public void onStateChange(State oldState, State newState) { // do something with the old and new state. } });stateOwner.addStateListener( (.. 더보기 Jenkov.com - Java Enum & Annotation Enum 상수는 아래의 예제 하나면 끝.public enum Level { HIGH (3), //calls constructor with value 3 MEDIUM(2), //calls constructor with value 2 LOW (1) //calls constructor with value 1 ; // semicolon needed when fields / methods follow private final int levelCode; Level(int levelCode) { this.levelCode = levelCode; } public int getLevelCode() { return this.levelCode; } } 자바의 Annotation 은 크게 3가지 방식으로 사용이 가능한데, C.. 더보기 클러스터 환경에서의 ETL 개발 시의 유의사항 보호되어 있는 글입니다. 더보기 이전 1 2 3 4 5 6 ··· 19 다음