본문 바로가기

로그를 통해서 데이터 분석을 이제 시작하려는데 분산 데이터 처리에 있어서 구글이 세상을 평정한 이후로, 오픈소스 진영에서 구글의 대부분 분산 데이터 처리 플랫폼, 서비스에 대한 클론(clone)의 습격이 시작 되었는데.. 최근 10년간 너무 많은 오픈소스가 생겨났고 하나 하나 열거하기에는 어렵고, 쫓아가기도 어려운 상황 그래서 이러 저러한 하둡 에코시스템의 조합을 미리 만들어 주고, 컨설팅 해주는 업체가 가장 잘나가는 2회사가 클라우데라, 호튼웍스가 살아남음.호튼웍스 http://hortonworks.com/hdp/ 클라우데라 https://cloudera.com/products/apache-hadoop.html 두 회사를 비교도 https://www.experfy.com/blog/cloudera-vs-hortonworks-comparing-hado.. 더보기
2월 마지막주 뽀모도로 - 개발자란 어떤 직업일까? 금주는 휴일이 있었음에도 불구하고 나름 집중할 수 있었던 한 주였던 것 같습니다. 사실 와이프가 최근 공부를 시작했는데 옆에 앉아서 같이 공부해주는 것이 큰 도움이 되었던 것 같습니다. 아내는 나의 가장 멋진 멘토입니다. :-) 아마도 나와 다른 성격에 다른 가치관을 가진 사람이기 때문인 것 같습니다. 최근에 예전 회사에서 했던 프로젝트에 관련해서 문의가 있어서 늦은 시간까지 지원을 해드리고 왔었습니다. 사실 5년 전 프로젝트이기도 하고, 도움이 될까 하는 의구심이 들었으나, 해당 프로그램이 유닉스 환경에서 개발된 C, PRO*C 등으로 중 무장한(?) 소켓 프로그램이라 딱히 도움을 청할 만한 사람이 없었던 것 같습니다. 한국교육학술정보원(KERIS)라는 곳 인데요, 아주 많은 일들을 하고 있는 국가기관.. 더보기
2월 4째주 뽀모도로 - 망할 iTunes, iCloud ... 때는 월요일 저녁이었지요, 여느때와 같이 나의 맥북에 아이폰과 연결하고 씻으러 갔다왔는데 왠지... 평소같았으면 동기화가 벌써 끝나있어야 하는데 왠지 열심히 뭔가를 복사하는 아이튠즈 .. 어플 및 아이폰 상태는 초기화가 거의 마무리가 되어 가는 중. 아흑... 뭐 그래도 백업이 되어있겠거니 했는데... 작년 iCloud 적용 이후로 백업을 iCloud로 셋팅을 해두었는데 iCloud 백업은 주소록 및 일부 스케쥴만 백업 되도록 설정 되었네요... 게다가 마지막 백업 시점은 작년 12월 이구요... 털썩 나의 아이폰은 작년 12월 11일으로 롤백되어 있고, 나는 공황상태로 돌입. 뭐 울며 겨자먹기로 복구, 그나마 즐겨하던 몇 몇 게임 세이브 파일과 어썸노트 및 뽀모도로 기록은 안드로메다에... 에버노트, .. 더보기
2012년 2월 세번째 주 뽀모도로 정량화된 정보를 통한 긍정적인 피드백을 체험하는 한 주였습니다. 전반적으로 뽀모도로는 상승했고, 인터럽션은 줄었습니다. 인터럽션에 대한 의도적인 확인이 영향을 주었을 수도 있다는 생각이 들었습니다. 인터럽션의 원인 분석 뽀모시간이 종료되었지만 미련이 남아서 계속 하는 습관 타인에 의한 인터럽션은 많지 않았음 (가장 큰 원인일거라 착각) 여전히 수요일 뽀모가 줄어드는 원인(?)은 불확실하지만 크게 신경쓰지 않기로 했습니다. 전체적인 흐름이나 분위기를 잘 타는 것이 더 중요하지 않을까 생각하고 있습니다. 최근 업무적인 이유로 Neo4J와 SenseiDB라는 오픈소스 프레임워크를 살펴보고 있습니다. 전자의 경우는 오픈소스 그래프 데이터베이스이며, 소셜분석을 위한 도구로 살펴보고 있으며, 후자의 경우는 준 실시.. 더보기
2012년 2월 12일, 뽀모도로 다이어리 한 해가 시작되고 1월은 설이다 뭐다 해서 금새 지나가 버리고 바쁘다는 핑계로 그날 그날 피드백에 대한 블로깅도 어느덧 1달을 그냥 넘겨버렸습니다. 물론 뽀모도로 앱 덕분에 기록은 남아서 아래와 같은 차트는 그릴 수 있었다. MS Excel이 아주 기능은 좋지만 유연하지 않아서 그냥 구글닥스에 간단히 기록을 남기고 차트로 그리는 편이 좋은 것 같습니다. 몇 가지 시사점이 보입니다. :-) - 주말인 토,일요일은 뽀모가 없다 * 주말 저녁에 1~2뽀모 정도의 성의는 보이자 - 뽀모빈도와 인터럽션이 아주 강한 상관성이 보임 * 어찌보면 당연한데, 집중력을 떨어뜨리는 요인분석 필요 - 금요일보다 오히려 수요일에 뽀모가 적음 * 수요일에는 간식을 먹거나 기분전환을 해서 집중력을 높여보자 심심해서 R로 간단히 s.. 더보기
2012년 1월 15일 (일) - 다들 주말에는 어떻게 지내시는지... 주말에는 뽀모도로를 거의 활용하지 못하네요 ^^; 개선이 필요한데 어떻게 해야할 지... 무엇보다 마트 갔다가 외식도 한 번씩 해주고, 아이들이랑 한 두시간 놀고, 식사준비 청소 등등 하고나면 평일보다 더 시간을 내기가 힘든 것 같습니다. 이렇게 컴퓨터 앞에 앉으면 시간은 11시를 넘어가고 쩝. 그냥 주말에는 맘 편히 쉬는게 속편한 건지...^^ 오는 19일이 결혼 10주년인데 일본여행은 방사능 때문에 불발되어버렸고, 제주도에나 갈까 생각중입니다. 더보기
2012년 1월 10일 LiFiDeA님의 블로그를 보고 단순히 뽀모도로만 하는 것보다 조금 더 구체적인 로그를 남기는 것도 도움이 될 듯하다. 그리고 일 주일 단위로 회고를 하고 통계적인 분석도 곁들이면 재미있을 것 같다. 5 pomodoros, 4 interruptions 사장님 신년사에 javascript를 우리 회사의 기본 언어로 정했다는 말씀을셔서 뭔가 프로그래밍 생활화 하기 위해서 조그마한 프로젝트를 진행하고 싶은데, 자꾸 일을 벌이는 것 같아 망설여진다 :-) 더보기
2012년 1월 9일 오늘은 운동도 열심히 하고, 나름 잘 지냈다고 생각했는데 결과는 참담하구나... 한 가지 일에 집중하기 위해 좀 더 노력하고, 나 스스로 변해야 한다는 사실을 뼈저리게 느낄 수 있어야 겠다. 6 pomodoros, 4 interruptions 나 스스로 현재의 자신이 옳고, 나쁘지 않다고 생각하는 오류를 범하고 있다. 현재의 자신은 변할 수 있고, 더 나은 모습으로 변화해야만 하는데, 마치 현재의 나가 유지되어서 그나마 이렇게 까지 되었다라고 착각하는 것 같다. 더 나은 모습으로 변화할 수 있는지도 모르고 말이다. 저녁에 퇴근해 와이프랑 얘기하는 시간이 조금씩 늘어난다. 때로는 논쟁을 벌이기도 하고, 들어주기도 하고... 배우는 것이 많다. 스스로 느끼는 점도 많고, 와이프는 나에게 있어 정말 많은 것을.. 더보기
2012년 1월 4일 역시 회의가 많은 날은 성적이 늘 저조함, 무엇 보다도 해야 할 일에 대한 명확한 범위가 없는 날에는 더욱 결과가 없음. 아무리 작은 일이라도 할 수 있는 범위, 해야 할 범위를 명확히 해 둘 필요가 있음. 4 pomodoros, 3 interruptions Disk based graph database Cypher - the new graph query language released in 1.4 Gremlin - a Groovy DSL for graphs Languages - python, closure Neo4j HA with master slave replication w/ zookeeper 더보기
2012년 1월 3일 새해에 들어서 일단 정신적으로는 좀 더 안정되었으나 실제 개발 성능은 덜 나오는 듯 하다. 생활에 있어서도 최대한 단순하게 생각하고 한 가지 일에 매진할 수 있어야 할 것 같다. 12 pomodoros, 5 interruptions - git 분산 버전 관리 시스템 : GUI 보다 Console이 백만 배 낳다. - neo4j 그래프 데이터베이스 : ACID, 고가용성, 10억개 node/edge. 더보기