본문 바로가기

컨퍼런스

LINE DEVDAY 2014 - Java Tuning in Production - 신기빈 LINE DEVELOPER DAY 2014 달리는 말 위에서 삽질하기 매달 15~20회 release 800+ servers JVM 1.7 (11/7/28), 1.8 (14/5/18) 업그레이드 검토 JVM 업그레이드 그냥 올리면 안 되나? 내부 테스트 시에는 전혀 문제없었으나 결국 Production 레벨에서 발견되더라 Segmentation Fault 나더라… JVM 버그 .. patch upgrade .. patch upgrade … 기타 호환성 (netty 등) 버전 업그레이드 문제들 등장 결국 이제서야 안정화 되었고 어느 정도 minor/major GC의 효과는 보였다 오픈소스 업그레이드 그냥 올리면 안 되나? 오픈소스 마저도 heap dump 후에 linkedlist apache.common... 더보기
LINE DEVDAY 2014 - Big Data - 최철호 LINE DEVELOPER DAY 2014 개인적으로 제일 좋았던 세션이었습니다. :-) Big Data (HBase & Analysis) 흑역사 Redis shard + My SQL 백업 체제가 이틀만에 30만 50만 유저 등록으로 주소록 백업 장애 “홍콩대란"으로 HBase 스토리지 전환 (2011.11) 현재 14개 클러스터 1,165대 520테라 Snappy, 비휘발성 데이터는 다 hbase 저장 데이터분석용 2개 클러스터 387대 1페타 snappy fast_diff, 2조 5천억 레코드, 데이터 15일 이내의 TTL OpStorage란? Op : 클라이언트 서버 간의 모든 Event, 클라이언트가 가져가야 할 중간 저장소 fetchOps : 59.1% of LINE API calls LEGY .. 더보기
LINE DEVDAY 2014 - Redis Keep alive 살아남아 응답하라 - 황정동 LINE DEVELOPER DAY 2014 서비스 가용성을 위한 Redis, HBase 쌍두마차 ! Why Redis ? 장점 : 일단 빠르다, NoSQL, 다양한 자료구조(HashSet, SortedSet) 지원한다 단점 : Single Thread (No lock But High performance), 메모리 기반 (Data loss 가능성), MySQL backup 한계점), 완전한 클러스터 솔루션 없음 (In-house 개발) Redis cluster 운영 Shard 당 master-slave 구조 cluster-manager w/ zookeeper 운영했으나, master-slave 동시에 나가는 경우 발생하더라... 복구용이, 운영자동화 대안이 필수 그래서 ? Dashboard 및 운영도구 .. 더보기
LINE DEVDAY 2014 - 글로벌 서비스를 위한 네트웍 세션처리와 얼랭 튜닝 - 김남일 LINE DEVELOPER DAY 2014 라인 개발자 컨퍼런스에 다녀왔습니다. 같이 일했던 분들을 얼굴을 볼 수 있어서 좋았고, 쩌로님 왔다는데 안 가볼 수 없으니 ... 덕분에 좋은 강연도 듣고 자극도 많이 받고 왔습니다. 얼랭을 선택한 이유 : 비동기네트웍, 멀티코어, 코드핫스와핑 최적화를 위한 노력 : NIF (Native Implemented Function) C 라이브러리, 비동기 메시지 전송, 인증서 내장 (앱스토어 운영할 수 있어서 가능함) 안전성을 위한 노력 : 모니터링 유연성을 위한 노력 : 새로운 기능을 제공할 때에 언제든 disable 될 수 있는 파라메터를 통한 서버운영 기능 더보기
Strata 2012 Activity Plan 플랫폼, 시각화, 데이터 분석, 기반기술 공유, 시행착오 공유 등으로 구분 현재 나의 위치에서 가장 집중해야만 하는 영역은 "데이터분석, 시각화, 시행착오 공유" 정도가 가장 가깝다고 판단되며, 실제 경험, 데이터 분석의 시행착오, 잘 된 분석 프로세스에 대한 강좌를 주로 들을 예정입니다. 물론 올 해에는 직접 참석은 힘들 것같고, 동영상으로만 참석(?) 할 예정입니다. :-) Activity Plan @ Strata 2012 Conference 1. 어떤 방법으로 들을 건데? - 세션 별 체크포인트 매트릭스를 준비하고 채워나가는 방식 l 빅(Volume, Variety, Velocity 관점) 데이터 분석인가? 빅(v3)이라서 성공했나? l 이번 발표에서는 어떤 방식(데이터크기, 시각화, 알고리즘, 분.. 더보기