DoYeon's Blog

프로젝트를 시작하기에 앞서, 빅데이터를 다루는 프레임워크에 대해 알아할 필요가 있다. 아파치 하둡 (Apache Hadoop)은 빅데이터를 더 수월하게 다루기위해 만들어진 오픈 소스 프레임워크이다. 하둡 생태계 (Hadoop Ecosystem)은 빅데이터를 처리/해결 하기위해 만들어진 프로젝트들의 집합체라고 보면 된다. 아래 그림과 같이 하둡의 여러 프로젝트들은 서로 다른 목적을 위해 사용된다. 1. Zookeeper 주키퍼(Zookeeper)는 서비스 분산과 서버 간 상황을 관리하여 분산 서버의 통합 환경을 관리하는 서비스를 제공한다. 주키퍼를 사용하여 Hadoop component 의 자원들을 관리한다 2. HDFS(Hadoop Distribute File System) HDFS는 하둡생태계의 큰 구..

데이터 엔지니어가 되기 위해서는 쌓고 싶은 데이터 스택이 참으로 많다.. 이에 대해서도 글을 나중에 쓸 것이다. 일을 하면서 어떻게 공부를 다시 시작할까 고민되기도 망설여지기도 한다. 하지만 일단 하고 보자. 일단 제대로 전략을 세워 하면 1년이 걸리더라도 내공을 쌓을 수 있지 않을까? 빅 데이터 Tech Stack을 쌓기 가장 좋은 방법이 무엇일까 글을 쓰면서 생각을 정리하다가, 다음과 같이 이행하도록 결론을 내렸다. 1. Github 에 매일밤 TIL 작성하기. 2. 빅데이터 관련 서적 독서 이 두 토끼를 한번에 잡기 위해서, 나는 으로 공부를 먼저 시작할 것이다. 이 책을 통해 배울점은 a. 빅데이터의 개론 b. 하둡을 이용한 데이터 전처리 과정 c. 카프카를 이용한 데이터 송수신 d. 아파치 스파..

데이터 컨설턴트로 일한지 1년 6개월이 되었다. 본래는 직업에만 충실하자는 마인드였는데, 주변 사람들의 자기개발 관련 이야기 그리고 이에 관한 영상들을 보고 기록을 하는것이 중요하다는 것을 새삼 깨닫게 되었다. 내 마음도 다지고 글쓰는 능력도 기를 겸 이제부터 기록하는것을 시작하려고 한다. 처음이지만 두서없이 일단 써보기라도 해야겠다 생각하여 이 글을 주말아침에 끄적여 본다. 현재 싱가폴에서 10년 유학 (중,고, 그리고 대학교)을 하고 빅 4에서 데이터 컨설턴트로 일하는 중이다. 데이터 컨설턴트로 일하면서 느끼는 점은 정말 다양한 프로젝트를 많이 해본다는 것이다. 내가 알고있었던 지식 이상으로 데이터 분야는 무궁무진 한 것 같다. 대학교에서는 보통 데이터 분석 프로젝트 위주로 하였는데, 데이터 분석 그..