코스 이미지

[스터디/2기] 실리콘밸리에서 날아온 데이터 엔지니어링 스타터 키트 with Python

마감되었습니다. 대기 신청을 해주시면, 스터디 오픈 시 쿠폰과 함께 가장 먼저 연락드리겠습니다.




데이터 엔지니어링을 시작하려는 모두에게


자신있게 추천하는 첫 스텝 :


실리콘밸리에서 날아온


데이터 엔지니어링 스타터 키트 with Python




데이터 팀의 핵심 인력, 데이터 엔지니어!


데이터 엔지니어는 조직에서 어떤 역할을 하고, 어떤 역량을 가진 사람일까요?


만약 내가 데이터 엔지니어가 되려면, 어디부터 시작해야 하는걸까요?


이런 막연한 질문에 대해 기술적 해답을 찾아가는 6주 온라인 스터디입니다.







🗓 SCHEDULE 일정



  • 스터디 시작: 2020-10-10(토)

  • 스터디 종료: 2020-11-21(토) 총 6주

  • 슬랙을 활용한 상시 피드백, 코드리뷰, 토요일 오전 10시(KST)마다 열리는 리더와의 집중 멘토링 세션이 준비되어 있습니다.





  • ZOOM


    웹캠 기반 실시간 Q&A




  • Slack


    실시간 채팅 및 Q&A




  • GitHub


    미션 제출 및 코드리뷰




  • School


    프로그래머스 스쿨






회사의 성장과 함께


자연스럽게 필요해지는 데이터 팀


많은 기업이 서비스를 운영하며 쌓인 데이터를 유용하게 활용하고 싶어 합니다.


특히, 핵심 인력의 지식이나 경험을 통해서 쉽게 답을 내리기 어려우면


이제 ‘데이터 기반의 의사결정'이 필요하다는 사실을 절감하게 되죠.


데이터 엔지니어가 없는


데이터 팀의 문제


데이터 기반의 의사결정을 하기 위해서 데이터 관련 전문가가 필요한데요.


이때 기업 내부에 데이터 관련 전문가가 없다면, 우선 분석가 채용에 힘을 쓰게 됩니다.


지금까지 적재해둔 데이터가 있으니 분석가를 채용해 분석만 하면 인사이트가 나올 것이라 생각하기 때문이죠.


그러나 분석가들이 정말 비즈니스에 도움이 되는 가설을 세우고, 유의미한 결과를 도출하기 위해선


그들이 접근하기 용이하고 신뢰할 수 있는 데이터가 필요합니다.


분석가들이 엔지니어링을 배우면, 신뢰할 수 있는 데이터가 나올까요?


혹은 내부 개발자 중 SQL을 잘하는 사람이 나선다면, 이 문제가 해결될까요?


신뢰할 수 있는 데이터는


누구의 손에서 나올까요


데이터 엔지니어가 없다면, 성공적인 분석을 위한 ‘신뢰할 수 있는 데이터’ 도 존재하지 않습니다.



  • 팀원들이 원하는 데이터를 간단한 SQL 문으로 뽑을 수 있도록 데이터를 구조화하고,

  • 복잡하게 얽혀있는 데이터도 직관적으로 이해할 수 있도록 만드는 것


피부에 바로 느껴지지 않지만 결국 조직에서 큰 주춧돌과 같은 역할을 하는 사람이, 바로 데이터 엔지니어입니다.



이 스터디에서는,


데이터 팀이 필요한 모든 조직에서 ‘엔지니어'가 해야 할 명확할 역할을 제시합니다.


또한, 역할을 잘 수행하기 위한 기본 지식과 기술을 경험이 많은 리더로부터 집중 코칭을 받습니다.








🤵 LEADER 스터디 리더




스터디 리더 한기용(맥스)


리더 맥스(한기용)


  • 데이터 관련 컨설팅 (SK Telecom, ChartMetric, TeamBlind, SkipScooter, Airvet 등)

  • Udemy(유데미) / Senior Director of Data and Principal Data Architect

  • Yahoo!(야후) / Director of Engineering




AI가 크게 발전하면서 AI의 근간이 되는 데이터의 중요성이 점점 대두되고 있습니다. 하지만 데이터를 어떻게 수집하고 정제해야 하는지에 대한 설명이나 그 중요성에 대한 인식은 한참 떨어집니다. 데이터 조직의 시작은 데이터 인프라를 만드는 것에서 시작합니다. 이 강좌에서는 데이터 엔지니어가 하는 일을 배우는 것으로 데이터 인프라를 만든다는 것이 무엇인지 설명합니다.




리더 맥스는 삼성전자, 야후(Yahoo!), 유데미(Udemy) 등 큰 규모의 팀을 여러 차례 거치며 개발자에서 데이터 엔지니어의 길을 걷게 되었습니다. 검색 엔진을 만들며 데이터에 대한 고민을 자연스럽게 하게 되었고, 엔지니어가 된 그 히스토리 자체가 여러분에게 유익한 강의 자료가 될 것입니다.


맥스와 함께 기술에 대한 이해와 더불어 데이터 엔지니어의 역할, 그리고 데이터 팀이라는 조직에 대한 이해까지 폭넓게 갖추는 시간이 되시길 바랍니다.








🤷 TARGET 참여대상자



공통 필수 준비 사항


이 과정은 Python, SQL에 대한 기본 지식이 반드시 필요합니다.


파이썬의 경우 문법 때문에 헤매지 않으셔야 하고, SQL은 join문 활용에 문제가 없어야 합니다.






  • 데이터 엔지니어링에 대한 관심이 생긴 개발자


    데이터 엔지니어링은 프로그래밍 역량이 기본적으로 필요한 분야입니다. 따라서 실무 개발자의 커리어 확장에 있어 고려해보기 좋은 방향 중 하나죠.

    데이터 역량에 대한 중요성은 세상 곳곳에서 대두되고 있지만, 어떤 시작이 적절할지 고민이라면 이 과정을 첫 시작으로 추천합니다.





  • 사내 데이터 인프라 필요성을 느끼는 개발자


    데이터는 쌓이고 회사에서 이를 활용할 방안에 대한 니즈는 많아지는데, 데이터 관련 전문가가 사내에 없다면 왠지 자연스럽게 개발자들에게 요구사항이 떨어지곤 합니다.

    이런 상황 속에서 혼자 구글링으로는 답이 안 나겠구나, 싶은 분들에게 추천합니다.







👍 수강생이 강력 추천하는 스터디


이전 기수 스터디원의 솔직한 후기를 참고하세요.





  • 1기 수강생 토니




    대부분 스타트업에서는 데이터 인력이 없거나 기존 개발자 혼자서 그 역할을 맡는 경우가 많습니다. 또한 데이터 관련 정보는 분석이나 머신러닝 알고리즘에 맞추어져 있습니다. 대부분 이러한 정보들은 데이터가 있다고 가정하는 경우가 많습니다. 하지만 실제 현업에서는 데이터가 없거나 있어도 쓸모없는 데이터밖에 없는 경우가 대부분입니다. 7년간 스타트업에서 일하면서 여러 유료 데이터 분석 툴을 사용했었지만 결국 내 입맛에 맞게 사용하려면 직접 구축하는 게 답입니다. 하지만 대부분 개발자분들이 데이터 수집을 고려하고 데이터베이스를 설계하지도 않으며 데이터 엔지니어링에 대한 경험도 전무합니다.


    해당 과정을 통해서 데이터 엔지니어의 역할에 대한 큰 그림을 알 수 있게 되었으며 스타트업에서 혼자서 데이터 엔지니어링부터 분석까지 리드해야 하는 입장에서 해당 분야의 경험과 내공이 깊은 맥스의 스터디에 참여한 것은 행운이었습니다.


    토니(1기), 스타트업 개발자







  • 1기 수강생 이민규




    백엔드 개발자로 커리어를 시작했지만, 슬슬 데이터 엔지니어링 분야로 커리어 전환을 고민하던 차에 좋은 과정이 있어 참여하게 되었습니다. 실제 데이터 팀이 어떻게 돌아가는지, 그중 데이터 엔지니어의 역할이 무엇인지에 대해 실무에서 주로 사용하는 기술 스택 기반으로 노하우와 함께 많은 내용을 전달받았습니다.

    특히 스터디원들이 가진 다양한 고민을 들어주시고, 아낌없이 조언을 해주셔서 많은 도움을 받았습니다. SQL, AirFlow, Python 을 포함 데이터 엔지니어링의 기본 테크닉에 해당하는 부분을 잘 경험할 수 있는 과정이었습니다.


    이민규(1기)









⚙️ 6주간 이렇게 배워요




  • 🔎


    1주차는, 실습보다는 데이터 조직에 대한 이해와 설명이 주가 됩니다.

    이를 통해 데이터 엔지니어는 어떤 역할을 하는지 알아보고 질의응답을 통해 그간 데이터 엔지니어링에 대해 막연하게 생각하던 것들을 정리해봅니다.



  • 🧑🏻‍💻


    2주차 ~ 5주차까지 매주 실습을 통해 데이터 엔지니어가 되기 위한 기본 지식을 쌓습니다.

    이 과정에서 GitHub을 활용하고 코드 리뷰도 진행하며 체득할 수 있게 도와드립니다.



  • 📊


    6주 차에는, 간단한 대시보드를 만들어보며 데이터를 시각화해봅니다.

    데이터 엔지니어가 할 수 있는 전 과정을 경험하면서 데이터 엔티니어의 역할에 대해 다시 한번 정리해봅니다.




6주간 매주 토요일 오전 10시에 리더와의 집중 코칭 세션이 있습니다!


이 시간에는 주 차별로 다룰 내용, 미션 소개, 라이브 코딩, 자유 Q&A를 진행합니다.


모든 세션은 녹화되어 제공되지만, 가급적 라이브로 참여해 커뮤니케이션하는 것을 권장합니다.


*스터디가 마무리되어 갈 무렵, 1:1 커리어 상담을 진행합니다. 1시간 동안 커리어 및 개인적인 고민을 리더와 함께 나눠보세요!








📈 커리큘럼



매주 데이터 엔지니어링과 관련해 어떤 내용을 배울지, 그 내용을 통해 나의 어떤 질문과 고민을 해소할 수 있는지 확인해보세요.


회사 제출용 과정 소개서가 필요하다면? 전체 커리큘럼 다운받기




🗓 1주차


데이터 팀이란 무엇이고, 어떻게 구성되며, 어떤 역할을 하는가

회사에서 데이터 조직이 하는 일이 무엇인지 여러 각도에서 살펴보고, 어떤 구성원들이 존재하는지 알아봅니다. 데이터 조직에서 데이터 엔지니어가 하는 역할과 필요한 스킬 셋에 대해 자세히 알아보고 실제 테크 기업 데이터 엔지니어의 하루를 살펴봅니다.


1주차에는 이런 고민을 해소합니다.


  • 🔎 스타트업은 언제부터 데이터에 신경써야 할까요?

  • 🔎 데이터 애널리스트와 사이언티스트의 역할 차이는 무엇인가요?

  • 🔎 데이터 엔지니어가 하는 일은 백엔드 데이터베이스 관리자가 하는 일과 어떻게 다른가요?


다룰 내용


  • ✅ 데이터 팀의 구성과 역할에 대한 이해

  • ✅ 데이터 팀에서 데이터 엔지니어의 역할은


주요 키워드 : 데이터 팀의 역할, 데이터 팀의 구성원(데이터 엔지니어, 데이터 애널리스트, 데이터 사이언티스트)과 역할


[1주차 세션] 2020-10-10(토) 오전 10시~




🗓 2주차


데이터 웨어하우스(Data Warehouse)

AWS Redshift 기반 데이터 웨어하우스 제작해 보고 SQL 클라이언트 툴을 통한 Redshift 사용 실습을 진행해봅니다.


2주차에는 이런 고민을 해소합니다.


  • 🔎 데이터가 얼마 없는 상황에서도 데이터 웨어하우스가 필요할까요?

  • 🔎 데이터 웨어하우스로 사용할 수 있는 데이터베이스로는 무엇이 있나요?

  • 🔎 Redshift, BigQuery, Snowflake과 같은 데이터 웨어하우스들의 각 차이점은 무엇인가요?


다룰 내용


  • ✅ 데이터 엔지니어의 일주일 in 실리콘밸리

  • ✅ 실습환경 소개 (AWS & Docker)

  • ✅ 데이터 웨어하우스 만들기

  • 🧑🏻‍💻 [과제] Python을 활용한 Redshift access


주요 키워드 : ETL (Extract, Transform, Load)/데이터 잡/데이터 파이프라인, 데이터 잡 스케줄러, Airflow, 데이터 웨어하우스 (Redshift, Snowflake, BigQuery)


[2주차 세션] 2020-10-17(토) 오전 10시~




🗓 3주차


데이터 엔지니어링을 위한 SQL

데이터 엔지니어에게 가장 중요한 스킬 셋은 바로 SQL! 통상적으로 개발자가 쓰는 SQL과 비교해 데이터 엔지니어링에서 쓰는 SQL은 무엇이 다른지 알아봅니다. 예제 데이터를 토대로 복잡한 SQL을 사용하는 방법을 학습해봅니다.


3주차에는 이런 고민을 해소합니다.


  • 🔎 데이터 엔지니어로 일하려면 SQL을 어느 정도 수준까지 알아야 하나요?

  • 🔎 데이터 애널리스트나 사이언티스트들이 사용하는 SQL도 복잡한 수준인가요?

  • 🔎 SQL로 할 수 있는 업무의 범위가 얼마나 넓은가요? 결국 코딩을 해야만 가능한 것들이 대부분 아닌가요?


다룰 내용


  • ✅ SQL 소개

  • ✅ 고급 SQL

  • 🧑🏻‍💻 [과제] 조금 더 복잡도가 높은 실제 현업 데이터를 토대로 앞서 실습했던 metrics들을 계산해보기


주요 키워드 : 기초 SQL과 데이터 엔지니어링을 위한 고급 SQL, JOIN, LEFT JOIN, OUTER JOIN, SQL Aggregate functions, UNION, EXCEPT, SQL UDF, Cohort, Redshift


[3주차 세션] 2020-10-24(토) 오전 10시~



🗓 4주차


ETL(Extract, Transform and Load) 작성하기

파이썬으로 간단한 ETL을 작성해 보고, Airflow가 어떻게 도움이 되는지 알아봅니다. 앞서 작성한 간단한 ETL을 Airflow로 변환해 봅니다.


4주차에는 이런 고민을 해소합니다.


  • 🔎 ETL이 구체적으로 무엇인가요?

  • 🔎 Airflow와 같은 프레임워크를 사용하면 뭐가 편해지나요?

  • 🔎 Airflow 대신, FiveTran이나 StitchData와 같은 SaaS를 사용하는 것에 차이가 있나요?


다룰 내용


  • ✅ ETL 개념 및 ETL 작성

  • ✅ Airflow 소개


주요 키워드 : ETL, 데이터 파이프라인, 데이터 잡, 스케줄러, Python, SQL, Airflow, Redshift, Airflow DAG/Task/Operator


[4주차 세션] 2020-10-31(토) 오전 10시~



🗓 5주차


Airflow 심화학습

좀 더 복잡한 데이터를 다뤄보며 Airflow의 여러 기능에 대해 배워봅니다. 써머리 테이블을 직접 만들어 보면서 raw data가 어떻게 이해하기 쉬운 형태로 추상화되는지 확인해봅니다.


5주차에는 이런 고민을 해소합니다.


  • 🔎 Airflow로는 스트리밍 데이터를 처리할 수 있나요?

  • 🔎 DAG가 하나 끝나면 다른 DAG를 트리거하는게 가능한가요?

  • 🔎 SQL만 사용해서 DAG를 만들 수도 있나요?


다룰 내용


  • ✅ Airflow 기반 ETL 작성 (1)

  • ✅ Airflow 기반 ETL 작성(2) : Summary table 만들기


주요 키워드 : Airflow 파라미터 설명, Airflow의 태스크/DAG 실행순서 정의, Airflow troubleshooting


[5주차 세션] 2020-11-7(토) 오전 10시~



🗓 6주차


대시 보드 만들기 및 과정 총 정리

5주차에 만든 써머리 테이블을 Superset을 활용해 시각화해봅니다. 데이터 엔지니어로써 경험할 수 있는 전체 사이클을 경험하면서 데이터 엔지니어 역할에 대해 한 번 더 정리를 해봅니다.


6주차에는 이런 고민을 해소합니다.


  • 🔎 보통 metrics를 대시보드로 시각화할때는 어떻게 하나요?

  • 🔎 BI 혹은 대시보드 툴은 여러 가지가 존재하는데 어떤 툴을 추천하나요?

  • 🔎 데이터 엔지니어링에 대해 기본적인 것을 배웠는데, 다음엔 어떤걸 더 배워야할까요?


다룰 내용


  • ✅ 대시보드 만들기

  • ✅ 과정 정리


주요 키워드 : Visualization, BI (Business Intelligence) Tool, BI Tool 비교, Superset


[6주차 세션] 2020-11-14(토) 오전 10시~



🗓 마지막날


클로징세션

스터디가 공식적으로 종료되는 11/21(토) 오전 10시에 마무리를 위한 시간을 추가적으로 갖습니다.



  • ✅ 데이터 엔지니어링과 관련한 자유로운 질문

  • ✅ 어려웠던 실습들 다시 한 번 풀어보기


[클로징 세션] 2020-11-21(토) 오전 10시~



*세션이 뭐에요?: 스터디의 원활한 진행과, 여러분에게 더 많은 내용을 알려드리기 위해 일주일에 한 시간 정도는 모두 Zoom 이라는 소프트웨어를 활용해 동시에 접속하여 문제 풀이 설명도 듣고 질문 답변도 진행하는 화상 미팅 시간입니다. 유사한 형태로 웨비나(Webinar)를 생각하면 됩니다. 참여하지 못하는 분들을 위해 녹화본이 제공됩니다.





😘 현직 전문가가 이 스터디를 추천해요!


리더가 아닌 다른 현직 전문가도 이 스터디 내용과 진행 방식을 신뢰하고 있어요.






  • 데이터엔지니어 진성주




    Spark나 Hadoop 같은 ‘기술'을 넘어, 데이터 조직을 구성하는 것은 데이터 기반 의사결정 문화를 조성하며 데이터 기반의 제품을 만드는 중요한 과정이기도 합니다. 리더 한기용님은 다양한 산업에서 데이터 팀을 만들고 성장시킨 경험이 있어, 다양한 상황에 놓인 스터디원들의 니즈를 빠르게 포착하고 멘토링 해주실 수 있으리라 생각합니다. 리더의 경험을 다각도로 활용하셔서, 데이터 엔지니어링을 활용해 어떻게 성공적인 데이터 팀을 꾸리고 결과를 만들어낼 수 있을지 인사이트를 얻어가시길 바랍니다.


    진성주 ― 현 Udemy 데이터 엔지니어







  • 데이터엔지니어/애널리스트 이주현




    데이터 관련 분야에 관심이 있는 분이라면, 데이터 엔지니어링에 대한 전반적인 구조와 흐름을 이해하는 것은 상당한 강점이 됩니다. 분석만큼이나 중요한 것이 자동화를 포함한 엔지니어링의 영역이기 때문에, 앞으로 데이터 관련 커리어를 발전시키고 싶은 분이라면 꼭 이 과정에 참여하시는 것을 추천합니다. 리더 한기용님은 실리콘밸리의 여러 회사가 데이터 관련 문제들을 어떻게 해결하고 있는지, 데이터 조직을 어떻게 구성하는 것이 좋은지에 대한 풍부한 경험과 지식이 있기에 여러분에게 많은 도움이 될 것입니다.


    이주현 ― 현 Affirm 데이터 엔지니어/애널리스트











💳 스터디 참여비


6주, 데이터 엔지니어링 스타터 키트


2020년 마지막 기수 모집!

2020-10-10(토) ~ 2020-11-21(토)

스터디 리더 맥스


6주간 이어지는 풍부한 코드리뷰와 미션을 놓치지 마세요.


온라인 카드결제(할부), 무통장 입금 모두 가능합니다.






💵


500,000원


마감되었습니다.



정가 500,000원




우리, 카카오톡 친구해요!




  • 프로그래머스 교육 카카오 채널을 만들었어요. 여기를 눌러, 친구 추가를 해주세요. 신규 교육 과정 소식은 물론 다양한 이벤트 소식까지 가장 먼저 알려드립니다.





후기를 좀 더 확인해본 뒤 등록할까요? 👀


이전 기수 스터디원의 솔직한 후기를 참고하세요.





  • 1기 수강생 윤성준




    현재 데이터 사이언스 직무를 맡고 있는데, 데이터 엔지니어링 역량이 필요해지는 구간이 있어 직접 배워 일을 진행하고자 신청했었습니다. 스터디에 참여하면서 기존에 잘 몰랐거나 어렴풋이 알고 있던 관련 개념들이 명확하게 정리되어 만족스럽습니다. 이론과 실습이 적당히 분배되어 있어 실무에 바로 적용하기 용이하였고, 리더 맥스가 세션마다 짤막히 다뤄준 커리어 관련 본인의 경험담과 솔직한 이야기도 큰 도움이 되었습니다.

    여기에 또 더하여, 실제로 현업에 있지 않는 한 알기 어려운 것들(기술 외적인 부분)까지 알 수 있던 값진 시간이었습니다. 데이터 직군에 종사하고자 하는 분들에게 이 과정을 적극 추천하고 싶습니다.


    윤성준(1기), 바로고/데이터 엔지니어







  • 1기 수강생 손진영




    데이터 관련 직무를 갖겠다고 마음을 먹고 학습을 하던 중 우연히 이 스터디를 발견했습니다. 매주 온라인으로 진행된 세션을 통해 데이터 팀이란 무엇인지부터, 데이터 엔지니어의 정확한 역할, 그리고 필요한 역량셋에 대해 배울 수 있었습니다.

    취준생 입장에서는 다루는 내용이 조금 버거울 수 있는 수준이었지만, 스터디가 진행되는 내내 맥스가 최대한 하나하나 세세하게 설명하려고 노력해 주시고, 중간중간 생기는 의문점에 대해서도 슬랙 등을 통해 편하게 피드백을 받을 수 있어서 결과적으로는 문제없이 스터디를 마칠 수 있었습니다. 스터디 종료 즈음에는 맥스와의 1:1 상담 시간을 통해 앞으로 제가 나아가야 할 길에 대해 조언을 얻을 수 있었고, 방향을 잡는 데에 큰 도움이 되었습니다.


    손진영(1기), 취업준비생







  • 1기 Catherine




    이 스터디는 모든 내용이 체계적으로 실무 상황에 맞춰져 있기 때문에 데이터 분야로 이직을 준비하고 있는 분들, 혹은 그 분야로 가고 싶지만 내게 어떤 포지션이 맞는지 선택하지 못하고 있는 분들에게 유익한 과정이 되리가 생각합니다. 실전에서 직접 부딪혀보고, 실수를 직접 해보지 않으면 알 수 없는 부분들을 실습과 과제를 통해 직접 배울 수 있는 부분이 정말 좋았습니다.

    또 지금까지는 코딩 테스트 준비를 위해 코딩을 연습해왔었는데, 이 스터디를 통해 비단 코딩 테스트 뿐만이 아닌 실무를 위한 코드를 짠다는 것이 무엇인지 고민할 수 있었고, 그 코드에 대한 피드백도 받을 수 있어 코딩 실력 자체도 높아지는 기회였다고 생각합니다.


    Catherine(1기), Clinical Data Analyst







  • 1기 양용성




    이 스터디에 등록하려고 고민하시는 분들이 어떤 회사를 다니고 있는지는 잘 모르지만, 아마 이 과정을 둘러보고 계시다면 데이터 기반으로 더 다양한 판단을 하고 싶어 하는 니즈가 있으리라 생각합니다. 저희 회사도 그러하였습니다. 구글 애널리틱스에서 웹사이트 방문 데이터도 보고, 매출 자료 등을 함께 보며 우리가 더 폭발적인 성장을 이루기 위해 무엇을 해야 하는가 고민하던 차에 이 과정을 알게 되었습니다. 이 과정에 등록하기 이전에도 사내에서 AirFlow 학습을 진행하는 등 다양한 노력을 해보았지만 쉽지 않더군요. 그래서 이 과정을 발견하였을 때 바로 신청하게 되었습니다.

    6주간 진행되는 내용이 사실 녹록지는 않습니다. 업무를 쪼개서 시간을 내야 할 정도로 때로는 난이도가 높기도 했습니다. 하지만 맥스가 6주 내내 열정적으로 세션을 진행해 주었고, 데이터 엔지니어링을 위한 다양한 기술과 현장에서 일어나는 생생한 스토리가 더해져 풍부한 시간이었습니다. 저와 같이 데이터 분석을 위해 어떤 준비를 해야 할지 머리가 복잡한 분들에게 이 과정을 추천해드립니다.

    또한 등록하시는 분들은 본 과정이 진행되는 동안 꼭 밀도 있게 내용에 집중하실 수 있도록 일정 관리를 하셔서 내용을 소화하시길 바라며, 저도 세션 녹화본을 몇 번 복기하며 계속 학습을 지속해나갈 예정입니다. 녹록지 않은 과정일 수 있지만 그만큼 얻어 가는 것이 있을 것입니다.


    양용성(1기), CHEQUER 개발이사







  • 1기 백건호




    막연히 대용량 데이터 처리를 위한 하둡, 스파크에 대해 공부하였었는데, 이번 수업을 통해 저의 데이터 엔지니어로의 로드맵을 설계하고 싶어 참여하게 되었습니다. 전체 시스템 구조를 설계하고, 그에 따른 문제점을 파악하고 데이터 파이프라인을 어떻게 설계하는지 배웠습니다.


    파이프라인 구축을 위한 데이터 웨어하우스 구축, 이용 목적에 따른 데이터베이스 설계, 연결과 ETL 프로세스 스케줄링을 위한 airflow 사용 방법이 가장 도움이 되었습니다. 또한 실제 주어지는 개발 환경(서버)을 통해 직접 실습할 수 있어 더 좋았습니다. 데이터 엔지니어링에 대해 막막했던 부분을 이번 스터디를 통해 길을 잡았습니다.


    백건호(1기), 취업 준비 중







  • 1기 문재헌




    회사에서 혼자 데이터 처리 업무를 담당하다 보니 업무에 한계를 느끼고 있었을 때 스터디를 듣게 되었습니다. 데이터 엔지니어가 어떻게 일하고, 파이프라인은 어떻게 구성하는지 등 맥스의 다양한 경험에서 나온 노하우를 통해서 제가 혼자 하는 일에 대한 점검을 할 수 있어서 좋았습니다. 또 데이터 파이프라인을 구성하여 대시보드까지 확인하는 실습을 통해서 추상적인 데이터 엔지니어링 업무에 대한 생각이 명확해졌고, 각 단계별 협업에 대한 맥스의 경험을 들으면서 데이터 관련 현업 Flow를 경험할 수 있어서 좋았습니다.


    문재헌(1기)







  • 1기 윤승원




    HRD분야에서 리더십, 피플 어낼리틱스와 대학원 통계를 가르치고 있습니다. 분석의 설계와 해석은 익숙하지만 디지털 데이터의 수집과 관리, 전처리 등의 중요성을 느껴 참여하게 되었습니다. 너무나 중요하지만 쉽게 접할 수 없는 내용, 풍부한 경험을 갖춘 오랜 실무경력의 리더, 그리고 현장에서 분석과 가공을 처리하는 개발자분들과 콘텐츠에 대한 실질적 의미와 시나리오들을 배울 수 있어서 좋았습니다. 기술의 적용을 위해서는 조직과 사람들의 문맥적 이해도 필수적인데 이 부분까지 세션마다 다루어 주셔서 감사했습니다.


    윤승원(1기), 텍사스 에이앤엠-커머스 대학교 교수







질문 & 답변