Udemy 데이터 조직의 일주일

 

애자일 개발방법론에 대해서 설명하며 시작한다.

(점진적으로 짧은 개발 사이클을 반복하면서 프로그램을 개선해나가는 개발 방법론)

짧은 사이클 - 스프린트(Sprint) 라고 부름.

 

데이터팀도 애자일 방법론을 따른다.

 

월요일

(그냥 월요일은 아니고, 스프린트가 새로 시작하는 월요일로 가정)

 

자기가 한 일을 팀원들에게 비주얼하게 데모한다.

잘됬던 일들, 잘되지 못한 일들 회고.

다시 생각해보아야 할 논의할 포인트 회고.

이런 회고 미팅은 팀장이 혼자 하지 않고, 팀원들끼리 한 명씩 돌아가면서 했다.

 

이후 논의할 액션 아이템을 찾아내는 것이 중요하다.

(기존 백로그에 있는 스프린트 중에 이번주에 할 일은 무엇인지 계획)

백로그 - 이미 몇몇 사람들이 중요하다고 계획해놓은 작업들.

 

 

데이터 파이프라인이 많이 생기면, ETL 들도 많아진다.

그리고 항상 실패하는 ETL들도 생겨난다.

Q. 파이프라인이 많아지면서 ETL관련 이슈가 많아진다고 설명해주셨는데,
이와 관련해서 대체로 발생하는 이슈가 뭐가 있는지 궁금합니다.

 

1> ETL은 기본적으로 외부 데이터 소스로부터 데이터를 읽어오는 경우가 대부분입니다. 그 경우 외부 소스에 문제가 생기면 딱히 대응방법이 없습니다. 대부분 문제가 해결될 때까지 기다리는 방법 이외에 다른 해법이 없습니다. 이 문제는 ETL 수에 비례해서 발생하게 됩니다.
2> 앞서 생긴 이슈들이 정말로 중요한 데이터를 읽어오는 ETL에서 발생했고 그 데이터를 기반으로 동작하는 다른 ETL이 뒤에 기다리고 있다면 문제는 더 심각해집니다. 예를 들어 마케팅 캠페인의 성과를 측정하는데 필요한 중요 데이터를 읽어오는 ETL에 문제가 발생하면 캠페인 성과를 계산하는 데이터 파이프라인이 실행이 안되게 되고 마케팅 부서로부터는 언제 성과 리포트가 나오냐는 불평이 쏟아지게 됩니다.

 

- 데이터 ETL 관련 이슈와 다양한 데이터 관련 질문을 맡을 사람들을 별도로 지정

나머지 사람들은 자기 일에 포커스를 맡는다. 한사람만 조금 고생(온콜 엔지니어)

 

이후 사후보고를 함.

 

 

 

 

JIRA - 인터페이스가 구닥다리 느낌

ClickUp - Notion 비슷한 느낌으로 애자일 스프린트 진행 가능하다.

 

이런 과정을 매일매일 스탠드업에서 팀원들에게 공유한다.

 

 

화요일

 

팀 내에서 미팅을 하는 날, 미팅을 하면 안되는 날을 정하면 조금 도움이 될 수 있다.

팀원들이 집중을 할 수 있기 때문이다.

 

수,목요일

 

 

코로나 펜데믹 이후로는 비디오콜이 큰 의미가 없다.

왠만한 것들은 다 스탠드업도 비디오콜로 하기 때문이다.

 

- 대시보드는 보며 중요 KPI 지표에 변화를 살펴보는 시간.

- A/B 테스트 중이 머신러닝 모델이 있으면 성능 리뷰 및 공유.(기존 기능과 비교) <- 중요

ex) 이 모델이 현재 5%의 사용자에게 노출되어 있는데 확대할 것인지. 아니면 중단할 것인지.)

 

금요일

 

ETL 실패 이유, 성공 이유 리뷰.

머신러닝 모델 개발 상황, A/B 테스트 진행 상황 공유

 

팀 내 중요 인력들이 행복하게 지내는지 점검.

주간 사고가 있으면 내용 디테일하게 미팅.

 

시간이 남으면 팀별로 돌아가면서 팀 상황 공유.