본문 바로가기

~2023/데이터 엔지니어로 성장하기

데이터 일을 할 때 기억할 점

반응형

 

 

한기용 강사님이 지난 8년간 데이터 팀을 운영하면서 배웠던 점들 공유.

 

1. 데이터 팀은 영리적으로 매출을 올리는 데 이유가 있다.

 

매출과의 연관성, 비용 절감 측면에서 커뮤니케이션을 해야 한다.

가장 좋은 것이 이런 것들이 눈에 보이게 지표로 만들어서 대시보드로 제공할 수 있으면 최고다.

이것이 리더의 가장 중요한 역할 중 하나이다.

 

중앙 집중이건, 하이브리드건 데이터 팀원들을 위해 모이는 것에 힘써야 한다.

 

2. 데이터 인프라가 첫 번째 스텝이다.

 

스타트업 관점에서는 데이터 분석도 할 수 있고, 데이터 인프라도 할 수 있는

듀얼 플레이가 가능한 사람을 뽑으면 최적이다.

 

고려점은 클라우드이냐, 직접 구성이냐.

가능하면 클라우드가 좋다.

그리고 실시간은 비용이 많이 들기 때문에, 왠만하면 배치로 하는것이 좋다.

 

 

데이터의 품질이 중요하다.

데이터 청소(Garbage Data를 걸러내는 작업)

 

데이터 품질을 올리는 방법.

모니터링을 잘하는 것이 중요하다.

 

중요 데이터(매출 데이터와 같은)에 초점을 맞춰서 품질 유지를 한다.

 

3. 항상 지표를 생각한다.

성장을 하게 해주는 개발자의 좋은 습관이다.

성공의 척도가 되는 숫자가 무엇인지 알고 있고,

내가 이 일을 왜 하는지 나름대로 가설이 있어야 한다.

ex) 이런 일을 하면서 이런 효과가 있고, 이런 지표를 형성할 수 있다.

 

성패의 지표를 계산할 때, 남들도 객관적으로 볼 수 있는 지표여야 한다.

지표가 말이 안되고, 어떻게 계산되는지 불분명하면 사람들은 의심하게 된다.

지표를 보다 객관적이고 투명하게 하는 방법을 생각해보라.

 

4. 가능하면 간단한 솔루션으로 시작해라

(그냥 If 문 볓개 쓰면 될 일을 딥러닝으로 복잡하게 풀지 마라)

 

 

현업에서는 딥러닝보다 Linear Regression, Decision Tree로 푸는 상황들이 더 많다.

 

워터풀 형태로 한 큐에 끝내려고 하지 말고,

점진적으로 한 단계씩 고도화하는 방법이 더 선호된다.

 

OverEngineering 하지마라!

Done is better than perfect

 

이것은 데이터 분야에만 국한되는 것은 아니다.

 

 

반응형