화물운송, 센디에서 간편하게

화물 용달부터 전문 물류까지 센디에서 시작하세요!

센디 이야기/만드는 사람들

Sendy의 Data Engineer는 어떻게 일을 할까요?

meena0 2022. 11. 28. 10:24

Q. 안녕하세요 간략한 자기소개 조금만 부탁드립니다.

유나
 안녕하세요. 센디에서 즐겁게 일하고 있는 데이터 엔지니어 유나라고 합니다. 센디의 플랫폼 개발을 담당하는 제품팀에 소속되어 차주와 화주가 직면하는 문제를 해결하기 위해 데이터 관련 직무를 가지고 예측모델 개발을 담당하고 있습니다
.

데이터 엔지니어 유나
 


Q. 유나 센디에서 데이터 엔지니어로서 어떤 업무를 진행하고 계신가요?


 
유나 센디에서는 고객에게 질 좋은 서비스를 제공하기 위해 여러 방면으로 노력을 하고 있습니다. 데이터의 관점으로 접근하고 데이터를 통해 처리할 수 있는 특정 이슈들을 해결해 나가고 있어요.

서비스를 운영하거나 이슈를 해결해 나가는 과정에서 아직 정리되지 않은 비즈니스 영역의 경우에는 insight를 얻기 위한 분석 작업이 동반되는 경우가 발생하는데요. 여기서 모델의 이해를 돕기 위해 담당 실무자분들과 많은 대화를 나누게 됩니다. 필요에 따라 하루에도 몇 번씩 만남을 가지면서 context를 공유하게 되는데요. 여기서 얻게 된 정보들은 데이터와 밀접한 연관이 있기 때문에 잘 정리하여 Confluence나 Notion에 기록을 하게 됩니다. 그리고 의사결정자나 관련 담당자분과의 커뮤니케이션에 사용을 하는데 때로는 스토리텔링을 준비하여 사내 세미나를 통해 발표하기도 한답니다. 이런 행동들은 비즈니스 모델에 대한 이해도가 높아져 예측모델을 만들때 정말 큰 도움이 돼요.

비즈니스 모델에서 과거 데이터 기반으로 예측이 필요한 영역은 예측 모델을 만들어서 서비스를 제공하기도 합니다. 질 높은 서비스를 제공하기 위해 예측모델은 지속적인 관리를 받게 되는데요. 성능을 측정하기 위한 매트릭 시각화 장치를 직접 구현하여 매일 모니터링을 진행하면서 추세를 확인합니다. 일일 또는 주간 매트릭 수치를 통해 개선이 필요한 부분을 알게되는데요. 밝혀진 지식의 바탕으로 학습데이터를 꾸준히 업데이트하여 모델의 노후화를 방지합니다. 이 과정에서 얻게된 insight는 충분한 검토를 통해 action으로 이어지는데 더 나은 예측모델을 위한 이슈에 반영됩니다.

 


Q. 센디의 데이터 엔지니어는 어떤식으로 소통을 하나요?


유나 데이터 엔지니어는 의사결정자와 PM분과 소통하며 일을 진행합니다. 저 같은 경우 라이언(CTO)과 소미(PM)와 소통이 가장 활발히 이루어지고 있어요. 해결하기 힘든 어려운 이슈는 라이언이 직접 관리하며 진행 하시는데 일의 시작부터 진행 단계별로 새로 발견되는 이슈를 공유하면서 빠른 피드백을 통해 결과물을 만들어내기 시작합니다. 과정에서 많은 것을 알려주시기 때문에 깊이감있는 스킬을 배울 기회가되기도 해요. 또한 센디에는 제품 데이터들을 이용해서 discovery를 담당하시는 PM(Product Manager)분들이 존재합니다. PM분은 각 이슈에 합류하여 실무자와 꼼꼼히 소통하며 일을 진행하는데 사소한 일을제외한 모든 내용을 공유하면서 진행이 됩니다. PM분중에 데이터 관련 쪽은 소미(PM)가 담당을 하는데 설계부터 배포까지 모든 과정을 함께 진행하기 때문에 한 개의 이슈가 발생하더라도 대응 및 처리가 매우 빠른편이며, 파트너로서 서로가 책임감을 가지고 질 높은 완성을 목표로 노력하기 때문에 일 하는 과정도 재미있다고 볼 수 있어요. 둘이서 각자 지닌 스킬역량을 활용해 상대방에게 부족한 부분을 메꾸는 식으로 진행하는데 업무적 진행 외에도 부분적으로 알고 있는 비즈니스 모델의 조각을 서로 맞추며 insight를 얻거나 추가적인 분석을 통해 action을 보완하게 됩니다.

 

 

Q. 업무를 진행하실때 어떤 툴과 프레임워크를 이용하시나요?


유나 개발도구는 Pycharm을 사용하고 있어요. 전처리 자동화에 알고리즘 로직이 중간중간 들어가기 때문에 디버깅이 중요한 상황이라 Pycharm을 통해 대부분의 개발을 진행하고 있습니다. 학습 모델의 경우에는 해당 문제를 해결하기 위해 가장 적합한 모델을 선택하여 사용중이며 신경망의 경우 tensorflow를 주력으로 사용하고 있습니다. 실시간 추론서버의 경우 AWS Sagemaker를 활용하고 있으며 모델성능 metric 시각화 작업에는 django, nextjs를 이용하여 개발을 하고 있습니다.

 


Q. 회사내의 업무환경도 업무진행에 있어 정말 중요한 부분이잖아요업무를 진행하실  어떤 환경이 중요하다고 생각하시나요?


유나 프로세스에 맞는 업무분담이 잘 되어있고 직무에 맞는 업무할당이 이루어져야 한다고 생각합니다. 이런 점에서 센디는 본인의 직무와 관련된 메인 스킬위주로 업무를 진행할 수 있는 환경이 준비되어 있어 만족도가 매우 높습니다. 담당 업무를 진행하면서 본인의 스킬 또한 고도화되어 결론적으로 센디와 본인이 함께 성장할 수 있는 부분은 큰 장점으로 느껴져요. 그리고 업무는 분담되어 있지만 다들 한결같이 "더필요한게 있으면 언제든지 말해주세요." 또는 "더 좋은 의견이 있다면 반영하도록 할게요." 를 많이 듣게 되는데요. 대화를 통해 서로 피드백을 주고 받으며 하나 이상의 가치를 창출하고자 하는데 이는 센디의 서로 존중하는 문화 그리고 다양한 직무를 가진 팀원들을 활발하게 협업하기 가능한게 아닌가 생각이 들어요. 

 



Q. 유나가 생각하시는 센디 사내 문화  가장 자랑하고 싶은 것이 있다면 소개해주세요.


유나 업무시간에 서로의 발전을 격려하면서 좋은 배움을 위해 스스럼없이 말을 걸며 함께 나눔하는 장면을 많이 보게되는데요. 공부하고 싶은 공통된 주제가 생긴다면 여럿이 참여하는 스터디 모임이 즉흥적으로 생겨나요. 공부를 하기 앞서 센디에서는 본인의 성장을 적극적으로 지원해주기 때문에 개인에게는 부담스러운 교재나 인강 비용을 회사에서 해결을 해줘요. 무엇보다 다들 배움에 대한 온도가 높아 주 1회이상 스터디에 참여하고 있답니다. 저 또한 kaggle과 NLP를 주제로한 데이터 분석 관련 스터디를 운영하면서 배움을 나눔하고 있어요. 또한 유쾌한 사람들이 많다보니 흥미롭고 사심 가득한 기획들을 설계하는데 구현 단계에서 다 같이 즐기면서 할 수 있고 동기부여도 매우 잘되어 참여자분들의 집중력과 참여율이 매우 높습니다. 참여 또한 자유롭기 때문에 운영중인 스터디는 데이터 분석이 주제이지만 비개발자 직군분도 있으시고 직무가 아예 다른 프론트개발자분도 함께하고 있어요.


뿐만 아니라 현재 산책을 언제든 편하게 가보자는 목적을 가진 트래킹 동호회 활동을 운영하고 있어요. 장소와 코스를 정하고 이를 모두에게 알리면 누구나 해당 행사에 자율적으로 참여가 가능합니다. 당일에 다 같이 모여 야외 활동을 하면서 함께 사진을 찍고 맛집을 다니는데 본인 일정에 맞추어 자율적으로 참여가 가능하기 때문에 부담이 적고 원하는 코스일때 참여를 하면 되니깐 많은 직원분들이 재미있게 참여를 하고 있습니다.

트래킹 동호회
 


Q. 센디에서의 경험이 앞으로 본인의 성장에 어떤 영향을 줄지 궁금합니다.

유나 센디의 비즈니스 모델은 벤치마킹할 곳이 적어서 복잡하고 어려운 미지의 영역이예요. 그래서 어렵게 내린 의사결정은 리스크를 알 수 없는 새로운 시도라고 볼 수 있어요. 결과에 대한 예측 또한 불가능하죠. 이런점에서 이슈를 해결할때의 action들은 향후의 outcome으로 연결되기 때문에 저희는 늘 더 많은고민을 해야하고 현재의 상황에 최선을 다합니다. 그렇게 얻게된 힘든 피드백은 정말 값진 경험이 되어요. 여기서 센디의 문화는 빠른 실패를 권장합니다. 알수 없던 이슈는 피드백이 모여 정답에 길을 밝혀주는 것처럼 많은 실패를 통해 빠른 성장을 유도합니다. 여기서 얻게 된 피드백은 플랫폼을 성장시키고 직접적인 이슈를 처리한 개인의 성장에도 큰 도움이 되곤 합니다.


Q. 센디의 데이터 엔지니어로서 업무를 진행하기 위해 필요한 역량은 무엇이라고 생각하시나요?


유나 센디의 플랫폼은 빠르게 성장하고 있으며 그에 맞춰 데이터 구조도 실시간으로 변화하고 있어요. 또한 유입되는 데이터양이 많아지면서 지켜보는 입장에서는 늘 새로운 느낌이예요. 센디의 데이터는 성장통을 겪는 아이처럼 하루가 다르게 좋은 데이터가 추가되고 있기 때문에 비즈니스 모델에 대한 세세한 이해가 필요하며 품질 좋은 데이터를 만들기 위해서는 꾸준한 관심을 가지고 데이터를 해석하며 변화에 민감하게 대응해야합니다. 데이터를 알게되면 필요하거나 불필요한 데이터를 구분할 수 있게 되니깐 분석일을 진행할때 문제를 최소화 할 수가 있어요. 데이터에 대한 호기심과 정리정돈을 잘하는 꼼꼼함, 노이즈제거를 위한 비즈니스 모델에 대한 이해 그리고 다양한 스토리지에 대한 겁내지 않는 도전 정신이 있으면 좋을 것 같아요.