11 minute read

혹시 코딩 할 줄 아세요?

2019년에 이직했을 당시 회사의 개발자 동료에게 들어본 말입니다. 당시 저는 적당한 규모의 스타트업의 첫 번째 데이터 엔지니어로 입사했었는데, 아무래도 데이터 엔지니어라는 포지션이 생소하고 어떤 일을 하는지 잘 알려져 있지 않아서 그런 것 같다고 생각했지만..

3년이 흐른 지금도 데이터 엔지니어라는 포지션의 정의, 그리고 도대체 회사에서 어떤 일을 하는지에 대한 것들이 다른 직군 분들이 보시기에 정확히 정리되진 않은 것 같습니다. (심지어는 데이터 엔지니어들 사이에서도요!)

이런 생각을 하게된 계기는 최근에 블라인드 게시글 중 데이터 엔지니어를 개발자로 취급해야 하나요? 라는 글을 보며 문득 떠오른 게, 만약 저한테 데이터 엔지니어는 무슨 일을 하나요? 하고 물어본다고 해도 한 문장으로 설명할 수가 없겠더라고요. 그래서 이 기회에 2022년의 데이터 엔지니어란 무엇이고, 어떤 일을 하며, 최근의 트렌드가 무엇인지 한 번 정리해보는 시간을 가져보려 합니다.

데이터 엔지니어 in 스타트업

설명하기에 앞서 먼저 데이터 엔지니어를 채용하고 있는 유명 스타트업들의 채용 공고문을 한 번 살펴보겠습니다.

쏘카 데이터 엔지니어 채용 공고 쏘카 데이터 엔지니어 채용 공고 몰로코 데이터 엔지니어 채용 공고 몰로코 데이터 엔지니어 채용 공고 토스증권 데이터 엔지니어 채용 공고 토스증권 데이터 엔지니어 채용 공고 카카오스타일 데이터 엔지니어 채용 공고 카카오스타일 데이터 엔지니어 채용 공고

순서대로 쏘카, 몰로코, 토스증권, 카카오스타일의 데이터 엔지니어 채용 공고인데요. 채용 공고를 보고 데이터 엔지니어가 무엇인지 감이 오시나요? 공통적으로 등장하는 항목들을 조금 정리해보면,

  • 서비스의 다양한 곳에서 발생하는 정형/비정형 데이터를 수집하기 위한 배치/실시간 파이프라인 구축 및 운영
  • 데이터 레이크/데이터 웨어하우스 등 전사 인원들의 원활한 데이터 분석을 위한 데이터 플랫폼 운영
  • 대용량의 데이터 가공을 통해 실제 서비스 혹은 분석에 사용될 수 있는 데이터 마트 구축
  • 데이터 기반 서비스 제공 및 서빙 - 관련 *Ops 또한 담당

이런 내용들이 공통적으로 등장하는 것을 확인할 수 있습니다. 각 내용들에 대해서 제가 데이터 엔지니어로 일할 때의 경험을 보태서 설명해보도록 하겠습니다.

데이터 엔지니어의 업무

  • 서비스의 다양한 곳에서 발생하는 정형/비정형 데이터를 수집하기 위한 배치/실시간 파이프라인 구축 및 운영
    • 웹, 앱 등의 클라이언트 환경, DB나 서버같은 내부 백엔드 환경, 그리고 third-party tool (주로 마케팅 툴 - Facebook Ad, Appsflyer, …) 에서 발생하는 데이터들을 ETL/ELT
    • 이를 위해 batch/streaming pipeline을 구성하고, data schema를 정의하고, ETL/ELT를 위해 분산 컴퓨팅 프레임워크 (Spark, Presto, Athena, BigQuery 등) 를 사용합니다.
  • 데이터 레이크/데이터 웨어하우스 등 전사 인원들의 원활한 데이터 분석을 위한 데이터 플랫폼 운영
    • 클라우드를 활용하지 않는 환경에서는 Hadoop + ecosystem (Spark, Hive, Presto 등) 을 주로 사용하고, 클라우드를 활용하는 환경에서는 AWS EMR, Athena, Glue, GCP BigQuery, Dataproc 등의 managed data service를 활용해서 데이터 플랫폼을 구축합니다.
    • Snowflake, Databricks 등의 상용 SaaS 플레이어들도 존재하고 있고, 실제로 사용하는 회사도 많습니다. (스타트업보단 규모가 좀 더 큰 회사들이 많이 사용합니다)
  • 대용량의 데이터 가공을 통해 실제 서비스 혹은 분석에 사용될 수 있는 데이터 마트 구축
    • 전사 고객들이 핵심 데이터에 쉽고 빠르게 접근할 수 있어야 하기 때문에, 원천 데이터에서 다양한 추상화를 거쳐 주로 데이터 마트라고 부르는 가공 데이터를 만듭니다.
    • 데이터 마트에는 매출 통계와 같은 단순 분석용 데이터부터 결제/정산/쿠폰/멤버십과 같은 고객 데이터, 추천 모델 생성에 사용되는 데이터, 추천 모델이 만들어낸 데이터 등 실제 고객들에게 전달되는 데이터들 또한 존재할 수 있습니다.
    • 조회를 위한 BI tool (Tableau, Redash, Superset, Jupyter, Zeppelin, …) 도 주로 데이터 엔지니어들이 운영하며, 요새는 누구나 ad-hoc하게 분석할 수 있게 해주는 Amplitude와 같은 SaaS도 운영하곤 합니다.
  • 데이터 기반 서비스 제공 및 서빙 - 관련 *Ops 또한 담당
    • 위에 언급된 업무들을 하기 위해서는 인프라를 운영하는 것이 거의 필수적인데, 보통은 데이터 엔지니어들이 데이터 관련 서비스의 DevOps (배포, 모니터링 등) 를 주요 역할 중 하나로 가져가는 경우가 많습니다.
    • 왜냐면 DevOps 엔지니어분들이 데이터 환경까지 봐주시기엔 바쁘시기도 하고, 데이터 환경 자체가 production 환경과는 현저하게 격리된 경우가 많으며 또한 데이터 관련 배포는 실제 서비스의 배포와는 다른 주기로 이뤄지는 경우도 많기 때문입니다.
    • 또한 AB 테스트, 추천 결과 서빙 등 데이터 기반 서비스를 production으로 내보내야 할 때는 개발부터 배포까지 E2E로 진행하기도 하고, DataOps, MLOps 같은 것들이 부상하면서 관련된 일도 필요하다면 데이터 엔지니어들이 같이 수행하기도 합니다.

위와 같이 데이터 엔지니어의 업무를 어느정도 정리해보았는데요. 그렇다면 이러한 업무를 수행하기 위해서 갖춰야 할 능력들은 무엇이 있을까요? 저의 주관적인 경험을 바탕으로 데이터 엔지니어가 갖춰야 할, 혹은 갖추면 좋을 법한 기술들에 대해 정리해보았습니다.

데이터 엔지니어가 갖춰야 할 기술

Tech skills

  • 분산 처리에 대한 기본적인 이해
    • 데이터 엔지니어들이 주로 사용하는 고수준 프레임워크인 Spark, Athena (Presto), BigQuery, Hive 등은 전부 분산 컴퓨팅을 바탕으로 만들어진 프레임워크들이고, 만약 실무에서 분산 처리를 하지 않더라도 데이터의 규모가 늘어나면 자연스럽게 분산/병렬 처리를 해야만 데이터를 원활하게 처리할 수 있기 때문에, 기본적으로 분산 처리에 대한 이해가 있다면, 그리고 이러한 프레임워크들이 어떻게 동작하는지 알면 좋은 점이 생각보다 많습니다.
    • 데이터가 매우 많은 상황에서는 프레임워크가 제공하는 연산 하나, 코드 한 줄이 미치는 영향이 생각보다 클 수 있기 때문입니다. 실제로 코드 몇 줄을 바꿔주는 것으로 컴퓨팅 용량을 아주 많이 차지하는 작업을 크게 개선할 수 있기도 하고요. (예를 들어 groupByKey 같은 연산을 다른 연산으로 바꿀 수 있다면…)
  • DB/SQL에 대한 이해
    • 데이터 엔지니어가 뛰노는 환경들 (Athena, BigQuery 등) 은 일종의 데이터베이스입니다. 일반적으로 서비스에 활용되는 RDB/NoSQL DB와 다른 부분도 많고, 공유하는 부분도 많습니다. 그렇기에 DB에 대한 일반적인 상식을 많이 알면 알수록, 특히 위에서 언급한 직접 운용하고 있는 데이터 플랫폼의 기반을 알면 알수록 production 환경에서 플랫폼을 운영하기 수월해집니다.
    • 또한 요즘에는 정말 많은 경우에 데이터 조회, 심지어는 빅데이터 플랫폼에서는 약간 생소할 수도 있는 개념인 삽입/삭제까지 SQL을 이용해서 하기 때문에 SQL을 매우 잘 다루는 것이 더더욱 중요해졌고, 더 나아가 내가 만들어낸 쿼리가 실제로 어떻게 동작하는지 이해할 수 있다면 SQL 관련 업무, 그리고 주변 동료들이 SQL을 사용하면서 어려움을 겪을 때 좋은 해결책을 제시해줄 수 있습니다.
  • 프로그래밍
    • 데이터 엔지니어가 업무를 잘 하기 위해서는 최소 한 개 이상의 프로그래밍 언어에 아주 능숙해야하며, 또한 여러 도구들을 운용하려면 도구에 맞는 언어를 다룰 수 있어야 합니다.
      • 예를 들어 Airflow와 같은 workflow engine은 Python으로
      • Spark와 같은 분산 처리 프레임워크 활용은 Scala로
      • 밥먹듯이 하는 데이터 조회/처리는 SQL로
      • production 데이터 서빙 백엔드 서버를 구축할 때는 고성능 API 서버를 만들 수 있는 Go 등
  • (클라우드) 인프라에 대한 이해
    • 데이터 플랫폼만을 전담하는 DevOps 엔지니어를 채용하는 회사는 잘 없습니다. 그렇기에 데이터 엔지니어들은 인프라 관리에 익숙해야 하고, 클라우드를 잘 활용해서 인프라를 잘 운영할 수 있어야 합니다. 만약 클라우드를 활용하지 않는 회사라면 on-premise 인프라 운영 능력이 필요할 수 있습니다.
      • 클라우드 managed service 운영, 데이터 서비스용 CI/CD 파이프라인 구축, Kubernetes 운영, 모니터링, on-premise 환경이라면 CDH 등의 Hadoop 배포판 운영 등
    • 데이터 엔지니어가 DevOps 전문가가 될 필요는 없지만 (되기도 어렵고), 적어도 DevOps 엔지니어 분들과 원활한 협업을 할 수 있는 수준은 되어야 인프라 문제를 스스로 해결하며 실무를 진행할 수 있습니다.

(특히 스타트업에서 정말 중요한) Soft skills

  • 서비스에 대한 이해
    • 전사 조직이 어떤 방향으로 나아가야 할지를 데이터 엔지니어가 제시할 수는 없지만, 일을 함께하는 동료들과 함께 서비스를 개선하기 위해서는 어떤 데이터를 보아야할지 의견을 모으고, 적절한 지표가 설정되면 해당하는 데이터를 모두가 잘 볼 수 있도록 전사적인 흐름을 만들어내야 합니다. 이를 위해서는 어느정도 서비스에 대해 이해하고 있어야 합니다.
    • 특히 이는 작은 규모의 스타트업, 혹은 데이터 문화가 잘 조성되지 않은 회사에서는 더욱 중요한 기술입니다. 데이터 문화가 제대로 조성되어있지 않은 환경에서는 데이터를 제대로 보기 어렵고, 데이터를 볼 필요성을 느끼지 못할 수도 있으며 오히려 이상한 데이터를 보며 잘못된 의사결정을 만들어내는 단초가 될 수 있습니다.
    • 전사적인 지표 설정 과정이나 데이터 문화를 만들어나가는 과정에 혹시 데이터 엔지니어가 개입되지 않더라도, 적어도 전사적인 차원에서 어떤 데이터를 수집해야하고, 장기적인 관점에서 어떤 데이터가 더 수집되면 현재 가지고 있는 데이터들을 더 잘 활용할 수 있게 되는지 끊임없이 고민해야합니다.
    • 그렇지 않으면 분명 데이터를 수집한지 몇 개월 지나지 않아서 이때 이런 데이터를 추가로 수집했었더라면 좋았을 텐데.. (데이터를 수집할 수 있는 시기를 놓치면 다시는 그 데이터를 얻지 못할 수 있습니다) 혹은 그때 schema를 잘 정의했더라면 이런 문제가 생기지 않았을 텐데.. 하는 후회가 밀려올 수 있습니다.
  • 뛰어난 커뮤니케이션 스킬
    • 전사적으로 데이터 엔지니어가 무엇을 해야하는지 잘 정의되어있고, 데이터 엔지니어가 왜 필요한지 알며, 데이터 엔지니어가 어떠한 문제를 해결해줄지 알고 있는 조직은 (특히 스타트업일수록) 정말로 많지 않습니다. 혹은 전사적으로 이러한 필요성을 느낀다고 하더라도, 나와 함께 일을 하는 동료들은 이러한 사실을 모를 수도 있습니다.
    • 데이터 엔지니어, 더 나아가서는 데이터 조직은 협업을 하지 않고서는 전사적으로 크나큰 변화를 만들기 어려운 직군이라고 생각합니다. 데이터 엔지니어가 일을 잘 하기 위해서는 전사 동료, 혹은 팀들이 어떤 문제를 해결하고 싶은지 파악하고, 그 중 데이터를 통해 효과적으로 해결할 수 있는 문제가 무엇인지 선별하여 좋은 해결책을 제시할 수 있어야 한다고 생각합니다.
    • 이런 협업을 잘 하려면 당연하게도 커뮤니케이션 스킬이 뛰어나면 뛰어날수록 좋습니다. 특히, 나와 같이 일하는 동료들, 혹은 회사가 데이터 엔지니어나 데이터 조직이 무슨 일을 하는지 잘 모르는 단계에서는 이를 위해 사내의 세일즈 조직처럼 움직여야 할 수도 있습니다.
  • Time to market을 지키는 능력
    • 데이터 엔지니어를 비롯한 많은 엔지니어들은 종종 아주 어렵고 한 번에 해결하기 어려우며 해결까지 오랜 시간이 걸리는 문제를 푸는 경우가 있습니다. 또한 스타트업일수록 이런 문제를 푸는 시간은 많이 주어지지 않고요. 그렇기에 일을 적절하게 쪼개고, 마일스톤에 맞춰 배포할 수 있는 능력이 필요합니다.
    • 예를 들어 스타트업에서 추천 시스템을 만드는 경우 완벽한 추천 시스템을 1년동안 만들어내는 것보다 (물론 1년을 다 사용한다고 해도 대부분 완벽하게 만들 수도 없습니다) 2주 혹은 한 달정도의 주기로 시스템을 만들고 유저 피드백을 받거나 알고리즘을 바꾸면서 개선하는 것이 더욱 나은 방법일 것입니다.
    • 특히 시시각각이 중요한 B2C 서비스의 경우 이 능력이 더욱 중요합니다. 예를 들어, 경쟁사보다 좋은 서비스를 빨리 내놓는 것은 직무를 막론하고 중요한 능력입니다.
  • Time to market을 지키지 않을 능력
    • 하지만 때로는 무리하게, 혹은 프로토타입을 이용해 time to market을 지키는 것보다 시간을 가지고 수행하는 것이 좋을 때도 있습니다. (너무 당연한 말인가요?)
    • 예를 들어 서비스에서 계속 사용할 데이터 플랫폼을 구축하는데 오래 걸린다는 단순한 이유만으로 RDB 한 대를 띄워놓고 데이터를 몰아넣는 것보단, 장기적인 관점에서 데이터 플랫폼을 구축하는 것이 더욱 이득이 된다고 판단한다면 이를 설득하여 실행하는 능력도 있어야 합니다.
    • 이를 위해서는 데이터 도메인에 대한 전문성이 있어야 하고, 이를 바탕으로 나와 같이 일하는 동료들을 설득할 수 있어야 합니다.

사실 위에 적은 내용이 비단 데이터 엔지니어에게만 해당되는 내용은 아니긴 합니다. 다만 데이터 엔지니어의 경우 이러한 능력을 지니는 것이 다른 개발 직무에 비해 중요하다고 생각하는데, 왜냐하면 본인의 의지에 따라, 혹은 능력 여하에 따라 회사에서 데이터 플랫폼만 운영하는 데이터 엔지니어가 될 수도 있고, 전사적으로 데이터 관련 문화를 만들고, 서비스에 영향을 줄 수 있는 데이터를 만드는 데이터 엔지니어가 될 수도 있기 때문입니다. (물론 요즘에는 데이터 엔지니어도 포지션이 점점 세부적으로 변해가고 있기 때문에, 이러한 예는 데이터 문화가 잘 조성되지 않은 작은 스타트업에 적합하다는 사실도 같이 말씀드리고 싶습니다. 어떤 규모에 도달하면 데이터 플랫폼만 운영하는 것도 굉장히 도전적인 일로 변합니다. 특히 여러가지 비즈니스 제약사항이 있다면 더더욱 그렇습니다)

위에 적은 내용만 보면 모든 회사에 데이터 엔지니어가 필수적으로 있어야 할 것 같은데요. 하지만 아쉽게도 모든 회사가 데이터 엔지니어를 필요로 하진 않습니다. (혹은, 데이터 엔지니어를 중요하게 채용할 필요는 없습니다)

그렇다면 데이터 엔지니어는 어떤 회사에 가면 좋을까요? 제 생각은 다음과 같습니다.

데이터 엔지니어가 활약할 수 있는 회사

  • 고객이 명확히 존재하는 회사 (주로 B2C 회사)
    • 고객이 존재하는 회사는 항상 서비스에 진입하는 고객의 모든 데이터를 궁금해합니다. 데이터 엔지니어를 비롯한 데이터 조직이 가장 신나게 활약할 수 있는 회사입니다.
  • 데이터 기술 플랫폼을 만드는 회사, 혹은 기술 조직
    • 다양한 목적으로 데이터 기술 플랫폼을 만드는 회사나 조직이 있습니다. 특히, 대기업의 경우 사내에서 사용하는 도구, 기술, 프레임워크들이 꽤나 많고 비중있게 유지보수되기도 합니다. 이때, 도메인 지식을 가진 데이터 엔지니어들은 소프트웨어 엔지니어처럼 활약할 수 있는 부분이 많다고 생각합니다.

다만 위의 항목 중 어느 것에도 해당하지 않는 회사라면, 데이터 엔지니어를 비롯한 데이터 직군이 활약할 여지가 상대적으로 적다고 생각합니다. 데이터는 주의깊게 봐줄 사람이 있을 때만 의미가 있고, 어떤 회사는 이런 데이터를 보는 것이 중요하지 않을 수 있으며, 심지어는 데이터를 볼 필요가 없는 비즈니스거나 수집할 데이터가 없을 수도 있기 때문입니다.

지금까지는 주로 스타트업 데이터 엔지니어의 역할에 대해 살펴봤습니다. 그렇다면 좀 더 규모가 큰 회사의 데이터 엔지니어는 어떤 일을 할까요? (위에서도 그랬지만 여기서부터는 더욱 더 순수한 저의 생각입니다)

데이터 엔지니어 in 대기업

네이버 클라우드 빅데이터 플랫폼 분석 엔지니어 채용 공고 네이버 클라우드 빅데이터 플랫폼 분석 엔지니어 채용 공고 네이버 CLOVA AI 머신러닝을 위한 대규모 데이터 플랫폼 구축 엔지니어 채용 공고 네이버 CLOVA AI 머신러닝을 위한 대규모 데이터 플랫폼 구축 엔지니어 채용 공고 카카오 데이터실 데이터 엔지니어 채용 공고 카카오 데이터실 데이터 엔지니어 채용 공고 라인 Ads 데이터 엔지니어 채용 공고 라인 Ads 데이터 엔지니어 채용 공고 현대자동차 AIRS 모빌리티 서비스 데이터 개발자 채용 공고 현대자동차 AIRS 모빌리티 서비스 데이터 개발자 채용 공고

순서대로 우리나라의 대표적인 IT 대기업으로 분류되는 네이버, 카카오, 라인 그리고 현대자동차 AIRS의 채용 공고를 가져왔습니다. 전반적으로 살펴보았을 때 느낀 점은 다음과 같습니다.

대기업 데이터 엔지니어 공고의 특징

  • 데이터 엔지니어가 무슨 역할을 하는지 좀 더 명확하게 정의되어 있습니다. 스타트업의 데이터 엔지니어는 특히 회사의 규모가 작을수록, 데이터 문화가 잘 조성되지 않았을수록 전사에 영향력을 주어야 하는 경우가 있지만, 대기업의 데이터 엔지니어는 전사에 영향을 주기보단 소속되어 있는 팀과 조직에 영향력을 주어야 한다는 느낌을 받았습니다. (왜냐하면 이미 전문 데이터 조직에서 일을 하기 때문일 것입니다)
  • 즉, 스타트업 데이터 엔지니어가 generalist에 가깝게 업무를 진행하는 경우가 많다면, 반대로 대기업 데이터 엔지니어는 조금 더 특정한 기술 도메인의 specialist 처럼 일을 해야한다는 느낌입니다.
  • 그래서 이런 대기업 기술 조직의 경우 사용하는 기술의 숫자가 스타트업에 비해 적더라도 각 기술을 좀 더 깊게 봐야한다던가, 그리고 좀 더 긴 호흡으로 기술을 고도화하는 경우가 더 많을 것 같다는 생각입니다. 그도 그럴 것이, 스타트업에서는 그런 기술 고도화가 필요하지 않을 수 있습니다. 예를 들어 우리나라에서 네이버, 카카오만큼의 트래픽과 데이터를 소화하는 곳은 많지 않고, 더욱 큰 데이터를 처리하는 곳에서는 좀 더 튼튼한 기술들이 필요할 테니까요.

데이터 엔지니어 in 미국

마지막으로 미국 유망 기업들의 채용 공고를 살펴보는 시간을 갖도록 하겠습니다.

Airbnb 데이터 엔지니어 채용 공고 Airbnb 데이터 엔지니어 채용 공고 Uber 빅데이터 엔지니어 채용 공고 Uber 빅데이터 엔지니어 채용 공고 Meta 데이터 엔지니어 채용 공고 Meta 데이터 엔지니어 채용 공고 Netflix 데이터 플랫폼 엔지니어 채용 공고 Netflix 데이터 플랫폼 엔지니어 채용 공고 Google 클라우드 데이터 엔지니어 채용 공고 Google 클라우드 데이터 엔지니어 채용 공고

전반적으로 한국의 채용 공고와 큰 차이점이 없는 것 같지만, 몇 가지 느낀 점을 정리해보면 다음과 같습니다.

미국 데이터 엔지니어 공고의 특징

  • large scale, high performance, exteremly efficient and reliable, high complex 등 기술적 장벽에 대해 이야기하고 있는 공고가 많았습니다. 아무래도 전세계를 대상으로 서비스를 하고 있는 회사이니 그럴만 한 것 같습니다.
  • 그러면서도 동시에 커뮤니케이션 능력, 비즈니스 사고 등 soft skill에 대한 요구사항도 눈에 띄었습니다. (욕심이 많네요..)
  • 데이터 엔지니어 라는 넓은 범위의 직무를 지칭하기보단, 데이터 플랫폼 엔지니어 등의 구체적인 직무를 제시하는게 눈에 띄었습니다. (이는 몇몇 한국 기업에서도 사용하고 있는 직무 분류입니다. 예를 들어 토스, 데브시스터즈 등)
    • 즉, 데이터 엔지니어 중에서도 데이터 플랫폼 엔지니어는 무엇보다도 플랫폼 기술 지식이 중요할 것으로 예상됩니다.
  • 또한, 똑같은 데이터 엔지니어 포지션이라도 어떤 팀에 속하냐에 따라 업무 범위나 필요로 하는 기술이 달라지는 것을 볼 수 있었습니다.
    • 예를 들어, Google의 경우 Data Engineer, Core Infrastructure 라는 포지션은 아주 높은 수준의 기술 이해도를 요구했습니다. 그러나 Data Engineer, Youtube 포지션은 기술 이해도와 더불어 비즈니스 요구사항을 처리하는 것과 관련된 내용도 찾아볼 수 있었습니다.

한국과 미국의 채용 공고들을 살펴보니, 어느정도 데이터 엔지니어 라는 것이 무엇인지 좀 더 감이 오는 느낌입니다.

마무리

여기까지 읽으셨다면 이제 데이터 엔지니어가 무슨 일을 하는 사람들이고, 회사에서 어떤 역할을 가지고 있으며, 어떠한 기술들을 가지고 있는지 어느정도 파악이 완료되신 상태일 겁니다. (그랬으면 좋겠네요…)

보면서 느끼셨겠지만, 데이터 엔지니어의 업무 범위는 생각보다 넓고 다양하며, 또 회사의 산업군마다, 규모마다 데이터 엔지니어에게 요구하는 기술들이 꽤나 차이나기도 합니다. 심지어는 필요에 따라 데이터 엔지니어라는 포지션을 좀 더 잘게 쪼개서 뽑기도 하고요.

예를 들어 어떤 포지션은 좀 더 비즈니스 문제 해결에 초점이 맞춰진 포지션도 있고, 반면에 또 다른 회사의 포지션은 기술적인 문제를 중점적으로 해결해야하는 포지션도 있는 것 같습니다.

미래에는 데이터 엔지니어가 어떻게 변할지 저도 잘은 모르겠습니다만, 각자가 가진 역량에 따라 커리어 패스를 잘 설정하는 것이 어느 때보다 중요한 시점인 것 같습니다.

최대한 자세하게 기술하려고 했지만 오랜만에 글을 쓰다보니 군데군데 빠진 내용이나 틀린 내용이 있을텐데, 댓글로 지적해주시면 반영해보도록 하겠습니다.

긴 글 읽어주셔서 감사합니다!

Categories:

Updated:

Comments