도서 소개
오늘날 데이터 관리는 대격변을 겪고 있다. AI, 클라우드, 에코시스템 연결성, 마이크로서비스, 오픈 데이터, 서비스형 소프트웨어, 새로운 소프트웨어 전달 모델 등의 변화로 인해 데이터 관리 실행 방식의 패러다임은 전면적으로 바뀌고 있다. 항상 유효하면서도 언제든 확장 가능한 데이터 관리 체계를 구축하는 방법을 알려주는 책이다. 또한, 데이터 메시와 데이터 패브릭 같은 새로운 개념을 명확히 정리해주며, 차세대 데이터 아키텍처에 대해서도 전망해본다.
조직의 경영진, 아키텍트와 엔지니어, 분석 팀, 컴플라이언스 및 거버넌스 담당자가 각자의 필요에 맞게 데이터 관리를 구체화하는 방법을 알려주며, 최신 정보를 빠르게 파악할 수 있도록 큰 그림부터 원칙, 통찰, 모범 사례, 패턴까지 상세히 제시한다.
출판사 리뷰
대규모 데이터 확장에 따른 엔터프라이즈 데이터 아키텍처 운영과 관리 전략!
모던 데이터 관리가 필요한 기업이라면 규모나 분야와 상관없이 반드시 소장하고 필독해야 할 책!
오늘날 데이터 관리는 대격변을 겪고 있다. AI, 클라우드, 에코시스템 연결성, 마이크로서비스, 오픈 데이터, 서비스형 소프트웨어, 새로운 소프트웨어 전달 모델 등의 변화로 인해 데이터 관리 실행 방식의 패러다임은 전면적으로 바뀌고 있다. 분산화는 피할 수 없는 미래라는 사실을 모든 조직이나 기업은 직시해야 한다.
이 책은 항상 유효하면서도 언제든 확장 가능한 데이터 관리 체계를 구축하는 방법을 알려준다. 또한, 데이터 메시와 데이터 패브릭 같은 새로운 개념을 명확히 정리해주며, 차세대 데이터 아키텍처에 대해서도 전망해본다.
조직의 경영진, 아키텍트와 엔지니어, 분석 팀, 컴플라이언스 및 거버넌스 담당자가 각자의 필요에 맞게 데이터 관리를 구체화하는 방법을 알려주며, 최신 정보를 빠르게 파악할 수 있도록 큰 그림부터 원칙, 통찰, 모범 사례, 패턴까지 상세히 제시한다.
| 이 책에서 다루는 내용 |
o 규제 요구사항, 개인정보보호 문제, 데이터 메시와 데이터 패브릭 등 최신 데이터 관리에 관한 최신 트렌드
o 클라우드 데이터 랜딩 존, 도메인 주도 설계(DDD), 데이터 프로덕트 설계 등 데이터 아키텍처 구축 방법과 노하우
o 데이터 거버넌스와 보안, 마스터 데이터 관리, 셀프서비스 데이터 마켓플레이스, 메타데이터의 중요성
| 이 책의 대상 독자 |
- 경영진 및 아키텍트: 최고데이터책임자(CDO), 최고기술책임자(CTO), 수석 아키텍트, 엔터프라이즈 아키텍트, 수석 데이터 아키텍트
- 분석 팀: 데이터 과학자, 데이터 엔지니어, 데이터 분석가, 분석 총괄 책임자
- 개발 팀: 데이터 엔지니어, 데이터 과학자, 비즈니스 인텔리전스 엔지니어, 데이터 모델러 및 설계자, 기타 데이터 전문가
- 컴플라이언스 및 거버넌스 팀: 최고정보보안책임자(CISO), 데이터보호책임자, 정보보안 분석가, 규제 준수 책임자, 데이터 스튜어드, 비즈니스 분석가
| 이 책의 구성 |
1장에서는 데이터 관리가 무엇인지, 어떻게 변화하고 있는지, 그리고 디지털 전환에 어떤 영향을 미치는지를 맥락적 관점에서 살펴본다. 그리고 최근 몇 년간의 현황과 데이터 전략 수립 지침을 제공한다. 2장에서는 대규모 데이터 관리의 세부사항을 다룬다. 데이터 도메인을 활용해 대규모 데이터 환경을 관리하는 방법론으로서 도메인 주도 설계(DDD)와 비즈니스 아키텍처를 살펴본다. 3장에서는 데이터 아키텍처를 구조화하고 데이터 도메인과 일치시키는 방법으로서, 토폴로지와 데이터 랜딩 존에 초점을 맞춘다.
4장에서는 데이터 프로덕트, 명령 쿼리 책임 분리(CQRS) 및 이를 가이드하는 원칙에 초점을 맞추고, 솔루션 설계 사례를 제시한다. 5장에서는 API 관리를, 6장에서는 이벤트 및 알림 관리를 살펴본다. 7장에서는 이제까지의 모든 내용에 아키텍처 가이드와 실제 경험을 곁들이고, 하나로 묶어 포괄적으로 살펴본다.
8장에서는 급변하는 시대에도 장기적으로 실용적이고 지속 가능한 방식으로 데이터 거버넌스와 보안에 접근하는 방법을 살펴본다. 9장에서는 메타데이터의 활용, 중요성, 그리고 민주화의 가능성을 깊이 있게 다룬다.
10장에서는 분산되어 광범위하게 흩어져 있는 자산에 대한 데이터 일관성을 유지하기 위해 마스터 데이터 관리(Master Data Management, MDM)를 어떻게 활용할지 안내하고, 11장에서는 데이터를 가치로 전환하는 문제를 다룬다. 12장에서는 이제까지 다룬 내용을 실현하는 예시와 함께 데이터 관리와 엔터프라이즈 아키텍처의 미래에 대한 비전으로 책을 마무리한다.
소프트웨어에 대해 얘기하다 보면, 결국 매번 데이터에 대해 논의하게 된다. 데이터가 얼마나 많은지, 어디에 있는지, 무엇을 의미하는지, 어디서 왔고 어디로 가야 하는지, 데이터가 변경될 때 무슨 일이 일어나는지 같은 얘기들 말이다. 데이터 관리 기술은 빠르게 변해왔지만, 이러한 질문들은 오랫동안 우리 곁을 맴돌고 있다. 오늘날의 데이터베이스는 방대한 온라인 데이터셋에 즉시 접근할 수 있게 해 주고, 분석 시스템은 복잡하고 깊이 있는 질문에 답해 준다. 이벤트 스트리밍 플랫폼은 다양한 애플리케이션들을 연결할 뿐만 아니라, 스토리지, 쿼리 처리, 내장된 데이터 관리 도구까지 제공한다.
이러한 기술 발전에 따라 사용자의 기대치 역시 높아졌다. 사용자는 모바일에서 데스크톱, 콜센터로 전환하거나, 위치를 옮기거나, 한 애플리케이션에서 다른 애플리케이션으로 이동하는 동안, 회사 곳곳에 위치한 각양각색의 백엔드 시스템에 연결된다. 그 와중에도 사용자들은 매끄러운 실시간 경험을 기대한다. 나는 이런 기대가 많은 사람이 생각하는 것보다 훨씬 중대한 의미를 지닌다고 생각한다. 이 과제는 소프트웨어, 데이터, 인력이라는 방대한 자산이 적어도 사용자 눈에는 하나로 매끄럽게 이어진 단위로 보이게끔 관리돼야 한다는 뜻이기 때문이다.
이 같은 전사적 시스템을 관리하는 일은 항상 일종의 어둠의 기술 같았는데, 나는 링크드인의 기반 인프라 구축을 도우면서 그런 기분을 느꼈다. 링크드인의 모든 데이터는 멈추지 않는 프로세스에 의해 하루 24시간 내내 끊임없이 생성된다. 그러나 내가 처음 회사에 들어갔을 때만 해도, 그런 데이터를 활용하기 위한 인프라는 대개 하루 일과가 끝날 무렵에 수행되는 거대하고 느린 배치(batch) 덤프와 단순한 조회 기능뿐인 경우가 많았고, 그마저도 자체 개발한 데이터 피드를 임시방편으로 엮어 놓은 수준이었다. '일과 종료 후 배치 처리'라는 개념은 펀치 카드와 메인프레임이 쓰이던 예전 시대의 유산처럼 보였다. 실제로 글로벌 비즈니스에서는 하루의 끝이란 개념이 없기 때문이다.
링크드인이 성장하면서, 이 시스템 역시 무질서하게 자라나는 소프트웨어 자산이 되었고, 이런 종류의 문제를 해결할 기성품 솔루션이 존재하지 않는다는 사실 또한 분명해졌다. 게다가 링크드인 웹사이트를 구동하는 NoSQL 데이터베이스를 직접 구축해 봤기에, 나는 분산 시스템 기술의 새로운 르네상스가 도래하고 있음을 직감했다. 즉 예전에는 불가능했던 솔루션을 이제는 구축할 수 있다는 뜻이었다. 그 결과가 아파치 카프카의 탄생이었다. 카프카는 링크드인의 핵심을 이루는 프로필 업데이트, 페이지 방문, 결제, 기타 이벤트 스트림을 대상으로 확장 가능한 메시징, 스토리지, 처리를 결합한 것이었다.
카프카는 링크드인의 데이터 흐름을 매끄럽게 만들었을 뿐만 아니라, 애플리케이션 구축 방식에도 영향을 미쳤다. 2010년대 초반의 많은 실리콘밸리 기업들처럼, 우리도 마이크로서비스를 실험하고 있었으며, 기능적이면서도 안정적인 무언가를 만들어내기까지는 여러 번의 시행착오를 반복해야 했다. 이 문제는 소프트웨어만큼이나 데이터와 사람에 관한 것이었다. 회사의 성장에 따라 함께 진화해야 하는 복잡하고 상호 연결된 시스템의 문제였던 것이다. 이렇게 큰 문제를 다루려면 새로운 종류의 기술뿐 아니라, 그에 걸맞은 새로운 역량도 필요했다.
물론 당시에는 이런 문제를 헤쳐 나갈 매뉴얼 같은 건 존재하지 않았다. 우리는 부딪히며 해결해 나갔지만, 어쩌면 이 책이야말로 우리에게 필요했던, 존재하지 않던 그 매뉴얼일지 모른다. 이 책에서 피트하인은 포괄적인 데이터 관리 전략을 제시하는데, 그 목표는 단순히 단일 데이터베이스나 애플리케이션에 국한된 것이 아니라, 오늘날의 기술 환경을 구성하는 수많은 데이터베이스, 애플리케이션, 마이크로서비스, 스토리지 계층, 그리고 그 밖의 다양한 유형의 소프트웨어 전반에 걸쳐 데이터를 관리하려는 것이다.
아울러 그는 자기만의 관점을 견지하며, 그에 걸맞은 아키텍처를 제시한다. 그의 관점은 심사숙고를 거친 일련의 원칙들로 뒷받침된다. 이런 원칙들은 논리적인 가드레일을 통해 의사결정의 폭을 좁히는 데 기여하고, 그 안에서 다양한 실용적인 해법들이 자리 잡게 해 준다. 나는 이러한 접근 방식이 아키텍트와 엔지니어에게 상당한 가치가 있을 것이라 생각한다. 자신들의 문제 도메인을 이 책에 설명된 여러 트레이드오프와 연결시켜 볼 수 있기 때문이다. 이 책은 데이터와 애플리케이션을 넘어, 회사 전체를 하나로 묶는 풍부한 상호작용 네트워크로 우리를 안내할 것이다.
- 제이 크렙스(Jay Kreps) / 컨플루언트(Confluent) 공동창업자 겸 CEO
작가 소개
지은이 : 피트하인 스트렝홀트
마이크로소프트 네덜란드의 최고데이터책임자(CDO)다. 고객사의 CDO들을 응대하는 협력 파트너로 일하며, 커뮤니티와 프로덕트 그룹에서 주도적인 역할을 맡고 있다. 블로거로서도 활발히 활동 중이며 데이터 메시 개념, 데이터 거버넌스, 대규모 데이터 전략 등 최신 데이터 관리 트렌드에 대한 발표와 강연도 주기적으로 하고 있다.
목차
1장 데이터 주도 조직으로의 여정
최근의 기술 발전과 업계 트렌드
데이터 관리
분석으로 인해 파편화되는 데이터 환경
변화하는 소프트웨어 출시 속도
데이터 관리에 막대한 영향을 미치는 클라우드
개인정보보호와 보안은 최우선 과제
운영 시스템과 분석 시스템은 통합되어야 한다
조직은 협력적 생태계 속에서 운영된다
시대에 뒤떨어진 데이터 아키텍처에 발이 묶인 기업들
__엔터프라이즈 데이터 웨어하우스: 진실의 단일 원천
__데이터 레이크: 정형 및 비정형 데이터를 위한 중앙집중식 리포지토리
__중앙집중화의 고통
데이터 전략 수립
정리
2장 데이터 도메인을 활용한 데이터 체계화
애플리케이션 설계의 출발점
__모든 애플리케이션에는 데이터 저장소가 있다
__애플리케이션은 항상 고유하다
__골든 소스
__데이터 통합 딜레마
__애플리케이션의 역할
소프트웨어 아키텍처에서 얻은 영감
데이터 도메인
__도메인 주도 설계
__비즈니스 아키텍처
__도메인 특성
분산형 및 도메인 지향 데이터 관리의 원칙
__데이터 도메인을 위한 설계 원칙
__데이터 프로바이더를 위한 모범 사례
__도메인 소유권 책임
분산형 도메인 지향 데이터 관리로의 전환
정리
3장 도메인과 기술 아키텍처의 매핑
도메인 토폴로지: 문제 영역 관리
__완전 연합형 도메인 토폴로지
__거버넌스 기반 도메인 토폴로지
__부분 연합형 도메인 토폴로지
__가치 사슬 정렬 도메인 토폴로지
__큰 단위로 나눈 도메인 토폴로지
__거버넌스가 부분적으로 적용된 큰 단위 도메인 토폴로지
__중앙집중형 도메인 토폴로지
__올바른 토폴로지 선택
랜딩 존 토폴로지: 솔루션 영역 관리
__단일 데이터 랜딩 존
__소스 정렬 랜딩 존과 컨슈머 정렬 랜딩 존
__허브 데이터 랜딩 존
__다중 데이터 랜딩 존
__다중 데이터 관리 랜딩 존
__랜딩 존 실전 사례
정리
4장 데이터 프로덕트 관리
데이터 프로덕트란 무엇인가
__코드, 데이터, 메타데이터, 인프라 통합의 난제
__논리적 엔티티로서의 데이터 프로덕트
데이터 프로덕트 설계 패턴
__CQRS란 무엇인가
__데이터 프로덕트로서의 읽기 복제본
데이터 프로덕트 설계 원칙
__리소스 지향 읽기 최적화 설계
__데이터 프로덕트의 데이터는 불변이다
__유비쿼터스 언어를 사용하라
__소스에서 직접 수집하라
__명확한 상호운용성 표준
__원시 데이터 금지
__컨슈머에 맞추지 마라
__누락된 값, 기본값, 그리고 데이터 타입
__의미적 일관성
__원자성
__호환성
__변동성이 큰 참조 데이터는 추상화하라
__새로운 데이터에는 새로운 소유권이 따른다
__데이터 보안 패턴
__메타모델 수립
__셀프서비스 허용
__도메인 간 관계
__전사적 일관성
__이력 관리, 재전송, 덮어쓰기
__여러 소유자가 있는 비즈니스 역량
__운영 모델
데이터 프로덕트 아키텍처
__상위 수준 플랫폼 설계
__데이터 수집 및 온보딩 역량
__데이터 품질
__데이터 이력 관리
솔루션 설계
__실제 사례
__스토리지 계정과의 대응 관계
__데이터 파이프라인과의 대응 관계
__데이터 제공 역량
__데이터 제공 서비스
__파일 가공 서비스
__비식별화 서비스
__분산 오케스트레이션
__지능형 소비 서비스
__데이터 프로덕트를 직접 사용할 때의 고려사항
시작해 보자
정리
5장 서비스와 API 관리
API 관리 소개
서비스 지향 아키텍처란 무엇인가
__전사적 애플리케이션 통합
__서비스 오케스트레이션
__서비스 커리어그래피
__퍼블릭 서비스와 프라이빗 서비스
__서비스 모델과 표준 데이터 모델
__엔터프라이즈 데이터 웨어하우징 아키텍처와의 유사점
API 관리에 대한 현대적 관점
__연합형 책임 모델
__API 게이트웨이
__제품으로서의 API
__컴포지트 서비스
__API 계약
__API 탐색 가능성
마이크로서비스
__함수
__서비스 메시
__마이크로서비스 도메인 바운더리
에코시스템 커뮤니케이션
경험 API
__그래프QL
__프론트엔드를 위한 백엔드
실전 사례
메타데이터 관리
데이터 프로덕트를 제공하는 읽기 지향 API
정리
6장 이벤트와 알림 관리
이벤트에 대한 소개
__알림 vs 상태 전송
__비동기 통신 모델
모던 이벤트 기반 아키텍처의 형태
__메시지 큐
__이벤트 브로커
__이벤트 처리 스타일
__이벤트 프로듀서
__이벤트 컨슈머
__이벤트 스트리밍 플랫폼
__거버넌스 모델
__데이터 프로덕트 저장소로서의 이벤트 저장소
__애플리케이션 백엔드로서의 이벤트 저장소
운영 백본으로서의 스트리밍
보장과 일관성
__일관성 수준
__처리 방식
__메시지 순서
__데드 레터 큐
__스트리밍 상호운용성
거버넌스와 셀프서비스
정리
7장 개별 사항을 통합해 큰 그림 그리기
도메인 간 상호운용성
__간략한 복습
__데이터 배포 vs 애플리케이션 통합
__데이터 배포 패턴
__애플리케이션 통합 패턴
__일관성과 탐색 가능성
변화를 가이드하고 영감과 동기를 부여하는 법
__도메인 바운더리 설정
__예외 처리
조직 차원의 변화
__팀 토폴로지
__조직 계획 수립
정리
8장 데이터 거버넌스와 보안
데이터 거버넌스
__거버넌스 프레임워크
__프로세스: 데이터 거버넌스 활동
__효과적이고 실용적인 거버넌스 구축
__데이터 거버넌스를 위한 지원 서비스
__데이터 계약
데이터 보안
__사일로화된 현재의 접근 방식
__신뢰 경계
__데이터 분류 및 라벨
__데이터 사용 분류
__통합 데이터 보안
__신원 제공자
__실제 사례
__일반적인 보안 프로세스 흐름
__API 기반 아키텍처 보안
__이벤트 기반 아키텍처 보안
정리
9장 메타데이터를 통한 데이터 민주화
메타데이터 관리
엔터프라이즈 메타데이터 모델
__메타모델의 실제 예시
__데이터 도메인과 데이터 프로덕트
__데이터 모델
__데이터 계보
__기타 메타데이터 영역
메타레이크 아키텍처
__카탈로그의 역할
__지식 그래프의 역할
정리
10장 모던 마스터 데이터 관리
마스터 데이터 관리 스타일
데이터 통합
마스터 데이터 관리 솔루션 설계
도메인 지향적 마스터 데이터 관리
__참조 데이터
__마스터 데이터
__서비스로서의 MDM과 데이터 품질
MDM과 데이터 큐레이션
__지식 교환
__통합 뷰
__재사용 가능한 컴포넌트와 통합 로직
__통합 허브를 통한 데이터 재게시
__애그리게이트를 통한 데이터 재게시
데이터 거버넌스 권장사항
정리
11장 데이터를 가치로 전환하기
데이터를 가치로 전환하는 과정에서의 과제들
도메인 데이터 저장소
__컨슈머 정렬 유스케이스의 세분성
__데이터 도메인 저장소 vs 데이터 프로덕트
모범 사례
__비즈니스 요구사항
__대상 사용자와 운영 모델
__비기능적 요구사항
__데이터 파이프라인과 데이터 모델
__DDS의 수행 역할 범위 지정
비즈니스 인텔리전스
__시맨틱 계층
__셀프서비스 도구와 데이터
__모범 사례
고급 분석: MLOps
__프로젝트 시작
__실험과 추적
__데이터 엔지니어링
__모델 운영화
__예외 사항
정리
12장 이론을 실무에 적용하기
데이터 여정에 대한 짧은 회고
중앙집중형인가? 탈중앙형인가?
실현하기
__기회 포착 단계: 전략적 방향 설정
__전환 단계: 기반 준비
__최적화 단계: 역량 전문화
데이터 주도 문화
__데이터옵스
__거버넌스와 리터러시
엔터프라이즈 아키텍트의 역할
__블루프린트와 다이어그램
__현대적인 능력
__통제와 거버넌스
마치면서
