Spark 클러스터 설계 기초
Hadoop · Spark 분산 처리 핵심 개념과 실습 환경 구성.
김도현2025-2 · 11.14
PDFCode
페이지를 불러오는 중입니다.
// DE, · ,Data Engineering
데이터 파이프라인 · 인프라 · MLOps를 다루는 DE 트랙의 주간 세션 자료를 모았습니다. 발표 PDF, 노트, 코드 저장소 링크를 함께 공유합니다.
6 sessions
Hadoop · Spark 분산 처리 핵심 개념과 실습 환경 구성.
DAG 설계 패턴, Operator 종류, 모니터링.
Producer/Consumer 모델과 실시간 로그 처리 실습.
모델 라이프사이클 관리와 컨테이너 기반 배포.
분석 엔지니어링 워크플로우와 테스트 자동화.
S3 + Glue + Redshift 기반 데이터 레이크하우스.