Table of Contents

• 1. Data Engineering
  • 1-1. Hadoop
  • 1-2. Spark
  • 1-3. Kafka
  • 1-4. Parquet
  • 1-5. Iceberg
  • 1-6. Airflow
  • 1-7. Hive
  • 1-99. others
• 2. Cloud Computing
  • 2-1. Docker and k8s
  • 2-2. AWS
• 3. Back-end
• 4. Computer Science
  • 4-1. Operation System
  • 4-2. Database
  • 4-3. Network
  • 4-4. Data Structure and Algorithm
  • 4-5. Programming Language
  • 4-6. common
• 5. etc

1. Data Engineering

1-1. Hadoop

• HDFS의 replication-factor를 3->5로 변경하면 최대 몇 번의 장애까지 견딜 수 있는가? + Erasure Coding
• YARN이 도입된 이유
• HA consensus of HDFS
• 손상된 블록을 탐지하고 처리하는 프로세스
• HDFS의 read/write/replication 절차
• Parquet와 칼럼 기반 스토리지
• Standby Namenode vs Secondary Namenode
• YARN scheduler
• Secured Hadoop - Kerberos
• 클러스터로 구성된 서비스를 무중단으로 업데이트하려면?(Rolling Restart) (link)
• WebHDFS와 HttpFS의 차이점 (link)
• HDFS Federation - Namespace, Block storage, Block pools 개념의 도입 (link)
• Service RPC port 설정이 필요한 경우
• How to set up Cloudera Hadoop

1-2. Spark

• (강의학습) Big Data Analysis with Scala and Spark
• RDD, DataFrame, Dataset
• SparkContext and SparkSession
• Spark Executor의 메모리 구조
• 언어에 따른 Spark 성능 차이(Spark API, UDF 등)
• RDD 커스텀 파티셔닝
• RDD Aggregation: groupByKey vs reduceByKey
• repartition과 coalesce의 차이점
• Spark access first n rows: take() vs limit()
• 효율적인 DataFrame Join 전략
• Kafka + Spark Streaming : 2가지 Integration 방법 비교
• spark.executor.memoryOverhead와 spark.memory.offHeap.size 설정은 어떻게 다른가?
• Project Tungsten의 주요 Spark 성능 개선 사항은 무엇인가?
• Spark bucketing이란?
• Spark 3.0 버전대부터 추가된 AQE(Adaptive Query Execution)가 기존 Spark SQL 옵티마이저와 다른 점

1-3. Kafka

• Kafka의 partition은 많을 수록 좋을까?
• Kafka Streams Topology
• Zookeeper가 Kafka에서 수행하는 역할
• 효율적인 Kafka consume 방법 (파티션 수와 컨슈머 수의 관계)
• exactly-once delivery
• Burrow와 Telegraf로 Kafka Lag 모니터링하기 (link)
• ISR (In Sync Replica)
• Kafka의 Controller Broker(KafkaController)란 무엇인가? (link)
• dead letter queue (link)
• Kafka Connect overview
• Schema Registry
• Debezium CDC
• Mirror Maker 2를 이용한 Kafka 클러스터간 토픽 복제 (link)

1-4. Parquet

• All About Parquet (link)
• I spent 8 hours learning Parquet (link)

1-5. Iceberg

• (도서학습) Apache Iceberg The Definitive Guide
• Incremental processing

1-6. Airflow

• (도서학습) Apache Airflow 기반의 데이터 파이프라인
• Dynamic DAG 생성하기
• execution_date와 DAG 실행시간 이해하기
• Executor Types: Local vs Remote (link)
• Celery 개념과 Celery Excutor
• schedule_interval과 execution_date 의 난해함 (link)
• catchup 설정과 주의사항 (link)
• Airflow의 Trigger와 Sensor, ExternalTaskSensor 의 기능
• Triggerer와 Deferrable Operators & Triggers (link)
• Sensor의 poke, reschedule 모드의 차이 (link)
• 커스텀 operator에 jinja templates 적용하기 - template_fields (link1, link2)
• Data-aware scheduling (link)

1-7. Hive

• HiveServer2 (link)
• Hive Design and Architecture (link)
• Hive ACID (link)
• Hive Replication (link)
• Hive Query Planner and Optimizer (link)
• Partition, Bucket, Index
• Partitioning vs Bucketing(CLUSTERED BY) (link1, link2)
• Which is faster, SORT BY or ORDER BY in HiveQL?
• What is HCatalog?
• Hive UDF란?
• Hive의 View와 Table
• HiveQL Merge Into
• STORED AS의 INPUTFORMAT, OUTPUTFORMAT, SERDE (link1, link2)

1-99. others

• (도서학습) 데이터 중심 애플리케이션 설계
• ELK Stack
  • Elasticsearch
    • How to Set up
    • REST API
    • ES 성능 튜닝하기 : Shard, Replica의 개수와 사이즈 등 (link)
    • es의 ingest pipeline을 이용한 전처리 (link)
  • Logstash
• DataHub
  • 데이터 거버넌스란 무엇이고 왜 필요한가? (link)
• Trino
  • (도서학습) Trino The Definitive Guide
• Apache HBase
  • Major Compaction vs Minor Compaction
• Apache Flink
• Apache Druid
  • Query granularities와 쿼리 부하 사이의 관계 (link)
  • HLL(HyperLogLog) Sketch와 유니크 원소 갯수 (cardinality) 추정 (link1, link2)
• Apache SeaTunnel (link) : Sqoop, Logstash, Fluentd, Kafka Connect를 모두 대체할 수 있을까?
• Apache Doris (link) : real-time data warehouse based on MPP architecture
• Apache StreamPark (link) : Make stream processing easier
• Apache Airbyte (link) : The only tool you need to move data
• DBT (link)
• 데이터 엔지니어 면접 질문 모음
  • Top 50 Hadoop Interview Questions You Must Prepare In 2020
  • Top Hadoop Interview Questions To Prepare In 2020 – HDFS
  • Top 20 Apache Spark Interview Questions 2019
  • Top 62 Data Engineer Interview Questions & Answers
  • Hadoop MapReduce Interview Questions In 2020
  • Top Hadoop Interview Questions To Prepare In 2020 – Apache Hive

2. Cloud Computing

2-1. Docker and k8s

• Container vs VM
• Kubernetes 기본
  • Kubernetes란 무엇인가? (link)
• PV/PVC (link)
• HPA (link)

2-2. AWS

• Amazon EC2
  • VPC, Subnet, Network ACL, NAT Gateway (link)
  • AMI (link)
  • Load Balancer (link)
• Amazon S3
  • S3 vs EFS vs EBS (link)
  • s3, s3n, s3a 차이점 (link)
  • MinIO와 S3 호환 (link1, link2)
• Amazon Redshift
  • Amazon Redshift가 지원하지 않는 것들
• Amazon EMR
  • Node Types: Master, Core, Task Nodes (link)

3. Back-end

• (강의학습) Java Spring 스터디

4. Computer Science

4-1. Operation System

• 멀티스레드와 멀티프로세스
• 교착상태(deadlock)의 발생조건
• 다익스트라의 은행원 알고리즘
• 세마포어와 뮤텍스
• 프로세스 스케줄러
• CPU 스케줄링 알고리즘
• 페이지 교체 알고리즘
• 페이징과 세그먼테이션, 그리도 단편화
• Big-endian, Little-endian
• 캐시 메모리와 버퍼 메모리
• 페이지 캐시와 버퍼 캐시
• Polling과 Interrupt
• Sync와 Async, Blocking과 Non-blocking
• Context Switching이 진행되는 단계

4-2. Database

• 데이터 무결성 (Data Integrity)
• 데이터베이스 인덱스
• 데이터베이스 정규화
• 파티셔닝과 샤딩의 차이
• 트랜잭션과 ACID
• DDL / DML / DCL / TCL
• DELETE / TRUNCATE / DROP
• Top 50 SQL Interview Questions

4-3. Network

• TCP and UDP
• TCP's 3-way handshake, 4-way handshake
• HTTP 요청 메소드: GET과 POST의 차이
• 웹 브라우저가 웹 페이지의 이미지를 보여주기까지의 과정 (link)

4-4. Data Structure and Algorithm

• Array와 Linked List 비교하기
• Stack과 Queue (Stack으로 Queue 구현하기)
• Tree
  • Binary Search Tree (BST), (notebook)
  • AVL Tree, Heap, etc
• Hash Table
• Graph
  • Dijkstra algorithm
• Sorting, (notebook)
• Recursion
• Dynamic Programming

4-5. Programming Language

• Java
  • JVM, JIT Compiler, GC
  • GC 정리
  • ZGC란
  • Java 메모리 누수
  • On-heap과 Off-heap
  • String 대신 StringBuffer, StringBuilder를 쓰는 이유
  • 인터페이스 vs 추상클래스
  • 싱글톤 패턴
  • static 선언과 GC
  • Primitive type, Reference type, Wrapper class
• Scala
  • Scala의 함수형 프로그래밍 성질
  • Scala의 pass-by-name (link)
  • 동반 객체 (Companion Object)
  • 케이스 클래스 (case class)
• Python
  • GIL(Global Interpreter Lock)
  • 데이터 클래스 (dataclasses) (link)

4-6. common

객체지향프로그래밍, 디자인패턴, 아키텍처패턴, 개발방법론, 소프트웨어공학 등

• OOP
  • 캡슐화, 상속, 메소드 오버라이딩, 메소드 오버로딩, 다형성
  • 객체지향 5원칙: SOLID
• 객체-관계 매핑 (Object Relational Mapping, ORM) (link)
• Lambda architecture (link)

5. etc

• 읽을거리
  • The future of the data engineer (part 1)
  • 쿠팡 빅데이터 플랫폼의 진화, 그리고 향후 발전 방향 (link)
• 연구주제
  • Anomaly Detection