카카오페이 KakaoPay 데이터 엔지니어 데이터 플랫폼 면접족보

Q1. 카카오페이의 대규모 실시간 금융 트랜잭션 데이터를 안정적으로 수집처리하기 위해 활용했던 데이터 파이프라인 구조를 설명해 주세요. Q2. 대용량 분산 환경에서 Kafka 스토리지 및 컨슈머 그룹 운영 시 메시지 유실이나 중복 처리를 방지하기 위한 방안은 무엇인가요 Q3. Spark 파티셔닝 전략 설정 및 데이터 스큐(Data Skew) 발생 시 이를 감지하고 해결했던 경험에 대해 말씀해 주세 요. Q4. 카카오페이 금융 플랫폼 환경에 적합한 데이터 레이크하우스(Iceberg, Hudi 등) 구현 전략 및 스토리지 최적화 방안 은 무엇인가요 Q5. Flink나 Spark Streaming을 활용하여 실시간 이상 거래 감지(FDS) 시스템 파이프라인을 구축할 때 중요한 설계 요 소는 무엇인가요 Q6. 다양한 도메인 데이터 원천에서 대규모 데이터를 변환 및 로드할 때 정합성을 보장하기 위한 ETL 데이터 검증 기법 은 무엇인가요 Q7. 배치

Q1. 카카오페이의 대규모 실시간 금융 트랜잭션 데이터를 안정적으로 수집처리하기 위해 활용 했던 데이터 파이프라인 구조를 설명해 주세요.
카카오페이와 같은 대규모 트래픽 기반 금융 플랫폼에서는 초당 수만 건