Spark SQL 성능을 다루다 보면 같은 쿼리인데도 실행 시간이 크게 달라지는 순간을 자주 보게 됩니다. 이번 영상은 그 차이를 만드는 핵심 축으로 AQE(Adaptive Query Execution)를 설명하고, 실제 데모에서 AQE on/off 차이를 보여줍니다. 이 글에서는 영상 내용을 기준으로 AQE를 “왜 빨라지는지” 중심으로 재구성하고, 공식 문서 기준으로 운영에서 바로 확인할 설정까지 연결하겠습니다.
더보기
데이터 엔지니어링의 미래를 예측하는 글은 많지만, 실제 데이터에 기반한 분석은 드뭅니다. Joe Reis는 2025년 12월부터 2026년 1월까지 1,101명의 데이터 실무자와 리더를 대상으로 설문을 진행했고, 그 결과를 바탕으로 2026년 데이터 엔지니어링의 방향성을 제시했습니다. 핵심 메시지는 분명합니다: 과거에 갚지 않은 빚은 이자가 붙고, 그 이자율은 사채 수준이라는 것입니다.
더보기