Data

검색에는 Elasticsearch, 벡터에는 Pinecone, 캐시에는 Redis, 문서에는 MongoDB, 큐에는 Kafka, 시계열에는 InfluxDB — 그리고 나머지는 PostgreSQL. 축하합니다. 이제 관리해야 할 데이터베이스가 7개입니다. 7개의 쿼리 언어, 7개의 백업 전략, 7개의 보안 모델, 7개의 모니터링 대시보드. 새벽 3시에 뭔가 터지면? 디버깅을 위한 테스트 환경 구축부터 악몽입니다. 다른 방법이 있습니다. 그냥 Postgres를 쓰세요. 더보기

8억 명의 ChatGPT 사용자, 지난 1년간 10배 성장한 트래픽, 수백만 QPS — OpenAI는 이 모든 것을 단일 Primary PostgreSQL 인스턴스와 약 50개의 읽기 복제본으로 처리하고 있습니다. 샤딩 없이 이 규모를 달성한 비결은 무엇일까요? OpenAI 엔지니어 Bohan Zhang이 공유한 실전 전략을 분석합니다. 더보기

들어가며 주가 예측은 머신러닝에서 가장 도전적인 문제 중 하나다. 단일 모델로는 시장의 복잡성을 포착하기 어렵기 때문에, 실무에서는 여러 기법을 파이프라인으로 결합한다. Boris Banushev의 오픈소스 프로젝트 stockpredictionai는 Goldman Sachs(GS) 주가 예측 을 목표로, GAN(Generative Adversarial Network), LSTM, CNN, 강화학습, BERT NLP, 푸리에 변환, ARIMA, Stacked Autoencoder, XGBoost, PCA까지 — 현대 딥러닝과 전통 통계 기법을 하나의 시스템으로 통합한 프로젝트다. GitHub 스타 5,500개 이상을 받은 이 프로젝트의 전체 아키텍처를 해부한다. 더보기

최근 LLM 기반 트레이딩 연구는 에이전트 수를 늘리는 데서 한 단계 더 나아가, 각 에이전트가 실제로 어떤 단위 작업을 수행해야 하는지까지 설계하는 방향으로 이동하고 있습니다. 이 논문은 바로 그 지점을 검증하며, “역할 이름"만 주는 coarse-grained 프롬프트보다, 분석 단계를 잘게 쪼갠 fine-grained 프롬프트가 위험 조정 수익률과 중간 추론 품질을 함께 개선한다고 보고합니다. 더보기

Spark SQL 성능을 다루다 보면 같은 쿼리인데도 실행 시간이 크게 달라지는 순간을 자주 보게 됩니다. 이번 영상은 그 차이를 만드는 핵심 축으로 AQE(Adaptive Query Execution)를 설명하고, 실제 데모에서 AQE on/off 차이를 보여줍니다. 이 글에서는 영상 내용을 기준으로 AQE를 “왜 빨라지는지” 중심으로 재구성하고, 공식 문서 기준으로 운영에서 바로 확인할 설정까지 연결하겠습니다. 더보기

데이터 엔지니어링의 미래를 예측하는 글은 많지만, 실제 데이터에 기반한 분석은 드뭅니다. Joe Reis는 2025년 12월부터 2026년 1월까지 1,101명의 데이터 실무자와 리더를 대상으로 설문을 진행했고, 그 결과를 바탕으로 2026년 데이터 엔지니어링의 방향성을 제시했습니다. 핵심 메시지는 분명합니다: 과거에 갚지 않은 빚은 이자가 붙고, 그 이자율은 사채 수준이라는 것입니다. 더보기

이번 글에서는 Docker Compose를 사용하여 PostgreSQL Replication 환경을 구축하고, PgCat을 통한 Connection Pooling을 구현하는 방법을 알아보겠습니다. 더보기