진지한 개발자

Sqoop1. Apache Sqoop 사용 이유목적: RDB에서 데이터를 HDFS, S3 등 분산 데이터 스토리지로 이관하기 위해 사용.주요 기능:빠른 데이터 분석: 구조화된 데이터와 비구조화된 데이터를 결합하여 분석.부하 균형: 추가 저장소 및 처리 관리.병렬 데이터 전송: 고속 데이터 파싱을 위한 필요 충족.데이터 복사: 외부 소스에서 Hadoop으로 빠르게 데이터 이동.자동화된 프로세스: 효율적인 운영 가능.다양한 데이터 타입 지원: decimal, unsigned bigint 등.2. 한계점비효율적인 연결: JDBC 연결로 인해 추가 과정 필요.원자성: 각 단계가 원자성을 띄어 멈추거나 재시작 불가.서버 성능 의존: RDBMS 성능에 따라 작업 효율성 달라짐.속도 문제: MapReduce 기반으로..

interval_start = {{ macros.datetime.strftime(date_interval_start, '%Y%m%d')}} after_eight_hours = {{ macros.datetime.strftime(date_interval_start + macros.timedelta(hours=8), '%Y%m%d:%H%M%s') }} // pendulum.DateTime 형식 interval_start = {{ date_interval_start }}

template_fields 에 정의하면 됨 baseoperator # venv > Lib > site-packages > airflow > models > baseoperator.py > Jupyter > BaseOperator class BaseOperator ... def render_template_fields( self, context: Context, jinja_env: Optional["jinja2.Environment"] = None, ) -> Optional["BaseOperator"]: """Template all attributes listed in template_fields. This mutates the attributes in-place and is irreversible. :..