진지한 개발자

원격 git repository의 master를 내 local 에 전체 덮어 쓰고 싶을 경우 git fetch --all git reset --hard origin/master git pull origin master

Pima Indians Diabetes (피마 인디언 당뇨병) import pandas as pd import sklearn help(sklearn) import sklearn.ensemble dir(sklearn.ensemble) # 확인 from sklearn.ensemble import RandomForestClassifier X_train.head().T X_train.info() X_train.describe() X_train.isnull().sum() X_test.isnull().sum() help(df.drop) X_train.drop('id', axis=1, inplace=True) X_test.drop('id', axis=1, inplace=True) X_train.info() help(..

pip install # 'SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1045)'))' 해결 방법 pip --trusted-host pypi.org --trusted-host files.pythonhosted.org install

타입 변환 df['column_a'].str.slice(start=13, stop=15) # column_a : df["time"] = df["timestamp"].date # time : df["time"] = df["timestamp"].time from datetime import datetime df['timestamp'] = df['timestamp'].apply(lambda x: datetime.strptime(x, '%Y-%m-%d %H:%M:%S.%f')) df['Dates'] = pd.to_datetime(df['date']).dt.date df['Time'] = pd.to_datetime(df['date']).dt.time 파일 읽기 # !pip install awswrangler==2..

interval_start = {{ macros.datetime.strftime(date_interval_start, '%Y%m%d')}} after_eight_hours = {{ macros.datetime.strftime(date_interval_start + macros.timedelta(hours=8), '%Y%m%d:%H%M%s') }} // pendulum.DateTime 형식 interval_start = {{ date_interval_start }}

template_fields 에 정의하면 됨 baseoperator # venv > Lib > site-packages > airflow > models > baseoperator.py > Jupyter > BaseOperator class BaseOperator ... def render_template_fields( self, context: Context, jinja_env: Optional["jinja2.Environment"] = None, ) -> Optional["BaseOperator"]: """Template all attributes listed in template_fields. This mutates the attributes in-place and is irreversible. :..

> git reset HEAD^ > git stash > git pull > git merge > git branch -D > git checkout -b 이럴땐 직전 커밋으로 돌리고 변경사항은 stash 저장 후 merge를 다시 시도해 보자

gzip 파일 압축 풀지 않고 보기$ zgrep 'xxx' /path/test.gz$ zgrep 'GET /index' /path/schedule.log.gz압축 풀기gzip -d '파일명'

spark 실행 확인 cd $SPARK_HOME ./bin/pyspark 위의 경우 worker UI 화면 접근 가능 예제 : 워드 카운트 lines = sc.textFile("README.md") lines.count() lines.first() pythonLines = lines.filter(lambda line : "Python" in line) pyrhonLines.first() python 파일 생성 from pyspark import SparkConf, SparkContext conf = SparkConf().setMaster("local").setAppName("test") sc = SparkContext(conf=conf) lines = sc.textFile("./README.md") pr..

1. Java, scala 설치 # sudo apt update # sudo apt-get upgrade sudo apt install default-jdk scala2. Apache Spark 다운로드 wget https://downloads.apache.org/spark/spark-3.4.0/spark-3.4.0-bin-hadoop3-scala2.13.tgz 3. Spark /opt 경로에 풀기 sudo mkdir /opt/spark sudo tar -xf spark*.tgz -C /opt/spark --strip-component 1 sudo chmod -R 777 /opt/spark 4. 시스템 경로에 Java, Spark 폴더 추가 echo "export JAVA_HOME=/usr/lib/jvm..