본문 바로가기

DB 공부하기39

230329_DB복습 안녕하세요. 보랏입니다. 오늘은 머신러닝 기법 중 확률적 경사 하강법, 오차역전파와 트리 구조에 대해서 배웠습니다. 바로 복습 시작하겠습니다. 1. 확률적 경사 하강법 경사 = 기울기 / 하강법 : 내려가는 방법 아래 그림처럼 내려오는 보폭이 너무 크면 원하는 지점을 지나쳐 갈 수 있음 확률적이라는 말은 실제로는 훈련 데이터 셋을 사용해 모델을 훈련하여 경사 하강법도 당연히 훈련 세트를 사용하여 가장 가파른 길을 찾는 방법 훈련 세트에서 랜덤하게 하나의 샘플을 선택하여 경사를 내려가고, 그 다음 훈련 세트에서 랜덤하게 또 다른 샘플을 하나 선택하여 경사를 조금 내려가는 방법 이런 식으로 전체 샘플을 모두 사용할 때까지 계속해서 진행 이렇게 해서 답을 찾지 못하면 다시 처음부터 시작합니다. 그 다음 다시 .. 2023. 3. 29.
230327_DB복습 안녕하세요. 보랏입니다. 오늘 새로운 한 주가 시작되어 복습 내용 작성하겠습니다. 오늘 배운 내용은 머신러닝 선형회귀 내용과 docker 설정 내용을 배웠습니다. 바로 복습시작하겠습니다. 1. Statsmodels 패키지 statsmodel 패키지 : 추정 및 검정, 회귀분석, 시계열 분석 등의 기능을 제공하는 파이썬 패키지 예제 데이터셋 검정 및 모수추정 회귀분석, 선형회귀, 강건회귀 일반화 선형모형 혼합효과모형 이산종속변수, 시계열분석 등 2. 선형회귀 선형회귀 : 특성이 하나인 어떤 직선을 학습하는 알고리즘 from sklearn.linear_model import LinearRegression lr = LinearRegression() # 선형 회귀 모델 훈련 lr.fit(train_input, .. 2023. 3. 27.
230323_DB복습 안녕하세요. 보랏입니다. 오늘은 docker가 메모리가 많이 소비되어 이를 해결할 수 있는 방법과 통계 이론에 대한 강의를 진행하였습니다. 바로 복습 시작하겠습니다. 1. docker 재설치 microsoft store에서 제공하는 ubuntu를 다운 받아 해당 운영체제에서 주피터서버와 DB를 재설치 및 세팅하였습니다. 이제 도커설치에 필요한 패키지를 설치하도록 하겠습니다. ### docker설치에 필요한 패키지 설치 curl -sSL get.docker.com | sh ### docker demon 시작 sudo /etc/init.d/docker start ### sudo service docker start sudo service docker status -> docker is running으로 표시.. 2023. 3. 23.
230322_DB복습 안녕하세요. 보랏입니다. 오늘은 머신러닝을 실제로 진행해보았으며(k-최근접 이웃 알고리즘), 코루틴, 데코레이터, 메모이제이션 등 다양한 개념을 배웠습니다. 바로 복습 시작하겠습니다. 1. 머신러닝(machine learning) 규칙을 프로그래밍하지 않아도 자동으로 데이터에서 규칙을 학습하고 알고리즘을 연구하는 분야 통계학과 딥러닝/머신러닝 용어 비교 통계학 딥러닝/머신러닝 모수 가중치 추정, 적합 학습 회귀 또는 분류 지도학습 군집화, 분포 추정 비지도학습 독립(설명)변수 특징 종속(반응)변수 레이블 2. 머신러닝 - 생선 데이터를 기반으로 도미와 빙어를 구분하기 도미데이터 준비하기 bream_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.. 2023. 3. 22.
230314_DB복습 안녕하세요. 보랏입니다. 오늘은 어제에 이어서 pandas데이터 분석, 결측치 처리 방법을 배웠으며 오늘부터 목요일까지 팀 프로젝트를 진행하게되었습니다. 그래서 오늘 오후부터 목요일까지 팀 프로젝트를 진행하느라 DB복습은 잠깐 쉴 것 같습니다. 금요일에 발표 후 저희 팀에서 진행하였던 데이터 분석 자료를 올려서 복습하도록 하겠습니다. 그럼 복습 시작하겠습니다. 1. 결측값 처리 기본 사용법 : df.dropna(axis=0, how = 'any', thresh = None, subset = None, inplace = False) axis : 기준 설정 0 - row / 1 - columns how : any - 존재하면 제거 / all - 모두 결측치면 제거 thresh : 결측값이 아닌 값이 몇 개 .. 2023. 3. 14.
230313_DB복습 안녕하세요. 보랏입니다. 오늘 또 새로운 한 주가 시작되었습니다 오늘은 FTP 클라이언트 프로그램, 리눅스 DB백업, 한국복지 패널조사 데이터분석,귀무가설vs대립가설을 배웠습니다. 바로 복습 시작하겠습니다. 1. FTP클라이언트 프로그램 (Filezilla) web에서는 FTP를 사용하지 않지만 네트워크 공유서버, 웹서버, 파일 서버 등에는 FTP를 통해 파일 교한이 필요합니다. 따라서, 파일 전송시에는 FTP클라이언트 프로그램을 사용하여 FTP서버 접속이 가능합니다. 그 중 가장 유명한 FTP클라이언트 프로그램이 'Filezilla'로 오픈소스 기반으로 모든 소스 코드가 공개되어 있으며, FTP, FTPS, SFTP등을 지원합니다. 이제 기존 가상머신에 설치하였던 리눅스 가상머신을 활용하여 가상머신 내.. 2023. 3. 13.
230309_DB복습 안녕하세요. 보랏입니다. 오늘은 어제에 이어서 지하철 이용객 데이터 전처리를 강사님께서 진행하신 내용과 통계의 관련된 기초 수업을 진행하였습니다. 바로 복습 시작하겠습니다. 1. 지하철 이용객 데이터 전처리(강사님 ver) 강사님께서 지하철 이용객 데이터 전처리를 진행해 주셨는데 어제 제가 진행한 방식에서 훨씬 간편한 방법으로 데이터 전처리를 진행해주셨습니다. 우선 지하철 데이터를 모두 가져와서 각 데이터별 컬럼을 확인하는 방법입니다. import pandas as pd import os ### 전체 데이터 파일 리스트에 담기 total= [pd.read_csv("./subway/{}".format(x), encoding = 'euc-kr') for x in os.listdir("./subway/")] .. 2023. 3. 9.
230308_DB복습 안녕하세요. 보랏입니다. 오늘은 파이썬 함수 중 map, reduce, filter, local변수와 데이터 결합 방법인 concat,merge를 배웠으며, 강사님께서 공유주신 한국철도공사 2016년자료 데이터 전처리 및 시각화를 진행하였습니다. 바로 복습시작하겠습니다. 1. map, reduce, filter 함수 map : iterable에 있는 요소에 함수를 적용하여 그 결과를 반환, map()을 수행한 결과는 map object로 반환되어 list나 tuple로 바꾸는 작업 필요 filter : iterable의 각 element에 대해 function이 True를 반환하는 함수 reduce : 왼쪽 인자는 누적된 값, 오른쪽 값은 iterable로부터 업데이트에 사용될 값 ls = [1,2,3,.. 2023. 3. 8.
230307_DB복습 안녕하세요. 보랏입니다. 오늘은 어제에 이어서 시각화, 통계를 배웠으며, 오늘은 AWS, 스타벅스, 2022년 KBO 선수를 대상으로 하여 분석을 진행하였습니다. 바로 복습 시작하겠습니다. 1. AWS 학원에서 AWS에 대한 비용을 어느정도 지원을 해준다고 하여 오늘부터 AWS를 통해 RDS를 구축하였고, 오늘부터 데이터를 저장 및 불러오는 작업을 하였습니다. RDS(Relational Database Service) : DB인스턴스 생성하여 연결 MariaDB, MySQL, Microsoft SQL Server, Oracle,PostgreSQL을 사용하여 DB인스턴스 생성 가능 DB인스턴스에 대한 주소값과 각 DB엔진별 포트를 사용하여 각 컴퓨터에서 SQL을 통해 RDS에 연결하였습니다. cur, co.. 2023. 3. 7.

티스토리툴바