본문 바로가기

전체 글56

230223_DB복습 안녕하세요. 보랏입니다. 오늘은 GS25, 세븐일레븐, 이마트24홈페이지를 크롤링하여 전국 매장 수, 매장별 편의시설 등을 확인하였습니다. 바로 복습 시작하겠습니다. 1. GS25 gs25의 홈페이지는 CSRF 토큰값으로 만들어져 있어 해당 토큰값을 돌려 API를 요청해야하는 Session입니다. 그래서 우선 토큰값을 돌릴 수 있는 변수를 설정해야 합니다. CSRF : 사용자의 의도와 관계 없이 행해지는 공격방법 CSRF Token 임의의 난수를 생성하고 Session에 저장, 그리고 사용자의 매 요청마다 해당 난수 값을 포함시켜 전송하는 방법 이후 백엔드에서 요청을 받을 때마다 Session에 저장된 토큰값과 요청 파라미터에 전달된 토큰값이 같은지 검사 Session 웹 사이트에 접근하고자 할 때 사용.. 2023. 2. 23.
230222_DB복습 안녕하세요. 보랏입니다. 오늘은 어제에 이어서 리눅스와 git 연결, pandas에 관련된 수업을 하였습니다. 바로 복습시작하겠습니다. 1. 리눅스 유저 추가 adduser test(유저추가) → passwd test(비밀번호 설정) → su encore(계정이동) whoami : 현재 계정 확인 이렇게 새로 만든 계정은 리눅스 서버에 설치, 수정, 기록이 불가합니다. (sudo, yum 불가) 그래서 우선 uname -a 을 통해 현재 커널을 확인하고 exit을 입력하여 계정을 나옵니다. 2. git 설치 yum install git -y su git #git 계정 이동 pwd # root표시(문서작성 등 불가) cd ~ (홈 디렉토리 이동) pwd # /home/git 표시 - 보안키 설정 ssh-k.. 2023. 2. 22.
230221_DB복습 안녕하세요. 보랏입니다. 오늘은 어제에 이어서 Linux, DB적재를 배우고 python을 통해 크롤링한 데이터를 얻었습니다. 바로 복습 시작하겠습니다. 1. Linux - PuTTY sudo systemctl status mariadb #active running 표시 Host Name : centOS에 ip addr을 입력하여 나온 가상 ip주소를 입력하여 open을 하면 리눅스서버와 연결됩니다. Saved Sessions : 지속해서 연결하는 ip주소를 사용하기 위해서는 Saved Sessions에 추가하여 Save를 해주시면 됩니다. 2. MySQL한글 설정 리눅스 서버에서 DB를 실행할 때 처음에 아무 설정도 안하면 한글은 깨져서 보일 수 있습니다. 그렇기 때문에 PuTTY를 통해 리눅스에 'u.. 2023. 2. 21.
230220_DB복습 안녕하세요. 보랏입니다. 오늘은 리눅스 서버를 통해 Python, MariaDB를 설치하고서 해당 프로그램들을 리눅스에서 어떻게 사용하는지에 대해서 배웠습니다. 오늘은 그래서 제가 설치방법을 설명하기에는 구글에 이미 다른 분들께서 잘 다루어주셔서 저는 리눅스, putty, 네트워킹 관련 용어, python 연동 방법에 대해 정리하도록 하겠습니다. 1. 리눅스 사용이유 무료 오픈소스로서 보안성을 계속 강화하였으며 다른 유료 운영체제를 사용해서 웹 서버를 운영한다고 해도 결국 보안상의 문제는 있기 때문에 무료 운영체제를 사용 무료 오픈소스 운영체제이기 때문에 많은 버그와 바이러스가 발생했을 때 전부 사용자들에 의해 수정되고 픽스되었기 떄문에 리눅스는 충돌이 잘 발생하지 않음 적은 리소스를 이용해 시스템을 효.. 2023. 2. 20.
230217_DB복습 안녕하세요. 보랏입니다. 오늘은 4일동안 python 진도를 많이 나갔기 때문에 복습하는 시간 및 배운걸 활용하여 응용하는 시간을 가졌습니다. 저는 그래서 제가 구글링으로 검색하여 만들었던 던담 크롤링 소스를 가져가서 강사님께 문의드리고 다시 조정하였습니다. 그래서 이제 던담 페이지당 캐릭터별 아이템을 테이블로 만드는것까지 가능해졌습니다. (혼자서는 정말 힘들었는데... 막상 이렇게 간단하게 하니 신기했네요....) 던담 python크롤링 소스를 공유드릴테니 궁금해하시는 분들이 있으시면 한 번 해보시면 좋을 것 같습니다. 1. 캐릭터별 링크 변경 Source 던담은 get방식의 커뮤니티 사이트이기 때문에 던담주소가 유지되면서 뒤쪽 링크가 계속 변하게 됩니다. 캐릭터별 링크를 얻기위한 Source입니다. .. 2023. 2. 17.
230216_DB 복습 안녕하세요. 보랏입니다. 오늘은 수업중에 쉬운 알고리즘 문제를 실수로 못풀어서 멘탈이 조금 나갔었네요... 하지만 복습은 해야되니 바로 시작하겠습니다. 1. 가상환경 만들기 파이썬 가상환경을 만드는 이유는 파이썬 패키지 자체가 버전이 계속 업그레이드 되어지면서 다른 사람들과 협업을 할 때 버전이 맞지 않아 구동이 안되는 경우가 있습니다. 이럴 때 프로젝트마다 독립적인 가상 환경을 구축하여 사용하는 것을 권장하기 때문에 이에 맞는 가상환경 생성 방법입니다. - 다른 사람이 만든 requirements를 사용할 때 1. Anaconda Prompt 실행 2. 가상환경 구축 폴더 생성 (mkdir test_temp) 후 폴더 이동(cd test_temp) 3. pip virtualenv 패키지 생성 (격리된 .. 2023. 2. 16.
230215_DB공부내용 안녕하세요. 오늘도 많은 걸 배워서 바로 정리하려고 합니다. 바로 배운내용 복습하도록 하겠습니다. 1. 튜플 튜플의 속성은 리스트와 유사하지만 리스트, 딕셔너리와 달리 한 번 정해지면 값을 변경할 수 없는 자료형입니다. 파이썬 사용 시 많이 사용하지 않지만 어제 배운 enumerate를 사용 시 튜플로 묶이게 됩니다. 하지만 enumerate 사용 시 idx와 함께 사용하면 튜플로 묶이지 않게 되어 인덱싱 등이 가능하게 됩니다. for x in enumerate(["a","b","c"],start = 1) : print(x) # (1, "a") (2, "b") (3, "c") # idx 사용 시 for idx, x in enumerate(["a","b","c"],start = 1) : print(idx,.. 2023. 2. 15.
230214_DB공부내용 안녕하세요. 오늘도 학원에서 많은 걸 배워와서 지치네요... 6개월만에 많은 걸 배워야해서 진도를 쑥쑥 빼시는거 같아요 오늘도 복습하도록 하겠습니다. ■ 조건문 input a = input으로 변수로 정수를 입력 시, a는 'str'으로 도출되어 사칙연산이 불가능해집니다. 그래서 int로 정수로 반환하여 사칙연산이 가능하도록 해줍니다. a = input() #정수 입력시 a # str으로 반환 distance = int(input()) #str으로 반환하기 때문에 int로 정수화 시켜줌 if distance = 3] square2 = [9,16,25] ■ while반복문, break, continue break : 반복문에서 빠져나오게 해주는 구문으로 밑에 코드를 보시면 cnt를 10 미만에서 반복하되,.. 2023. 2. 14.
230213_DB공부내용 안녕하세요. 저는 오늘부터 120일 동안 국비교육으로 진행하는 DevOps교육을 받기 시작했습니다. 앞으로 평일에는 수업에서 배운 내용을 정리하고자 블로그에 배운 내용을 올리려고 합니다. 평일에는 공부한 내용 정리를 주말에는 배운 내용을 바탕으로 더욱 양질의 던파DB 자료를 올리도록 하겠습니다. 1. 크롤링 1번째 수업으로는 Python을 배웠는데요. 처음으로 강사님께서 파이썬 크롤링을 통해 네이버 주식현황을 보여주셨습니다. requests와 pandas를 활용해 5줄로 간략하게 만드셨습니다. 제가 던담에서 크롤링을 했을 때는 Selenium, Beautifulsoup을 활용하여 여러번 코딩을 걸쳤지만 이렇게 간단하게도 표현할 수 있음에 놀라웠습니다. pd.concat(데이터 프레임 1, 데이터 프레임 .. 2023. 2. 13.