지난 글에서는 웹 크롤링의 개념과 작동원리, 크롤링할 웹 페이지를 정했다면 가장 먼저 확인해야하는 사항에 대해서 설명했습니다. 이번에는 간단한 예시들을 중심으로 Jsoup을 활용하여 크롤링하는 방식에 대해서 가볍게 다뤄보도록 하겠습니다.  Velog, 요즘 IT 크롤링 하기(1) - crawlin, Robots.txt, Jsoup, SSR, CSR🤗간단한 프로젝트 소개현재 하고 있는 프로젝트는 매일 IT 관련 블로그나 뉴스를 3개씩 이메일(or 문자) 발송해주는 서비스입니다. 이를 위해서 매일 정해진 시간마다 관련 블로그나 뉴스 사이cinining.tistory.com Jsoup이란Jsoup에 대해서 한번 더 정리해보자면, Jsoup은 Java로 작성된 HTML 파싱 및 웹 크롤링을 위한 라이브러리입니..

🤗간단한 프로젝트 소개현재 하고 있는 프로젝트는 매일 IT 관련 블로그나 뉴스를 3개씩 이메일(or 문자) 발송해주는 서비스입니다. 이를 위해서 매일 정해진 시간마다 관련 블로그나 뉴스 사이트를 크롤링해와야했습니다. 저는 블로그 크롤링을 맡아 진행했고, 블로그 플랫폼들의 최신 트렌드 블로그들을 조회하여 각각의 블로그 URL, 제목, 발행일, 블로그 내용 등의 데이터를 수집하였습니다.  이 글에서는 웹 크롤링할 때 주의할 점이라던가, 어떤 식으로 진행되어야 하는지, 크롤링 시 어떤 것을 확인해야 하는지(중요⭐)에 대해서 다루고 다음 포스트에서 코드 짠 것들을 소개하도록 하겠습니다. 💁블로그 플랫폼 선정 이유(feat. robots.txt 윤리)프로젝트에서 'Velog', '요즘 IT' 두 가지의 블로그..

'안정적인 서비스 배포를 위한 배포 전략과 팁' 강의1. 롤링 배포전체 시스템을 중단하지 않고 = 무중단새로운 버전을 점진적으로 배포, 업데이트=> 어떻게 효율적으로 하는 것이 좋을까 고민. 서버를 하나씩 업데이트하는 방식첫번째 서버에서 제대로 동작하지 않으면(CD테스) 롤백한다.문제가 없다면 그 다음 서버에서 모두 확인한다. 장점:전체 시스템의 처리 능력을 대부분 유지점진적인 적용을 통해 리스크 최소화단점: 배포 속도가 느리다. (총 배포시간은 1개 서버 배포 시간 * 서버 숫자)동시에 서로 다른 버전으로 서비스2. 블루그린 배포 전체 시스템을 중단하지 않고 = 무중단새로운 버전을 별도 환경에 배포하고 즉시 전환 블루 환경과 그린 환경으로 나뉨예를 들어 블루 환경을 쓰고 있다고 했을 때 그린 환경에서 ..

현재 하고 있는 프로젝트에서는 멀티 모듈 구조로 이루어져있다. 그런데 우리 팀이 일주일 넘게 고통받았던 그 오류는 바로... IntelliJ에서 '패키지 경로를 못찾는다는 것'...이다. 이렇게 import 자체에서 못가져온다고 빨간 줄이 뜨지도 않는데 build하려고 하면 문제가 생긴다. 따라서 간단하게 우리 프로젝트 구성에 대해 설명하고 몇 가지 해결 방법에 대해서 다뤄보려고 한다. 우리팀 프로젝트 멀티 모듈 구성1. 프로젝트를 생성하여 기본적으로 생기는 src 파일을 아예 삭제 해버리고(어차피 쓸모없기 때문)2. 총 4개의 모듈을 세팅해두었다.3. 부모 모듈이라 볼 수 있는 common, 자식 모듈로 볼 수 있는 admin, b2c, schedule 모듈까지 해서 총 4개이다.4. 자식 모듈들을 c..

EC2Elastic Cloud Computing (탄력적)물리서버에서 가상된 컴퓨터 환경을 생성(인스턴스) 생성한다. EC2의 다양한 옵션1. 인스턴스 유형(사진 클릭 시 AWS 인스턴스 유형 목록 url로 이동)2. 운영 체제3. 스토리지 옵션4. 보안 그룹5. Avaliability Zone ...  * 별다른 설명없이 바로 생성한다라 하고 넘어가는 부분들은 특별히 설정할 것들이 없어서 넘어가는 것(단순히 이름만 정해주면 되는 경우) 인스턴스 생성해보기세부 내용가서 security -> 인바운드 규칙과 아웃바운드 규칙을 설정해준다.보통 인바운드 규칙의 경우에는 다 닫혀있고, 아웃바운드 규칙의 경우에는 다 열어주는 편이라고 한다.그래서 인바운드 규칙에서 http, https를 열어준다. 그리고 인스턴스..

IAMIdentity and Access Management(엑세스 권한 관련)- Users, Groups, Policies- 회원 가입 시 만들어진 Root Account를 사용 공유하지 말고 User와 Group을 만들어 사용하는 것이 좋다. why? Root Account의 경우 풀 엑세스라 해킹 당했을 시 위험 노출이 심하기 때문에 User와 Group으로 직접 권한 관리를 해주자.아래는 IAM에서 user 생성방법이다.[사용자 세부 정보]콘솔 암호의 경우는 나만 사용할 경우는 사용자 지정 암호로 해도 괜찮을 거 같아서 저렇게 설정했고, 공유를 해야 하는 상황이라면 자동 생성된 암호로 따로 메모장에 적어두어 사용하는 방식도 좋을 거 같다. [권한 설정]그룹 설정도 해야 해줘야 한다. 그룹 생성 클..