Python과 Selenium을 사용하여 웹 크롤링하기(스크린샷, 워드 파일 생성)
·
파이썬/크롤링
Selenium을 활용한 웹 자동화 - 메뉴 접속 후 캡처 및 Word 문서 저장1. Selenium이란?Selenium은 웹 애플리케이션을 자동화하는 오픈소스 도구로, 주로 테스트 자동화 및 데이터 크롤링에 사용됩니다. 2. 주요 기능로그인 자동화특정 메뉴 탐색 후 버튼 클릭화면 캡처 후 Word 문서 저장 3. 사용한 함수 정리함수명설명handle_alert()팝업 알림이 발생하면 자동으로 닫음wait_for_loading_to_complete()로딩 이미지가 사라질 때까지 대기main()전체 실행 과정 수행 4. 실행 방법Selenium 설치bashpip install selenium python-docx 크롬 드라이버 다운로드 및 설정Python 코드 실행 5. 결과물실행이 완료되면 메뉴별 화면이..
[Java] replaceAll 정규 표현식 사용방법
·
자바/개념
String.replaceAll('From','to')- replace와 다르게 해당 문자열의 From 을 to로 변환해주는 함수이다. 1. 문자 의미^문자열의 시작$문자열의 종료.임의의 한 문자(필수입력, 문자의 종류 가리지 않음) 단, \ 는 넣을 수 없음*앞 문자가 없을 수도 무한정 많을 수도 있음+앞 문자가 하나 이상?앞 문자가 없거나 하나있음[]문자의 집합이나 범위를 나타내며 두 문자 사이는 - 기호로 범위를 나타낸다.{}횟수 또는 범위를 나타낸다.()소괄호 안의 문자를 하나의 문자로 인식|패턴 안에서 or 연산을 수행할 때 사용\s공백 문자\S공백 문자가 아닌 나머지 문자\w알파벳이나 숫자\W알파벳이나 숫자를 제외한 문자\d숫자 [0-9]와 동일\D숫자를 제외한 모든 문자\정규표현식 역슬래시(..
Spring Cloud Config Server 설정하기2(Spring Cloud Bus)
·
WEB/Spring
Spring Cloud Bus는 분산 시스템에서 여러 애플리케이션 간에 메시지를 통해 이벤트를 전달하고, 설정 변경 등의 작업을 일괄적으로 처리할 수 있도록 돕는 모듈입니다. 주로 Spring Cloud Config와 함께 사용되며, 여러 마이크로서비스에 대한 설정 변경이나 이벤트 전파를 쉽게 관리하는 데 유용합니다.  주요 기능과 역할분산된 애플리케이션 간 이벤트 브로드캐스팅:Spring Cloud Bus는 메시지 브로커(예: RabbitMQ 또는 Kafka)를 사용하여 애플리케이션 간에 이벤트를 브로드캐스트합니다. 이를 통해 모든 마이크로서비스에 한 번의 명령으로 설정 변경, 캐시 초기화, 상태 업데이트 등을 적용할 수 있습니다.설정 변경 반영:Spring Cloud Config와 함께 사용하면, C..
Spring Cloud Config Server 설정하기1(Spring Cloud Config)
·
WEB/Spring
Spring Cloud Config Server는 분산 시스템에서 구성 파일을 중앙에서 관리하고 동적으로 업데이트할 수 있도록 해주는 중요한 도구입니다. 이는 애플리케이션이 여러 환경에서 일관성 있게 실행될 수 있도록 구성 관리 문제를 해결합니다. 여기서 Spring Cloud Config Server를 사용하는 이유와 장단점을 살펴보겠습니다.  장점중앙화된 설정 관리: 여러 애플리케이션의 설정을 한 곳에서 관리할 수 있어, 설정 파일의 중복을 줄이고 일관성을 유지할 수 있습니다.환경별 설정 관리: 로컬, 개발, 테스트, 프로덕션 등 환경별로 설정을 구분하여 관리할 수 있으며, 이를 통해 각 환경에 맞는 설정을 쉽게 적용할 수 있습니다.실시간 설정 변경 반영: Spring Cloud Bus 또는 Actu..
Spring Boot JWT(JSON Web Token) 설정하기
·
WEB/Spring
JWT(JSON Web Token) 란?JWT는 유저를 인증하고 식별하기 위한 토큰(Token) 기반 인증입니다.토큰 자체에 사용자의 권한 정보나 서비스를 사용하기 위한 정보가 포함됩니다.RESTful과 같은 무상태(Stateless)인 환경에서 사용자 데이터를 주고받을 수 있게 됩니다.세션(Session)을 사용하게 될 경우 쿠키 등을 통해 사용자를 식별하고 서버에 세션을 저장했지만, 토큰을 클라이언트에 저장하고 요청시 HTTP 헤더에 토큰을 첨부하는 것만으로도 단순하게 데이터를 요청하고 응답받을 수 있습니다. JWT는 JSON 형식을 사용하여 정보를 안전하게 전송하기 위한 개방형 표준(RFC 7519)입니다. JWT는 서버와 클라이언트 간에 정보를 전송하는 데 널리 사용되며, 주로 인증과 권한 부여를..
Spring Boot AOP 적용 방법(Log, Transaction)
·
WEB/Spring
AOP  VS OOP객체 지향 프로그래밍(OOP)OOP의 주요 개념:클래스(Class) : 객체의 설계도. 속성과 메서드를 정의하는 틀입니다.객체(Object) : 클래스를 통해 생성된 실체로, 실제로 동작하는 프로그램의 단위입니다.상속(Inheritance) : 기존 클래스를 확장하여 새로운 클래스를 만드는 기능입니다.다형성(Polymorphism) : 동일한 이름의 메서드가 다른 동작을 수행할 수 있게 하는 기능입니다.캡슐화(Encapsulation) : 객체의 속성과 메서드를 외부에서 직접 접근하지 못하도록 숨기는 기능입니다.추상화(Abstraction) : 복잡한 시스템을 단순화하여 핵심 기능만 노출하는 기능입니다.OOP의 장점:코드 재사용 : 상속과 다형성 등을 통해 코드의 재사용이 용이합니다...
Spring Boot로 MSA 개발하기
·
WEB/Spring
Spring Boot MSA 정의1. 마이크로서비스 아키텍처(MSA, Microservices Architecture)정의: MSA는 애플리케이션을 여러 개의 독립적이고 자율적인 작은 서비스들로 분리하여 개발하고 운영하는 아키텍처 스타일입니다. 각 서비스는 특정 비즈니스 기능을 담당하며, 서로 독립적으로 배포, 확장 및 유지보수가 가능합니다.2. 스프링 부트(Spring Boot)정의: 스프링 부트는 스프링 프레임워크의 하위 프로젝트로, 복잡한 설정 없이 간단하게 스프링 기반 애플리케이션을 개발할 수 있게 해주는 프레임워크입니다. 자동 설정, 내장 서버, 독립 실행형 애플리케이션을 쉽게 만들 수 있는 기능들을 제공합니다.3. 스프링 부트 MSA의 주요 특징서비스 분리: 각 마이크로서비스는 독립적으로 개발..
Spring Boot와 React를 사용하여 MSA 프로젝트 만들기
·
프로젝트
Spring Boot와 React.js 를 모두 구성하여 MSA로 모듈별 프로젝트를 생성 및 관리 사용한 툴React, Spring Boot, HTML5, MySql, vscode, ECLIPSE, Spring Security, Gradle, Redis, RabbitMQ 개요리액트와 스프링 부트를 연동하여 MSA로 구성된 프로젝트를 만들고 싶었습니다. 현재 두개의 모듈과 하나의 데이터 베이스로 연동을 하였고 JWT를 사용하여 인증 설정을 해놓았습니다. 설계 Spring 구성사용한 버전Node : v20.16.0 Spring Boot : 3.3.3 JDK : 17 react : 18.3.1redis : 3.05RabbitMQ : 3.13.7 React 구성요소# 프로젝트 생성 및 실행mkdir 본인 프로젝..
[프로그래머스] 리코쳇 로봇 - Java(자바)
·
자바/코딩테스트
문제 이해리코쳇 로봇이라는 보드게임이 있습니다.게임판에는 "." - 빈공간, "R" - 로봇, "D" - 장애물, "G" - 목표지점 으로 구성되어있고 "R", "G는 무조건 하나씩 존재합니다.로봇이 목표지점으로 갈 수 있는 최소의 경로를 찾아야합니다.로봇은 상하좌우로 움직일수 있으며 한번 움직일때 미끄러져서 맨끝까지 가거나 장애물을 만나기전까지 멈추지 않습니다.로봇이 목표지점으로 갈 수 없다면 -1로 return 해주세요로봇이 상하좌우 움직일때마다 맨끝까지 or 장애물에 멈추게 move 함수를 만든다.0 - 상 , 1 - 하, 2 - 좌, 3 - 우 로 판단하여 만들었다.움직일 때마다 이동 count + 1 하고 방문했던적이 없다면 큐에 집어 넣고 아니라면 방향을 바꿔가며 이동한다.이동한 좌표가 "G"..
[프로그래머스] 야근 지수 - Java(자바)
·
자바/코딩테스트
문제 이해N 시간 동안 야근을 해야한다.작업량 works 배열만큼 남아있는데 이 작업량은 1시간에 1만큼 줄어들며 N시간이 다 지난후 작업량들의 제곱 합이 야근의 피로도이다.피로도를 최소화하고자 한다.문제를 보면 작업량들의 제곱 합이 최소값이 되도록 해야한다. 그렇다는건 작업량들의 수치들이 모두 비슷한 값이면 제곱 합이 되면 최소값이 될 수 있다는 뜻이다.N시간 보다 남은 작업량이 작다면 피로도는 0으로 return 해준다.작업량을 모두 근사치로 만들기 위해 작업량의 최대값을 뽑아 -1 씩 빼는걸 N시간 만큼 반복할 것이다.반복과 정렬이 모두 가능하도록 우선순위 큐 PriorityQueue 를 사용하고자 한다.큐의 최대값을 뽑은 값을 -1을 하여 다시 집어 넣는 방식을 N 이 0이 될때까지 반복한다.큐의..
[프로그래머스] 행렬 테두리 회전하기 - Java(자바)
·
자바/코딩테스트
문제 이해rows x , columns y 의 행을 가지고 있는 행렬이 있다.queries 배열에는 (x1,y1,x2,y2) 의 좌표값을 가지고 있는데 해당 좌표 (x1,y1) 에서 (x2,y2) 범위를 지정하여 테두리 영역만 시계방향으로 한번 회전 시킨다.queries 배열에 있는 만큼 회전을 반복한다.회전 할때마다 나오는 최소값들을 배열에 담아서 나타내라.소용돌이 문제로 인식하여 좌표범위의 영역을 상,하,좌,우 방향으로 회전시키면서 배열에 저장시켰다.시계방향으로 회전하면서 이전 좌표의 값을 한칸씩 옮겨야하는데 현재 배열을 그대로 사용하면 이전 좌표값의 값을 알수 없기에 copyArr 배열을 준비하여 소용돌이를 도는동안 copyArr 배열의 값으로 이전 좌표값을 알아낼수 있다.소용돌이가 한바퀴 완료하면..
[Linux] Tomcat catalina.out 날짜별 관리하기
·
WEB/기초
catalina.out 날짜 별 로그 관리하기rotatelogs 사용하여 로그 나누기logrotate 사용하여 로그 나누기catalina.sh 에 date 포맷 추가하기Log4j2 RollingFile 사용하기  톰캣기반 어플리케이션을 개발하고 운영하다보면 catalina.out에 로그가 계속 쌓여서 그 크기를 관리하기 어렵고 보기도 불편하다. 톰캣 설정으로 서버 재시작시 catalina.out을 초기화 시킬수 있지만 이것도 또한 이전 로그가 남아 있지 않아 운영에 있어서 좋지 않다. 날짜별로 나누기 위에서는 위와 같이 4가지 방식이 있는데 프로젝트 상황이나 성향에 따라 사용하여 로그를 날짜별로 나눠서 관리하는 방법을 공유하고자 한다. 1. rotatelogs 사용하여 로그 나누기Apache 에서 제공하..
대전집주인
상단으로

티스토리툴바