bong-u/til

🤖 인공지능

RAG (Retrieval-Augmented Generation) RAG는 검색과 생성을 결합한 모델로, 검색을 통해 얻은 정보를 바탕으로 생성을 수행하는 모델 LLM의 문제점 할루시네이션: 생성 모델이 훈련 데이터에 없는 내용을 생성하는 현상 최신의 응답을 기대하는 상황에서 오래되었거나 일반적인 정보를 생성하는 문제 신뢰할 수 없는 출처로부터 정보를 생성하는 문제 RAG는 위에서 서술한 LLM 문제의 일부를 해결하기 위해 사용할 수 있는 수단이다. OpenSearch OpenSearch는 오픈소스 검색 및 분석 엔진으로, 엘라스틱서치의 포크 버전 벡터 데이터베이스 : 벡터 데이터를 저장하고 쿼리할 수 있는 데이터베이스 주요 기능 분산 검색 및 분석 보안 시각화와 대시보드 지원 index와 document index : 데이터베이스 document : 데이터베이스에 저장되는 데이터 분석 분석기 Analyzer (Character Filter + Tokenizer + Token Filter) 텍스트를 토큰화하고 필터링하는 과정을 수행 분석 과정 Character Filter 특정 문자를 제거하거나 변경하는 등의 작업을 수행 Tokenizer 기본적으로 공백을 기준으로 텍스트를 분리 Token Filter 토큰을 추가하거나 제거하는 등의 작업을 수행 OpenSearch에서 지원하는 요소 Tokenizer Standard Tokenizer : 공백을 기준으로 텍스트를 분리, 문장 부호 삭제 Letter Tokenizer : 문자를 기준으로 텍스트를 분리 Whitespace Tokenizer : 공백을 기준으로 텍스트를 분리 Ngram Tokenizer : 부분 문자열로 텍스트를 분리 Token Filter Standard Token Filter : 아무것도 하지 않음 Lowercase Token Filter : 텍스트를 소문자로 변환 Synonym Token Filter : 동의어 처리 Analyzer Standard Analyzer : Standard Tokenizer + Standard Token Filter Simple Analyzer : Letter Tokenizer + Lowercase Token Filter Whitespace Analyzer : Whitespace Tokenizer + Lowercase Token Filter OpenSearch 접근을 위한 cURL 명령어 인덱스 조회 1curl -X GET -u {username}:{password} \ 2"http://localhost:9200/_cat/indices" 특정 인덱스 조회 1curl -X GET -u {username}:{password} \ 2"http://localhost:9200/{index_name}" 전체 검색 결과 조회 1curl -X GET -u {username}:{password} \ 2"http://localhost:9200/{index_name}/_search" 특정 검색어로 검색한 결과 조회 1curl -X GET -u {username}:{password} \ 2"http://localhost:9200/{index_name}/_search" \ 3-H "Content-Type: application/json" \ 4-d '{"query": {"match": {"field": "value"}}}' 인덱스 삭제 1curl -X DELETE -u {username}:{password} \ 2"http://localhost:9200/{index_name}"

OpenSearch를 활용한 RAG 실습

🤖 인공지능

배경 테커 부트캠프에서 팀프로젝트를 진행 중이다. 우리 팀의 주제는 특정 인물에게 상담을 받는 것 같은 대화를 할 수 있는 챗봇을 만드는 것이다. 이를 위해 특정 인물이 했던 말을 모아 데이터셋으로 만들고 이를 RAG 모델에 적용시키려고 한다. 순서 일론 머스크가 TED에서 한 인터뷰를 텍스트로 가져온다. OpenSearch 도커 컨테이너를 실행한다. 텍스트 데이터를 임베딩해서 OpenSearch에 저장한다. RAG 모델이 OpenSearch를 쿼리하여 대답을 생성한다. 1. 일론 머스크 인터뷰 텍스트 가져오기 유튜브에서 “스크립트 보기"를 통해 인터뷰 자막을 가져온다. 122:03 2EM: 이 큰 트럭을 몰면서 말도 안되는 움직임을 보였죠. 3CA: 아주 멋지네요. 자, 그럼 정말 굉장한 사진에서 422:09 5조금은 덜 굉장한 사진을 보죠. "위기의 주부들"인가에서 나오는 귀여운 집 사진인데요. 622:15 7이게 갑자기 왜 나온거죠? 8... 일론 머스크가 한 말만 손수 정리한다. 1네. 제 스스로도 그 질문을 자주 하는 편입니다. 2저희는 LA의 지하에 구멍을 내려고 하는데요. 이는 교통 체증을 완화시키기 위한 33차원 네트워크의 터널이 될 수도 있는 시발점을 만들기 위함입니다. 4교통 체증은 오늘날 우리의 영혼을 탈탈 터는 문제 중의 하나입니다. 5세계 모든 사람들에게 영향을 끼치고 있죠. 인생에서 너무도 많은 부분을 가져갑니다. 6... 2. OpenSearch 도커 컨테이너 실행 1docker create -it -p 9200:9200 -p 9600:9600 -e OPENSEARCH_INITIAL_ADMIN_PASSWORD={password} -e "discovery.type=single-node" -v opensearch_vol:/usr/share/opensearch/data --name opensearch opensearchproject/opensearch 설명 -p 9200:9200 : OpenSearch HTTP 포트 -p 9600:9600 : OpenSearch 모니터링 포트 -e OPENSEARCH_INITIAL_ADMIN_PASSWORD={password} : 초기 비밀번호 설정 -e “discovery.type=single-node” : 단일 노드로 실행 -v opensearch_vol:/usr/share/opensearch/data : 데이터 볼륨 마운트 SSL 오류 발생과 해결 하지만 위 명령어로 실행하면 컨테이너 내부에서 오류가 발생한다 12024-07-05 22:15:12 Caused by: io.netty.handler.ssl.NotSslRecordException: not an SSL/TLS record: ... 22024-07-05 22:15:12 at io.netty.handler.ssl.SslHandler.decodeJdkCompatible(SslHandler.java:1314) ~[netty-handler-4.1.110.Final.jar:4.1.110.Final] 32024-07-05 22:15:12 at io.netty.handler.ssl.SslHandler.decode(SslHandler.java:1387) ~[netty-handler-4.1.110.Final.jar:4.1.110.Final] 42024-07-05 22:15:12 at io.netty.handler.codec.ByteToMessageDecoder.decodeRemovalReentryProtection(ByteToMessageDecoder.java:530) ~[netty-codec-4.1.110.Final.jar:4.1.110.Final] 52024-07-05 22:15:12 at io.netty.handler.codec.ByteToMessageDecoder.callDecode(ByteToMessageDecoder.java:469) ~[netty-codec-4.1.110.Final.jar:4.1.110.Final] 62024-07-05 22:15:12 ... 16 more 프로젝트 기간이 길지 않고, 해당 포트는 외부에 노출할 필요가 없으므로 SSL을 끄고 실행하는 것으로 해결하였다. 1/usr/share/opensearch/config/opensearch.yml 2# 변경 전 3plugins.security.ssl.http.enabled: true 4# 변경 후 5plugins.security.ssl.http.enabled: false 3. 텍스트 데이터 임베딩 및 OpenSearch에 저장 RAG 세션을 해주신 멘토님이 짜준 코드를 적극! 참고하여 작성하였다. OpenSearch 인덱스 생성 1from opensearchpy import OpenSearch 2import torch 3from transformers import AutoTokenizer, AutoModel 4from langchain.text_splitter import RecursiveCharacterTextSplitter 5from langchain_community.document_loaders import TextLoader 6from langchain_community.vectorstores import OpenSearchVectorSearch 7 8INDEX_NAME = "elon_musk" 9FILE_NAME = "ted_elon_musk_script.txt" 10 11## OpenSearch 연결 설정 12client = OpenSearch( 13 hosts=[{"host": "localhost", "port": 9200}], http_auth=("admin", {password}) 14) 15 16## 텍스트 데이터 불러오기 17loader = TextLoader(file_path=FILE_NAME, encoding="utf-8") 18docs = loader.load() 19 20text_splitter = RecursiveCharacterTextSplitter( 21 chunk_size=100, 22 chunk_overlap=0, 23 separators=["\n"], 24 length_function=len, 25) 26 27documents = text_splitter.split_documents(docs) 28 29# print(documents) 30 31## Embedding 모델 정의 32class MyEmbeddingModel: 33 def __init__(self, model_name): 34 self.tokenizer = AutoTokenizer.from_pretrained(model_name) 35 self.model = AutoModel.from_pretrained(model_name) 36 37 def embed_documents(self, doc): 38 inputs = self.tokenizer( 39 doc, return_tensors="pt", padding=True, truncation=True, max_length=512 40 ) 41 42 with torch.no_grad(): 43 outputs = self.model(**inputs) 44 embeddings = outputs.last_hidden_state.mean(dim=1).tolist() 45 46 return embeddings 47 48 def embed_query(self, text): 49 inputs = self.tokenizer( 50 [text], padding=True, truncation=True, return_tensors="pt", max_length=512 51 ) 52 with torch.no_grad(): 53 outputs = self.model(**inputs) 54 embeddings = outputs.last_hidden_state.mean(dim=1).tolist() 55 return embeddings 56 57 58## index 구조 정의 59index_body = { 60 "settings": { 61 "analysis": { 62 "tokenizer": { 63 "nori_user_dict": { 64 "type": "nori_tokenizer", 65 "decompound_mode": "mixed", 66 "user_dictionary": "user_dic.txt", 67 } 68 }, 69 "analyzer": { 70 "korean_anlyzer": { 71 "filter": [ 72 "synonym", "lowercase", 73 ], 74 "tokenizer": "nori_user_dict", 75 } 76 }, 77 "filter": { 78 "synonym" :{ 79 "type": "synonym_graph", 80 "synonyms_path" : "synonyms.txt" 81 } 82 } 83 } 84 } 85} 86 87## Embedding 모델 생성 88my_embedding = MyEmbeddingModel("monologg/kobert") 89 90## OpenSearch에 데이터 삽입 91vector_db = OpenSearchVectorSearch.from_documents( 92 index_name=INDEX_NAME, 93 body=index_body, 94 documents=documents, 95 embedding=my_embedding, 96 op_type="create", 97 opensearch_url="http://localhost:9200", 98 http_auth=("admin", {password}), 99 use_ssl=False, 100 verify_certs=False, 101 ssl_assert_hostname=False, 102 ssl_show_warn=False, 103 bulk_size=1000000, 104 timeout=360000, 105) 106 107result = vector_db.add_documents(documents, bulk_size=1000000) tokenizer는 한국어를 지원하는 “nori_tokenizer"를 사용하였다. embedding 모델은 저거 말고도 여러가지가 존재하는데, 어떤 모델이 프로젝트에 가장 부합하는 모델인지는 실험을 해볼 것이다. curl을 통해 localhost:9200/elon_musk/_search로 요청을 보내 임베딩한 데이터가 잘 들어갔는지 확인할 수 있다. 4. RAG 모델이 OpenSearch를 쿼리하여 대답 생성 1from langchain.prompts import PromptTemplate 2from langchain.chains import LLMChain 3from langchain_openai import ChatOpenAI 4from opensearchpy import OpenSearch 5import os 6 7INDEX_NAME = "elon_musk" 8 9# 환경변수 설정 10os.environ["OPENAI_API_KEY"] = {api_key} 11 12llm = ChatOpenAI( 13 model_name="gpt-3.5-turbo", 14) 15 16prompt_template = PromptTemplate( 17 input_variables=["context", "question"], 18 template=""" 19Imagine you are {character_name}, 20a wise and experienced advisor. Given the context: "{context}", 21how would you respond to this inquiry: "{question}"?', 22(in korean) 23""", 24) 25 26 27llm_chain = LLMChain(llm=llm, prompt=prompt_template) 28 29client = OpenSearch( 30 hosts=["http://localhost:9200"], 31 http_auth=("admin", {password}), 32 use_ssl=False, 33 verify_certs=False, 34 ssl_assert_hostname=False, 35 ssl_show_warn=False, 36) 37 38def search_documents(query): 39 search_body = {"query": {"match": {"text": query}}} 40 response = client.search(index=INDEX_NAME, body=search_body) 41 hits = response["`its"]["hits"] 42 return [hit["_source"]["text"] for hit in hits] 43 44if __name__ == "__main__": 45 question = input("Enter your question\n") 46 search_results = search_documents(question) 47 48 print(search_results) 49 50 # context = " ".join(search_results) 51 context = "" 52 53 response = llm_chain.invoke({"character_name": INDEX_NAME, "context": context, "question": question}) 54 55 print (response["text"]) OpenSearch에 저장된 데이터를 쿼리하여 RAG 모델에 넣어 대답을 생성한다. search_documents 함수를 통해 OpenSearch에 쿼리를 보내고, 그 결과를 context로 사용한다. 결과 질문 테슬라에 대해서 어떻게 생각해? RAG를 사용하지 않았을 때의 대답 테슬라는 혁신적인 기업으로서 미래를 향한 비전을 가지고 있습니다. 그들의 전기 자동차 기술과 에너지 솔루션은 전 세계적으로 주목받고 있습니다. 테슬라의 혁신적인 접근 방식과 지속 가능한 비즈니스 모델에 대해 매우 긍정적으로 생각하고 있습니다. RAG를 사용할때 적용된 context [‘길게 갈 것 같지는 않아요.\n그러네요. 저는 최대한 오랫동안 테슬라에 머물 생각이에요.\n그리고 준비 중에 있는 흥미로운 일도 많고요. 아시다시피, 모델 3이 출시 예정이고요.’, ‘올해 말까지 LA에서 뉴욕까지\n완전 자율 주행으로 횡단하는 계획에 맞춰서 진행 중이에요.\n사람이 테슬라에 타서 운전대를 잡지 않고 “뉴욕"을 찍으면 그리로 간다는 말이네요.’, ‘길게 갈 것 같지는 않아요.\n그러네요. 저는 최대한 오랫동안 테슬라에 머물 생각이에요.\n그리고 준비 중에 있는 흥미로운 일도 많고요. 아시다시피, 모델 3이 출시 예정이고요.’, ‘올해 말까지 LA에서 뉴욕까지\n완전 자율 주행으로 횡단하는 계획에 맞춰서 진행 중이에요.\n사람이 테슬라에 타서 운전대를 잡지 않고 “뉴욕"을 찍으면 그리로 간다는 말이네요.’] RAG를 사용할 때의 대답 저는 테슬라를 매우 긍정적으로 생각합니다. 테슬라는 혁신적인 기술과 지속 가능한 미래를 위한 비전을 갖춘 기업으로서, 자율 주행 기술을 통해 우리의 삶을 혁신하고 있습니다. 또한, 전기차 시장을 선도하고 환경에 친화적인 차량을 제공하는 멋진 기업이라고 생각합니다. 테슬라의 미래가 밝고 흥미로운 일들이 계속해서 일어날 것이라고 믿습니다. 고찰 확실히 RAG를 사용하지 않았을 때는 객관적이고 일반적인 대답을 하는 반면, RAG를 사용할 때는 테슬라에 대해 긍정적인 일론 머스크의 대답과, 자율주행 기술을 언급했다는 것을 반영하여 대답을 생성하였다.

컴파일러개론

🏫 학과 공부

개요 컴퓨터와 인간이 소통하는 방법 어셈블리어 어셈블리어의 번역기는 어셈블러(Assembler)라고 한다 cpu칩셋이 바뀔때마다 어셈블리어가 바뀐다 고급언어 고급언어의 번역기는 컴파일러(Compiler)라고 한다 컴파일러의 정확한 정의 어떤 언어로 쓰여진 프로그램을 같은 역할의 다른 언어로 바꿔주는 프로그램 1952년 그레이스 호퍼(Grace Hopper)가 UNIVAC용 프로그래밍언어 A-0 컴파일러를 제작 컴파일러 vs 인터프리터 프로그램 처리과정 컴파일러의 처리 과정 Lexical analysis (어휘 분석) token을 생성하는일, token은 어휘의 최소 단위 Syntax analysis (구문 분석) token을 읽어서 오류를 검색, 구문 구조를 만든다 (주로 트리형태) Semantic analysis (의미 분석) type checking Intermediate code generation (중간 코드 생성) 중간 코드로 변환 Code optimization (코드 최적화) 중간 코드를 더 효율적으로 변환 Code generation (코드 생성) 목적 코드 생성 Lexical analysis (어휘 분석) token : 문법적으로 의미있는 최소 단위 FSA (Finite State Automata, 유한 상태 오토마타) token을 인식하는 방법 시작 상태 한 개와 끝 상태 여러 개를 가짐 DFA (Deterministic Finite Automata) FSA의 한 종류 각 상태에서 뻗어나가는 edge가 하나씩만 존재 ε가 붙은 edge 없음 분석한 토큰을 표현하는 방법 Lexeme = <토큰번호, 토큰 값> 예시 if X < Y … (29, 0) (1, X) (18, 0) (1, Y) … 식별자의 토큰번호는 1번, 상수는 2번 등으로 고정 Syntax analysis (구문 분석) token을 읽어서 오류를 검색, parse tree를 만든다 CFG (Context Free Grammer) 구문을 표현하는 방법 G = (N, T, P, S) N = nonterminal symbol 알파벳 대문자로 표현 T = terminal symbol (token) 알파벳 소문자+숫자, 연산자, 구분자, 키워드 등 P = production rule 예) S -> T+T, T -> ‘0’|‘1’|‘2’ S = start symbol L(G) : 이 문법으로 생성되는 언어 여러가지 CFG 표현법 BNF (Backus-Naur Form) EBNF (Extended BNF) 유도 (derivation) 생성 규칙를 적용하여 문장을 생성하는 과정 유도를 하는 과정에서 하나씩 골라서 바꿈 유도 트리 : 유도 경로를 추상화 시켜 표현한 것 좌측 유도(leftmost derivation) 가장 왼쪽에 있는 nonterminal을 먼저 대치 우측 유도(rightmost derivation) 가장 오른쪽에 있는 nonterminal을 먼저 대치 모호성 (ambiguity) 문법 G에 의해 생성되는 어떤 문장이 두개 이상의 유도트리를 갖는다면 문법 G는 모호하다고 한다 모호하지 않은 문법은 좌측 유도와 우측 유도가 같다 모호성 해결 연산자 우선순위 도입 결합 법칙 도입 Left Recursion은 좌측 결합에 사용 ex) A -> A+a | a Right Recursion은 우측 결합에 사용 ex) A -> a+A | a 구문 분석의 2가지 방식 top-down, bottom-up Top-down parsing Top-down 방식 좌측 유도와 같은 순선의 생성 규칙 적용 backtracking : 유도된 문자열과 입력 문자열이 같지 않으면 다른 생성규칙 적용 Bottom-up 방식 우측 유도의 역순의 생성 규칙 적용 LL 파싱 왼쪽->오른쪽으로 읽어서 좌파스 생성 backtracking X, 빠르다 결정적으로 파싱 사용된 정의 ε-생성규칙 Nonterminal A가 ε를 유도할 수 있으면 A를 nullable하다고 부른다 lhs, rhs A->XXX에서 lhs는 A, rhs는 XXX ⊕ (Ring Sum) A에 ε가 있으면, A⊕B = (A에서 ε빼고 A 합집합 B) A에 ε가 없으면, A⊕B = A First nonterminal A로 부터 유도되어 첫번째로 나타날 수 있는 terminal의 집합 X->Y1Y2Y3일때, FIRST(X) = FIRST(X) U FIRST(Y1) ⊕ FIRST(Y2) ⊕ FIRST(Y3) Follow A 다음에 나오는 terminal의 집합 A->αBβ, β != ε 일때, FOLLOW(B) = FOLLOW(B) U (FIRST(β)-{ε}) A->αB 또는 A->αBβ, FIRST(β)에 ε가 속할 때, FOLLOW(B) = FOLLOW(B) U FOLLOW(A) LL조건 FIRST(α)와 FIRST(β)가 겹치면 안된다 FIRST(α)에 ε가 있으면, FOLLOW(α)와 FIRST(β)가 겹치면 안된다 LL 조건을 만족하는 문법 = LL 파싱 되는 문법 LL(1) 문법 임의의 문법에 대하여 LL 조건을 만족하는 CFG 1 : LOOKAHEAD가 1개라는 의미 다음과 같은 경우 LL(1)문법이 되지 않는다 모호한 문법 우선순위 주기, 결합법칙 반영으로 해결 left-factoring이 되는 경우 공통 앞부분을 새로운 nonterminal로 만들어 해결 left-recursive한 경우 직접 recursion : A -> Aε 인경우 간접 recursion : A -> B, B -> A 인경우 LOOKAHEAD 어떤 규칙이 적용되었을때 맨 처음 나올 수 있는 terminal 집합 A->X1X2X3일때, LOOKAHEAD(A) = FIRST(X1) ⊕ FIRST(X2) … ⊕ FOLLOW(A) Strong LL(1) LL(1)과 항상 동일 (1이 아닐때는 다름) LOOKAHEAD(A->α)와 LOOKAHEAD(A->β)가 겹치지 않는 문법 LL(1) 파서 구현 방법 Recursive descent parser 장점 : 직관적 쉽다 단점 : 생성 규칙이 바뀌면 구문 분석기를 고쳐야 한다 Predictive parser PDA(PushDown Automata)에 기반 생성 규칙이 바뀌면 파싱 테이블만 수정 파싱테이블 예시 (?에는 규칙번호가 들어간다) a b S ? ? A ? ? 파싱테이블에 두개 이상의 생성 규칙이 들어가는 경우 -> NOT LL(1) Stack의 예시 Bottom-up parsing left-recursive 문법도 파싱 가능 LL(k) 좌측유도 기반 k개의 symbol을 lookahead Top-down parsing, recursive descent parsing, predictive parsing, LL parser 파스트리를 pre-roder로 순회 및 생성 LR(k) 우측유도 기반 k개의 symbol을 lookahead Bottom-up parsing, shift-reduce parsing, LR parser 파스트리를 post-order로 순회 및 생성 Reduce S=>αβω이고 A->β이면 β를 A로 대치하는 것 : S=>αAω 시작 symbol이 나올 때까지 reduce 한다 Handle S=>αβω이고 A->β이면 β를 αβω의 handle이라고 한다 두 개 이상의 handle이 존재할때 -> 모호하다 Shift와 Reduce로 Parsing 하기 Stack의 예시 Issue Shift와 Reduce 중 어느 것을 할까? Stack의 top에서 얼마만큼을 handle로 볼 것인가? 해결방법: LR Parsing Table YACC LALR 파서 생성기 foo.y –(yacc)–> y.tab.c –(gcc)–> a.out *.y 파일 구조 1<선언부> 2... 3%% 4... 5exp : exp '+' term; 6factor : ident; 7... 8%% 9<여러 함수> 모호한 문법으로 LR Conflict 발생 시 선언부에서 우선순위 지정하여 해결 LR Parsing Table Action table : Action + Parser 상태 Goto table : Parser 상태 LR(0) 파싱 테이블 만들기 LR(0) 아이템 rhs에 점(’.’) symbol을 가진 생성 규칙 ex) A->α.β, A->. closure 점(’.’)뒤에 non-terminal이 오면 재귀적으로 추가 S’ -> S, S -> (L)|id, L -> S | L,S closure({[S’->.S]}) = {[S’->.S], [S->.(L)], [S->.id]} goto goto(I, X)이면 점을 X뒤로 옮기고 closure를 취한다 X가 없으면 넣지 않는다 I={[G->E=E], [E->E.+T]} 일때, goto(I, +) = closure({E->E+.T}) : 점을 +뒤로 옮김 C0 생성규칙 S’->S에서부터 차례로 closure와 goto를 적용하여 얻은 모든 타당한 LR(0)의 아이템 집합들 Item의 종류 [A->X.Y] : X!=ε일때 kernel item [A->.X] : closure item [A->X.] : reduce item SLR 파싱 테이블 만들기 reduce Item이 [X->α.]일때, FOLLOW(X)의 모든 terminal에만 reduce action을 넣는다 나머지는 LR(0)과 똑같다 LR(0)보다 conflict가 적어, 더 정교하다고 할 수 있다. LALR Parsing 정교한 순서 LR(0) < SLR < LALR(1) < LR(1) 파서 상태의 개수 SLR = LALR « LR(1) SDD, AST SDD (Syntax Directed Definition) SDD : semnatic action을 정의하는 추상적인 명세서 Semnatic Actions : 규칙에 대한 Action Yacc/Bison : $$, $1, $2, ... 사용 ANTLR : $<name> 사용 Type declaration Attribute 종류 synthesized attr. : children에 의해 계산 (terminal) inherited attr. : parent, sibling에 의해 계산 AST (Abstract Syntax Tree) 파스트리에서 불필요한 정보를 제거한 형태 AST를 만드는 방법 파싱단계에서 만들기 : LL, LR 파스트리를 순회하면서 만들기 : SDD 사용 (Yacc etc.) evaluation : 노드를 방문하면서 작업하는 행위 On-the-fly evaluation S-attributed SDD: synthesized attribute만 가지고 있는 SDD L-attributed SDD: synthesized attribute만 가지는 경우 + 값이 왼쪽에서 오른쪽으로 흘러 계산이 이루어지는 경우 IR (Intermediate Representation) IR이란? Tree나 Instruction list 형태 instruction(node)가 적어야 최적화/번역에 좋음 High Level IR High와 Low는 상대적인 개념 High level IR: 여기서는 AST의 변형만 생각 종류 : AST, TCOL Low Level IR 단순한 instruction으로 구성 가상기계(주로 RISC)를 emulate N-tuple 표기법 (3-address code) a = b OP c 일반적으로 기계어가 가지는 피연산자 개수 <= 3 quadruple : (연산자, 피연산자1, 피연산자2, 결과) Stack machine code Java byte code, U-code : AST로부터 생성이 용이 Tree 표현 기계어 생성 용이 IR 예시 GCC - GIMPLE (3-address code) GCC의 중간코드 : GENERIC -> GIMPLE -> RTL 1D.1954 = x*10 // D.1954는 임시변수 2gimple_assign <mult_exprt, D.1954, x, 10> LLVM - bit (3-address code) LLVM IR : 언어와 머신에 독립적 1@var = global i32 14 ; 전역변수 var에 14 대입 2define i32 @main() nounwind { ; i32(int) 반환형 3 entry: 4 %a = alloca i32, align 4 ; 지역변수 a 선언, int 할당 5 %1 = load i32 * @var ; %1 임시변수에 var값 대입 6 ret i32 %1 ; 임시변수 값 반환 7} JVM - byte code (stack machine code) 가상 기계 코드 (Bytecode, MSIL) 가상 기계에서 동작하도록 함 이식성, 호환성이 목적 : java bytecode는 machine 호환성, c# msil은 language 호환성 1public Employee(String strName, int num) 2{name = strName; idNumber = num; storeData(strName, num);} 3Method Employee(java.lang.String, int) 4 50 aload_0 ; 0번째 로컬변수(this)를 스택에 push 61 invokespecial #3 <Method java.lang.Object()> ; 함수 호출 7--- 84 aload_0 95 aload_1 ; strName을 스택에 push 106 putfield #5 <Field java.lang.String name> ; name에 strName 대입 11--- 129 aload_0 1310 iload_2 ; num을 스택에 push 1411 putfield #7 <Field int idNumber> ; idNumber에 num 대입 15--- 1614 aload_0 1715 aload_1 ; strName을 스택에 push 1816 iload_2 ; num을 스택에 push 1917 invokespecial #9 <Method void storeData(java.lang.String, int)> ; 함수 호출 2020 return line number : 명령이 시작하는 바이트 주소 aload : 객체를 push, iload : 정수를 push 원래는 aload가 명령, 자주 쓰는 명령 aload 0을 묶어서 bind -> aload_0 CIL (Common Intermediate Language) (stack machine code) C#, VB.NET, J# 등에서 사용 MSIL은 옛날 이름 1.assembly Hello {} ; .assembly: 어셈블리 선언 2.assembly extern mscorlib {} 3.method static void Main() { 4 .entrypoint 5 .maxstack 1 6 ldstr "Hello, world!" ; stack에 저장 7 call void [mscorlib]System.Console::WriteLine(string) 8 ret 9} GCC RTL(Register Transfer Language) (Tree구조 코드) Lisp S-expression 사용 1(set (reg:SI 140) 2 (plus:SI (reg:SI 138) 3 (reg:SI 139))) => reg140 = reg138+reg139 IR generation 3-address Translation 규칙 Binary operations: t = [[el OP e2]] Unary operations: t = [[OP el]] Array access: t = [[ v[e] ]] Structure access: t = [[ v.f ]] Short-circuit OR: t = [[ el SC-OR e2]] Statement sequence: [[s1; s2; ...; sN]] Variable assignment: [[ v = e ]] Array assignment: [[ v[e1] = e2 ]] If: [[ if(e) then s ]], [[ if(e) then s1 else s2]] While: [[ while (e) s ]] Switch: [[ switch (e) case v1:s1, ..., case vN:sN ]] Function Call: [[ call f(e1, e2, ..., eN) ]] Fucntion Return: [[ return e ]] Statement Expression Statement도 expression 처럼 값을 가지도록 확장 t = [[ S ]]를 추가하여 결과값을 저장하자 Nested Expressions t = [[ (a - b) * (c + d) ]] t = [[ if c then if d then a = b ]] 가장 큰 덩어리부터 바꾼다 Storage Management 2가지 Storage Register : 빠른 접근, 간접 접근 불가 Memory : 상대적으로 느린 접근, 간접 접근 가능 2가지 접근 방식 All memory approach 모든 변수를 memory에 저장, 가능한것만 register Standard approach Global, Statics, Local(composite)는 memory에 저장 Local(scalar)는 memory 또는 virtual register에 저장 Memory의 4대 영역 Code space : 명령어를 저장 read-only일때 빠름 Static data : 프로그램과 lifetime을 함께하는 데이터 Stack : Local 변수들 Heap : 동적으로 할당되는 데이터 File Format Windows : PE (Portable Executable) Unix : ELF (Executable and Linkable Format) 변수 바인딩 environment : <변수, storage location> 정보 state: <변수, 값> 정보 어떤 변수 N이 storage location S에 지정되면 바인딩 된다고 한다 Static Allocation 프로그램 수행하는 동안 변하지 않는 location으로 바인딩 Heap Allocation 연속적인 global 영역의 일부를 OS로부터 받은 것 프로그램 수행 중 요청과 반환 Stack Management Run-time stack : 한 함수 call마다 하나씩두는 frames Activation record : 함수 수행을 위한 execution env(local var, parameter, return address, etc.) Top frame : 현재 수행중인 함수의 frame Stack pointers SP : Frame top FP : Frame base 두 개를 쓰는 이유 가까운 거 기준으로 offset 계산 -> small offset 유지 수행 중 top frame의 위치를 알 수 없음 Semantic Analysis - Symbol Tables Scope Identifier: 식별자 Lexical Scope: 특정 범위 식별자의 Scope: 그 식별자의 선언이 참조되는 lexical scope Symbol Table Name Kind Type Attribute foo func int, int -> int extern m arg int tmp var char const 하나의 lexical마다 하나의 symbol table symbol table은 계층적이다 현재 scope에 없으면 상위 scope로 올라가면서 찾는다 Symbol Table Implementation AST가 만들어져야 가능 Local Table은 hash table 사용 Global Table은 N-array tree 구조 사용 코드를 순차대로 읽으면서 만듬 (scope 스택을 사용) Type Checking Type Expressions Array types: T[], T[10] Structure types : {id1: T1, id2: T2 …} Pointer types: T* Function types: T1 X T2 X … X Tn -> T_return Type Judgement A ├ E : T A 상황에서 E는 T타입을 만족한다 A ├ if(E) S1 else S2 : T 위 조건은 모든 E, S1, S2, A, T에 대한 가정이 성립할 때 결론 T가 성립한다 Proof Tree (타입 유도 트리) 역삼각형 모양 만족하는 proof tree가 있다 -> 타입 오류가 없다 그 외 Semantic Analyses break, continue, goto 문이 올바른 위치에 있는 지 등 컴파일러 후반부 (빠르고, 실제 돌아가는 코드로 바꾸기) Instruction Selection Tree 기반 Intermediate Representation MEM(e) : 주소 e로 시작하는 메모리 한 word의 내용 TEMP(t) : 레지스터 t SEQ(s1, s2): 문장 s1 수행 후 s2 수행 ESEQ(s, e): 문장 s 수행 후 (결과 없음) e가 추가 수행 BINOP(o, e1, e2) : 연산자 o, 피연산자 e1, e2, 결과 저장된 주소 반환 const(i): 정수 상수 i Register Allocation 최적화 하기 위해 최대한 자주 사용되는 것을 Register에 저장 Interference 서로 다른 두 definition이 live range 에서 공통 operation을 가지고있는 경우 Interference Graph : 서로 interfere 하면 연결하는 그래프 Graph coloring : 연결된 노드는 다른 색으로 칠하기 Instruction Scheduling instruction의 순서를 바꾸어 stall 개수 등을 줄여서 수행속도를 높이는 것 stall : 다른 명령어 수행을 기다리느라 CPU를 낭비하는 것 목표 Wasting time을 줄인다 동일한 코드가 나와야한다 register spilling을 피해야한다 Static scheduling 단계 Local basic scheduling, Loop scheduling, global scheduling Local basic scheduling List scheduling : greedy, heuristic, local technique 사용 precedence graph를 만든다 각 노드에 priority function을 적용한다 “ready-operation queue"를 에서 ready operation을 하나 선택 후 scheduling, ready operation queue를 업데이트한다. Longest latency-weighted path를 이용해서 우선순위를 정한다 기타 Optimization 방법 addr r1 1 -> inc r1 특수 성질의 레지스터 활용 특수 목적의 명령어 활용 Register 간 mov 제거 중복된 load 제거 Control Flow Optimizations(최적화) 주어진 입력 프로그램을 좀 더 효율적인 코드로 바꾸는 것 여러가지 분류 방법 분석 : Control Flow Analysis vs Data Flow Analysis 최적화 Inner basic block(local) vs Inter basic block(global) Cyclic code opt vs Acyclic code opt Control Flow Analysis Control Flow 프로그램의 가능한 수행순서 (분기) Branch Execution -> dynamic control flow : 실행 해봐야 확인 가능 Compiler -> static control flow : 컴파일러가 분석해서 알 수 있음 Analysis 정적 성질 (static property): 프로그램 수행 없이 도출 되는 성질 CFA(Control Flow Analysis) : 코드의 분기 구조를 CFG 형태로 표현 Basic Block 동일한 execution condition을 적용받는 instruction 묶음 instruction 외에는 branch가 없음 Maximal basic block 구하기 BB의 leader(첫번째 instruction)를 찾는다 다음 leader 이전까지의 instruction을 구한다 Weighted CFG Profiling: 반복해서 수행해보면서 실행횟수를 얻음 얻은 weight를 edge에 표시 Control Flow Optimization Acyclic Code Loop가 없는 코드 분석 및 최적화가 상대적으로 쉬움 종류 Inner basic block opt. = Intra opt. = Local opt. Inter basic block opt. = Global opt. Inner Basic Block Optimization Commn subexpression elimination 공통된 부분이 있으면 한번만 계산 Algebraic simplification 대수법칙을 이용하여 식을 간소화 ex) x=1*y; -> x=y; Strength reduction 연산자의 비용이 적은 것으로 바꾸기 ex) x=x*2; -> x=x+x; ex) y=a/4; -> y=a>>2; Constant folding / propagation folding: 컴파일 시간에 상수식을 직접시간 propagation : 고정된 값을 가지는 변수를 상수로 대체 Inter Basic Block Optimization Global application of inner basic block optimization Global common subexpression elimination basic block 간의 공통 부분식에 대해 한번만 계산 Global constant folding / propagation basic block 간의 상수를 인식하여 한번만 계산 Other transformation Branch to unconditional branch 불필요한 분기 제거 Unconditional branch to branch 분기 후 바로 분기 -> 분기 한번으로 변경 Branch to next basic block (next instr) 분기 후 바로 다음 basic block으로 분기 제거 Basic block merging 두 basic block을 합침 Branch to same target 같은 basic block으로 분기하는 것을 제거 Branch target expansion 분기 대상이 되는 basic block을 합침 Unreachable code elimination Entry에서 도달할 수 없는 ‘unreachable’ block 제거 Loop Optimization Loop는 한번 optimize하면 효과가 크다 Loop unrolling : 반복문을 풀어서 반복 횟수를 줄임 Loop invarient : 매번 동일한 값을 내는 문장을 반복문 밖으로 빼냄 Count up to zero : i를 감소하는 반복문으로 변경 (i를 0과 비교하는 것이 n과 비교하는 것보다 빠름) Dataflow Analysis + Optimization Dataflow Analysis 프로그램 내에 각 data 값들이 생성/소멸되는 정보를 모으는 것 Reaching Definition Analysis definition : 해당 변수가 assign되는 것 reach : definition d가 특정 위치 p에 도달한다 kill : definition d의 두개의 포인트사이에서 다른 definition이 존재한다 GEN/KILL GEN: 블록 내에서 생성된 definition KILL: 블록 내에서 소멸된 definition IN/OUT IN : 이전 블록의 OUT의 합집합 OUT : IN에서 GEN을 더하고 KILL을 뺀 것

Nginx에서 HTTPS 설정하기

🔨 개발 도구

배경 테커 부트캠프를 진행중이다. 모든 프로그램은 docker-compose로 구성되어 있다. AWS EC2에 구동 중인 서버에 HTTPS를 적용하려고 한다. 도메인 구매 없이 시도를 했으나, AWS에서 제공하는 도메인으로 SSL 인증서를 발급받을 수 없었다. 따라서, 도메인을 구매하고, Route 53을 통해 도메인을 연결했다. 목표 Nginx를 이용하여 HTTPS를 적용한다. 방법 1. docker-compose.yml에 certbot 컨테이너를 추가한다. 1certbot: 2 image: certbot/certbot 3 container_name: certbot 4 volumes: 5 - ./certbot/conf:/etc/letsencrypt 6 - ./certbot/www:/var/www/certbot 7 depends_on: 8 - nginx 9 10 # certbot을 무한루프로 돌리기 위해 사용 11 entrypoint: "/bin/sh -c 'trap exit TERM; while :; do sleep 6h & wait $${!}; done;'" 2. nginx.conf를 수정한다. # certbot을 사용하기 위한 설정 location /.well-known/acme-challenge/ { allow all; root /var/www/certbot; } 3. certbot 컨테이너를 활용해서 SSL 인증서를 발급받는다. 1docker exec -it certbot certbot certonly \ 2 # 웹 루트 방식으로 인증서를 생성 3 --webroot \ 4 # 웹 서버의 웹 루트 디렉터리 경로를 지정 5 --webroot-path=/var/www/certbot \ 6 # 인증서 갱신 및 중요한 알림을 받을 이메일 주소를 지정 7 --email {이메일 주소} \ 8 # Let's Encrypt 서비스 약관에 동의 9 --agree-tos \ 10 # EFF(Electronic Frontier Foundation) 뉴스레터를 받지 않도록 설정 11 --no-eff-email \ 12 # SSL 인증서를 생성할 도메인 이름을 지정 13 -d {도메인 이름} 4. Nginx 웹 서버와 함께 사용할 SSL 설정 파일을 다운로드 다운 받은 후 파일을 알맞은 위치로 이동시킨다. 해당 프로젝트에서는 /etc/letsencrypt/로 이동시켰다. 1sudo curl -s https://raw.githubusercontent.com/certbot/certbot/master/certbot-nginx/certbot_nginx/_internal/tls_configs/options-ssl-nginx.conf > "./options-ssl-nginx.conf" 2 3sudo curl -s https://raw.githubusercontent.com/certbot/certbot/master/certbot/certbot/ssl-dhparams.pem > "./ssl-dhparams.pem" 5. nginx.conf를 수정한다. 필요한 부분만 추가하였다. server { listen 80; charset utf-8; server_name {도메인 이름}; # HTTP 요청을 HTTPS로 리다이렉트 location / { return 301 https://$host$request_uri; } } server { listen 443 ssl; charset utf-8; server_name { 도메인 이름 }; # SSL 인증서 설정 ssl_certificate /etc/letsencrypt/live/api.forest-of-thoughts.site/fullchain.pem; # SSL 인증서 키 설정 ssl_certificate_key /etc/letsencrypt/live/api.forest-of-thoughts.site/privkey.pem; # SSL 설정 파일 포함 include /etc/letsencrypt/options-ssl-nginx.conf; # Diffie-Hellman 키 설정 ssl_dhparam /etc/letsencrypt/ssl-dhparams.pem; } 6. nginx 컨테이너 설정을 수정한다. 1nginx: 2 image: nginx:stable 3 ports: 4 - "80:80" 5 - "443:443" 6 volumes: 7 - ./nginx.conf:/etc/nginx/nginx.conf 8 - ./certbot/conf:/etc/letsencrypt 9 - ./certbot/www:/var/www/certbot 해 회고 보통 crontab을 활용해서 자동으로 인증서 갱신을 받는다. 이번에는 프로젝트 기간이 길지 않아서, 수동으로 진행했다. 다음에는 자동으로 인증서 갱신을 받는 것도 도전해보자.

Issue - yaml 문자열 속 colon(콜론)

🎸 기타

문제상황 TIL 블로그 자동 배포 github action 코드에 yaml 파일에 내용을 추가하는 부분이 있다 추가하는 문자열에 콜론이 포함되어 있어서 action에서 에러를 띄웠다 문제의 코드 1- name: Add google analytics id 2 run: echo -e "\nparams:\n googleAnalytics : \"$GA_TRACKING_ID\"" >> config.yaml 에러 메시지 해결방법 우여곡절 끝에 위와 같이 2줄로 나누어서 해결했다 1 - name: Add google analytics id 2 run: | 3 echo -e "\nparams:" >> config.yaml 4 echo -e " googleAnalytics: \"$GA_TRACKING_ID\"" >> config.yaml

[모각코24하계] 01 : 결과

👨‍💻 모각코

django에서 swagger 문서화 구현하기 개요 장고 프레임워크를 사용하여 기본적인 CRUD 기능과, REST API를 구현하는 방법을 알아보자. 프로젝트 구조 1. 2├── db.sqlite3 3├── djtest (메인 앱) 4│ ├── __init__.py 5│ ├── asgi.py 6│ ├── settings.py 7│ ├── urls.py 8│ ├── views.py 9│ └── wsgi.py 10├── manage.py 11├── paste (생성한 앱) 12│ ├── __init__.py 13│ ├── admin.py 14│ ├── apps.py 15│ ├── migrations 16│ ├── models.py 17│ ├── serializers.py 18│ ├── tests.py 19│ ├── urls.py 20│ └── views.py 21└── requirements.txt 자주 사용하는 Django 명령자 1# 새로운 Django 프로젝트를 생성 2python manage.py startproject 3# 새로운 Django 앱을 생성 4python manage.py startapp 5# 데이터베이스에 적용할 마이그레이션 파일을 생성 6python manage.py makemigrations 7# 마이그레이션 파일을 실제 데이터베이스에 적용 8python manage.py migrate 9# 관리자(superuser) 계정을 생성 10python manage.py createsuperuser 11# 프로젝트의 테스트 케이스를 실행 12python manage.py test 13# 테스트용 서버를 특정 설정으로 실행 14python manage.py testserver CRUD 구현 Paste 모델 정의 1from django.db import models 2 3class Paste(models.Model): 4 title = models.CharField(max_length=100) 5 content = models.TextField() 6 # auto_now_add : 객체가 처음 생성될 때만 현재 날짜와 시간을 자동으로 설정 7 created_at = models.DateTimeField(auto_now_add=True) 8 # auto_now : 객체가 저장될 때마다 현재 날짜와 시간을 자동으로 설정 9 updated_at = models.DateTimeField(auto_now=True) 10 class Meta: 11 ordering = ['-created_at'] 12 def __str__(self): 13 return self.title Serializer 정의 1from rest_framework import serializers 2from .models import Paste 3 4class PasteSerializer(serializers.ModelSerializer): 5 class Meta: 6 model = Paste 7 fields = '__all__' 8 # 직접 지정하는 방법 9 # fields = ['title', 'content'] View 구현 PasteView 1class PasteView(APIView): 2 def get(self, _): 3 pastes = Paste.objects.all() 4 serializer = PasteSerializer(pastes, many=True) 5 return Response(serializer.data, status=status.HTTP_200_OK) 6 7 def post(self, request): 8 serializer = PasteSerializer(data=request.data) 9 if serializer.is_valid(): 10 serializer.save(user=request.user) 11 return Response(serializer.data, status=status.HTTP_201_CREATED) 12 return Response(serializer.errors, status=status.HTTP_400_BAD_REQUEST) PasteDetailView 1class PasteDetailView(APIView): 2 def get(self, _, pk): 3 try: 4 paste = Paste.objects.get(pk=pk) 5 serializer = PasteSerializer(paste) 6 return Response(serializer.data, status=status.HTTP_200_OK) 7 except Paste.DoesNotExist: 8 return Response(status=status.HTTP_404_NOT_FOUND) 9 10 def put(self, request, pk): 11 try: 12 paste = Paste.objects.get(pk=pk) 13 except Paste.DoesNotExist: 14 return Response(status=status.HTTP_404_NOT_FOUND) 15 16 if paste.user != request.user: 17 return Response(status=status.HTTP_403_FORBIDDEN) 18 19 serializer = PasteSerializer(paste, data=request.data) 20 if serializer.is_valid(): 21 serializer.save() 22 return Response(serializer.data, status=status.HTTP_200_OK) 23 return Response(serializer.errors, status=status.HTTP_400_BAD_REQUEST) 24 25 def delete(self, request, pk): 26 try: 27 paste = Paste.objects.get(pk=pk) 28 except Paste.DoesNotExist: 29 return Response(status=status.HTTP_404_NOT_FOUND) 30 31 paste.delete() 32 return Response(status=status.HTTP_204_NO_CONTENT) urls.py 1from django.urls import path 2from paste.views import * 3 4urlpatterns = [ 5 path('', PasteView.as_view(), name='paste_list_create'), 6 path('<int:pk>', PasteDetailView.as_view(), name='paste_get_update_delete'), 7] Swagger 적용 PasteView PasteView 1class PasteView(APIView): 2 @swagger_auto_schema( 3 operation_description="Get list of pastes", 4 operation_summary="Get list of pastes", 5 responses={200: PasteSerializer(many=True)}, 6 ) 7 def get(self, _): 8 ... 9 10 @swagger_auto_schema( 11 operation_description="Create a new paste", 12 operation_summary="Create a new paste", 13 request_body=PasteSerializer, 14 responses={201: PasteSerializer, 400: "Bad Request"}, 15 ) 16 def post(self, request): 17 ... PasteDetailView 1class PasteDetailView(APIView): 2 @swagger_auto_schema( 3 operation_description="Get a paste by ID", 4 operation_summary="Get a paste by ID", 5 responses={200: PasteSerializer, 404: "Not Found"}, 6 ) 7 def get(self, _, pk): 8 ... 9 10 @swagger_auto_schema( 11 operation_description="Update a paste by ID", 12 operation_summary="Update a paste by ID", 13 request_body=PasteSerializer, 14 responses={ 15 200: PasteSerializer, 16 400: "Bad Request", 17 403: "Forbidden", 18 404: "Not Found", 19 }, 20 ) 21 def put(self, request, pk): 22 ... 23 24 @swagger_auto_schema( 25 operation_description="Delete a paste by ID", 26 operation_summary="Delete a paste by ID", 27 responses={204: "No Content", 404: "Not Found"}, 28 ) 29 def delete(self, request, pk): 30 ... swagger 적용 결과 django에서 JWT 인증 구현하기 장고에서는 djangorestframework-simplejwt 패키지를 사용하여 JWT 인증을 구현할 수 있다. requirements 1pip install djangorestframework-simplejwt settings.py 1INSTALLED_APPS = [ 2 ... 3 'rest_framework', 4 'rest_framework_simplejwt', 5] 1REST_FRAMEWORK = { 2 # 기본 인증 클래스를 설정 3 'DEFAULT_AUTHENTICATION_CLASSES': ( 4 'rest_framework_simplejwt.authentication.JWTAuthentication', 5 ), 6 # 기본 스키마 클래스를 설정, CoreAPI를 사용하여 자동으로 API 문서화를 생성 7 'DEFAULT_SCHEMA_CLASS': 'rest_framework.schemas.coreapi.AutoSchema', 8 # 기본 권한 클래스를 설정, AllowAny를 사용하여 모든 요청을 허용 9 'DEFAULT_PERMISSION_CLASSES': ( 10 'rest_framework.permissions.AllowAny', 11 ), 12} 1from datetime import timedelta 2 3SIMPLE_JWT = { 4 # 액세스 토큰의 유효 기간을 설정 5 'ACCESS_TOKEN_LIFETIME': timedelta(minutes=30), 6 # 리프레시 토큰의 유효 기간을 설정 7 'REFRESH_TOKEN_LIFETIME': timedelta(days=1), 8 # 리프레시 토큰이 갱신될 때마다 새로운 리프레시 토큰을 발급할지 여부를 설정 9 'ROTATE_REFRESH_TOKENS': False, 10 # 리프레시 토큰이 갱신된 후 이전 토큰을 블랙리스트에 추가할지 여부를 설정 11 'BLACKLIST_AFTER_ROTATION': True, 12 13 # JWT 토큰의 암호화 알고리즘을 설정 14 'ALGORITHM': 'HS256', 15 # JWT 토큰을 서명할 때 사용할 키를 설정 16 'SIGNING_KEY': SECRET_KEY, 17 # 토큰 검증에 사용할 공개 키를 설정 18 'VERIFYING_KEY': None, 19 # 토큰의 대상자(aud) 클레임을 설정 20 'AUDIENCE': None, 21 # 토큰의 발급자(iss) 클레임을 설정 22 'ISSUER': None, 23 24 # 인증 헤더 타입을 설정 25 'AUTH_HEADER_TYPES': ('Bearer',), 26 # 인증 헤더의 이름을 설정 27 'AUTH_HEADER_NAME': 'HTTP_AUTHORIZATION', 28 # 사용자 모델에서 사용자 ID 필드를 설정 29 'USER_ID_FIELD': 'id', 30 # JWT 토큰에서 사용자 ID를 저장할 클레임을 설정 31 'USER_ID_CLAIM': 'user_id', 32 33 # 인증에 사용할 토큰 클래스들을 설정 34 'AUTH_TOKEN_CLASSES': ('rest_framework_simplejwt.tokens.AccessToken',), 35 # 토큰의 유형을 저장할 클레임을 설정 36 'TOKEN_TYPE_CLAIM': 'token_type', 37} urls.py 1from django.urls import path 2from rest_framework_simplejwt.views import TokenObtainPairView, TokenRefreshView 3from rest_framework_simplejwt.authentication import JWTAuthentication 4 5urlpatterns = [ 6 # JWT 토큰을 발급하는 뷰 7 path("token/", TokenObtainPairView.as_view(), name="token_obtain_pair"), 8 # JWT 토큰을 갱신하는 뷰 9 path("token/refresh/", TokenRefreshView.as_view(), name="token_refresh"), 10] views.py 1from rest_framework import permissions 2from rest_framework_simplejwt.authentication import JWTAuthentication 3from drf_yasg.utils import swagger_auto_schema 4 5 6class PasteView(APIView): 7 8 def get(self, request): 9 ... 10 11 def post(self, request): 12 ... 13 14 def get_permissions(self): 15 # SAFE_METHODS : GET, HEAD, OPTIONS 16 if self.request.method in permissions.SAFE_METHODS: 17 self.permission_classes = [permissions.AllowAny] 18 else: 19 self.authentication_classes = [JWTAuthentication] 20 self.permission_classes = [permissions.IsAuthenticated] 21 return super().get_permissions() 22 23 24class PasteDetailView(APIView): 25 26 def get(self, request, pk): 27 ... 28 29 def put(self, request, pk): 30 ... 31 32 def delete(self, request, pk): 33 ... 34 35 def get_permissions(self): 36 # SAFE_METHODS : GET, HEAD, OPTIONS 37 if self.request.method in permissions.SAFE_METHODS: 38 self.permission_classes = [permissions.AllowAny] 39 else: 40 self.authentication_classes = [JWTAuthentication] 41 self.permission_classes = [permissions.IsAuthenticated] 42 return super().get_permissions() 결과 TokenObtainPairView를 통해 access token과 refresh token을 발급받을 수 있다. TokenRefreshView를 통해 refresh token을 사용하여 access token을 갱신할 수 있다. access token과 refresh token은 settings.py에서 설정한 유효 기간에 따라 만료된다. Blacklist 적용 settings.py 1INSTALLED_APPS = [ 2 ... 3 'rest_framework_simplejwt.token_blacklist', 4] 1SIMPLE_JWT = { 2 ... 3 # 블랙리스트에 토큰을 추가할 때 사용할 모델을 설정 4 'BLACKLIST_AFTER_ROTATION': True, 5} 결과 TokenRefreshView를 통해 토큰이 재발급될 때, 이전 refresh token을 블랙리스트에 추가한다.

Fastapi - 통합테스트 In-Memory DB에서 테이블이 없다는 문제

🐍 Python

상황 테커 부트캠프에서 팀프로젝트를 진행 중이다. 단위테스트 코드는 작성이 완료되었고, 통합테스트 코드를 작성 중이다. sqlite in-memory db를 사용해서 테스트 중인데, 테이블이 없다는 에러가 발생했다. 테스트 전에 테이블을 생성하는 코드가 실행됨에도 불구하고, 에러가 발생한다. 인메모리가 아닌 파일로 저장하는 방법을 사용하면 에러가 발생하지 않는 것을 보고 문제의 원인을 파악할 수 있었다. 코드 1from database import Base, engine 2from fastapi.testclient import TestClient 3 4from main import app 5from models import * 6 7# 테이블을 생성하는 코드이다 8Base.metadata.create_all(bind=engine) 9 10client = TestClient(app) 11 12 13class TestUserApi: 14 15 def test_create_user(self): 16 test_nickname = "test_nickname" 17 # 아래 요청을 처리하는 코드에서 오류가 발생한다 18 response = client.post( 19 "/api/users", 20 json={"nickname": test_nickname}, 21 ) 22 assert response.status_code == 200 23 assert response.json()["nickname"] == test_nickname 원인 테이블을 생성할때 만들어지는 세션과 TestClient가 요청을 처리할 때 사용하는 세션이 다르다. 해결 방법 TestClient내에 get_db() 함수를 임의로 주입한다 데이터베이스를 연결할때, 단일 세션을 사용하도록 한다. 1from database import Base, engine, get_db 2from sqlalchemy.orm import sessionmaker 3from fastapi.testclient import TestClient 4 5from main import app 6from models import * 7 8Base.metadata.create_all(bind=engine) 9 10client = TestClient(app) 11 12# 테스트에서 사용할 세션을 생성한다 13TestingSessionLocal = sessionmaker(autocommit=False, autoflush=False, bind=engine) 14 15 16Base.metadata.create_all(bind=engine) 17 18# get_db() 함수를 재정의한다 19def override_get_db(): 20 try: 21 db = TestingSessionLocal() 22 yield db 23 finally: 24 db.close() 25 26# get_db() 함수를 재정의한 함수를 주입한다 27app.dependency_overrides[get_db] = override_get_db 28 29 30class TestUserApi: 31 32 def test_create_user(self): 33 test_nickname = "test_nickname" 34 response = client.post( 35 "/api/users", 36 json={"nickname": test_nickname}, 37 ) 38 assert response.status_code == 201 39 assert response.json()["nickname"] == test_nickname 1engine = create_engine( 2 os.getenv("DATABASE_URL"), 3 # sqlite를 사용할 때, 여러 스레드에서 연결이 가능하도록 설정한다 4 connect_args={"check_same_thread": False}, 5 # 단일 세션을 사용하도록 설정한다 6 poolclass=StaticPool, 7)

Issue - fastapi에서 websocket 404 문제

🐍 Python

배경 테커 부트캠프 최종발표 전날이다. gpt 프롬프트 부분 수정을 main 브랜치에 반영하고, EC2 서버에 배포했다. 문제 배포한 서버에서 websocket 연결이 404 에러를 반환한다. (내일이 최종 발표인데,,,) 다른 http 요청은 정상적으로 처리되지만 웹소켓만 처리되지 않는 것을 확인했다. nginx의 log 1{IP주소} - - [02/Aug/2024:10:59:04 +0000] "GET /ws/chatrooms/294?user_id=296 HTTP/1.1" 404 22 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.5 Safari/605.1.15" 2{IP주소} - - [02/Aug/2024:10:59:05 +0000] "GET /ws/chatrooms/294?user_id=296 HTTP/1.1" 404 22 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.5 Safari/605.1.15" 사고흐름 nginx 설정 문제인가? X nginx 설정은 변경되지 않았다. 배포환경의 문제인가? X 로컬에서 실행한 서버에서도 동일한 문제가 발생하였다. 이번 배포에서 변경된 소스코드가 문제인가? X 육안으로 확인했을 때는, 변경된 부분이 웹소켓과 관련이 없다. 로컬에서 이전 버전으로 reset 후 시도 해보았지만 문제가 해결되지 않았다. Docker image 문제인가? X 백엔드 서버는 python:slim 이미지를 사용하고 있으며, 해당 이미지가 변경되어서 문제가 발생할 가능성이 있다고 생각했다. 로컬에서 docker image를 사용하지 않고 실행해보았지만 문제가 해결되지 않았다. 이때, 로그에서 warning 메시지를 확인했다. WARNING: No supported WebSocket library detected. Please use "pip install 'uvicorn[standard]'", or install 'websockets' or 'wsproto' manually. 원인 모종의 이유로, 이전에 개발/배포할때에는 존재했던 웹소켓 관련 라이브러리가 사라진 것이다. 오류를 해결하고 조사해본 결과 fastapi 레포지토리에 6시간 전 merge된 PR을 확인할 수 있었다. (https://github.com/fastapi/fastapi/pull/11935) 해당 PR에서는 pip install fastapi[standard] 를 통해 표준 종속 라이브러리를 설치하는 기능이 추가되었다. 이로 인해, uvicorn[standard] 라이브러리를 설치하지 않았을 때, 웹소켓 관련 라이브러리가 설치되지 않아 발생한 문제였다. 해결 requirements.txt에 websockets를 추가해서 문제를 해결할 수 있었다. 배운 점 중요한 프로젝트를 할 때 requirements.txt에 항상 각 라이브러리에 버전을 명시해야겠다는 생각이 들었다. 이번에도 버전을 명시했다면, 라이브러리가 업데이트 되더라도 문제가 발생하지 않았을 것이다. 또한, 로그를 잘 확인하고, warning 메시지를 놓치지 않도록 주의해야겠다.

Spring 개념 - DI (Dependency Injection)

🍃 Spring

의존 주입 (DI : Dependency Injection)을 하는 방법 Assembler라는 별도의 클래스 생성 1public class Assembler { 2 private MemberDao memberDao; 3 private MemberRegisterService regSvc; 4 5 public Assembler() { 6 memberDao = new MemberDao(); 7 regSvc = new MemberRegisterService(memberDao); 8 } 9 10 public MemberDao getMemberDao() { 11 return memberDao; 12 } 13 14 public MemberRegisterService getMemberRegisterService() { 15 return regSvc; 16 } 17} Spring에서 지원하는 DI 사용 1@Configuration 2public class AppCtx { 3 @Bean 4 public MemberDao memberDao() { 5 return new MemberDao(); 6 } 7 @Bean 8 public MemberRegisterService memberRegSvc() { 9 return new MemberRegisterService(memberDao()); 10 } 11} DI 방식 Constructor 방식 1@Bean 2 public MemberListPrinter listPrinter() { 3 return new MemberListPrinter(memberDao(), memberPrinter()); 4 } Setter method 방식 1@Bean 2public MemberInfoPrinter infoPrinter() { 3 MemberInfoPrinter infoPrinter = new MemberInfoPrinter(); 4 infoPrinter.setMemberDao(memberDao()); 5 infoPrinter.setPrinter(memberPrinter()); 6 return infoPrinter; 7} constructor 방식이 훨씬 깔끔해보인다. java bean에서는 getter와 setter를 이용해서 property를 정의한다고 한다. 두 개 이상의 Configuration 파일 사용 : @Autowired 활용 AppConf1.java 1@Configuration 2public class AppConf1 { 3 ... 4} AppConf2.java 1import org.springframework.beans.factory.annotation.Autowired; 2 3@Configuration 4public class AppConf2 { 5 @Autowired 6 private MemberDao memberDao; 7 @Autowired 8 private MemberPrinter memberPrinter; 9 10 ... 11} MainForSpring.java 1ctx = new AnnotationConfigApplicationContext(AppConf1.class, AppConf2.class); Autowired annotation을 통해 다른 설정 파일의 객체를 가져올 수 있다. 두 개 이상의 Configuration 파일 사용 : @Import 활용 AppConfImport.java 1import org.springframework.context.annotation.Import; 2 3@Configuration 4@Import(AppConf2.class) 5public class AppConfImport { MainForSpring.java 1ctx = new AnnotationConfigApplicationContext(AppConfImport.class); 2// 클래스 한 개만 명시해줘도 가능 타입만으로 빈을 구할 수 있다 1VersionPrinter versionPrinter = ctx.getBean(MemberPrinter.class); 다만, 같은 타입의 빈 객체가 2개 이상 존재한다면 에러 발생

Spring 개념 - Testing

🍃 Spring

Unit Test (단위 테스트) 가장 작은 단위 (클래스 또는 메소드)를 고립시켜서 테스트하는 방식 관련 용어 SUT (Sytem Under Test) 테스트하고자하는 주요 대상이 되는 Unit DOC (Depended On Component) SUT가 의존하는 객체 Test double DOC를 대신해 줄 수 있는 객체 Test double의 종류 : Mock, Stub Mock 행위 검증 (객체가 특정 동작을 수행하는지 검증) 사용 test framework : Mockito, JMock, EasyMock Stub 상태 검증 (객체의 상태를 확인하여 검정) 사용 Integration Test (통합 테스트) 여러 개의 Unit을 통합해서 테스트하는 방식 JUnit 매 단위 테스트마다 테스트 클래스가 생성 -> 독립적인 테스트 가능 Annotation 제공 -> 테스트 life cycle 관리 assert 메소드 제공 -> 테스트 결과 판별 JUnit5 = JUnit Platform + JUnit Jupiter + JUnit Vintage JUnit Platform : JVM 기반 테스팅 프레임워크를 실행시키기 위한 기반 모듈 JUnit Jupiter : JUnit5를 위한 Test Engine API 제공 JUnit Vintage : JUnit3, JUnit4를 위한 Test Engine API 제공 org.junit.jupiter.api.Assertions.* assertEquals 1assertEquals(0, 1+1); assertThrows, assertAll org.hamcrest.MatcherAssert.* assertThat 1// assertEquals 보다 가독성이 좋다 2assertThat(1+1, equalTo(2)); org.hamcrest.Matchers.* equalTo, is, not anyOf, everyItem hasSize, containsInAnyOrder, hasItem (collection에 대해 강력하게 지원한다)