Object DetectionObject Detection에는 여러가지 기법이 있다. Classification:이미지를 보고 무엇이 있는지를 예측함. 예를 들어 "고양이"라는 클래스만 반환함. 위치 정보는 제공하지 않음.Semantic Segmentation:이미지를 픽셀 단위로 분류하여 각 픽셀이 어떤 클래스에 속하는지를 나타냄. 객체의 개수는 구분하지 않고 모든 픽셀을 분할함.Object Detection:이미지에서 객체의 종류와 위치를 찾아냄. 바운딩 박스(박스로 감싸는 형태)를 통해 객체를 구분함.Instance Segmentation:객체의 종류와 위치를 찾는 것에 더해, 각 객체를 픽셀 단위로 세밀하게 분할함. 같은 클래스라도 서로 다른 객체로 인식함.여기서 우리는 Object Detecti..

분류 모델이 얼마나 잘 학습되었는지에 대한 성능 지표는 Accuracy(정확도), Precision(정밀도), Recall(재현율) 등이 잇다. 각각의 성능 지표 전에 우선 confusion matrix 먼저 알아보자.Confusion MatrixConfusion matrix는 실제 클래스와 예측된 클래스의 매칭을 이용하여 분류 모델을 평가하는 도구이다. 이진 분류 문제에서 실제 클래스는 Positive/Negative로 나누어져 있고 분류 모델은 샘플들을 Positive/Negative로 분류한다.표 내부에 있는 단어를 쉽게 설명을하기 위해 예시로 환자다 아니다로 설명하겠습니다.Actual(Positive) : 실제 환자Actual(Negative) : 실제 환자가 아님Predict(Positive) ..

ABSTRACT많이 사용되는 파라미터 효율적인 미세조정(Parameter-Efficient Fine-Tuning, PEFT) 방법 중, LoRA와 그 변형들이 추가적인 추론 비용을 피하면서 상당한 인기를 얻고 있다. 그러나 이러한 방법들과 완전 미세조정(Full Fine-Tuning, FT) 사이에는 여전히 종종 정확도 격차가 존재한다.이 연구에서는 먼저, FT와 LoRA 간의 본질적인 차이를 조사하기 위해 새로운 가중치 분해 분석(Weight Decomposition Analysis)을 소개한다. 이 분석 결과를 바탕으로 FT의 학습 능력을 유사하게 구현하기 위해, 우리는 Weight-Decomposed Low-Rank Adaptation (DoRA)을 제안한다. DoRA는 사전 학습된 가중치를 크기(..

논문 링크 : https://arxiv.org/abs/2402.18150 Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented GenerationRetrieval-augmented generation (RAG) enhances large language models (LLMs) by incorporating additional information from retrieval. However, studies have shown that LLMs still face challenges in effectively using the retrieved information, even ignoring ..

ABSTRACT추천 시스템에서는 새로운 아이템이 지속적으로 도입되며, 초기에는 상호작용 기록이 부족하지만 시간이 지남에 따라 점차 쌓이게 된다. 이러한 아이템의 클릭률(CTR)을 정확하게 예측하는 것은 수익과 사용자 경험을 향상하는 데 중요하다. 기존 방법들은 일반적인 CTR 모델 내에서 새로운 아이템의 ID 임베딩을 향상하는 데 중점을 두지만, 전역적인 특징 상호작용 접근 방식을 채택하는 경향이 있어 상호작용이 풍부한 아이템이  상호작용이 적은 새 아이템을 압도하는 경우가 많다. 이에 대응하여, 우리의 연구는 아이템별 특징 상호작용 패턴을 학습하여 콜드 스타트 CTR 예측을 강화하는 EmerG라는 새로운 접근 방식을 소개한다. EmerG는 하이퍼네트워크를 활용하여 아이템 특성에 기반한 아이템별 특징 그..

ABSTRACT연속 추천(Sequential Recommendation, SR)과 다중 행동 연속 추천(Multi-Behavior Sequential Recommendation, MBSR)은 모두 현실 세계의 시나리오에서 비롯된 개념이다. 1. 연속 추천 (Sequential Recommendation, SR)SR은 단일 행동 유형에 초점을 맞춘 추천 방식이다. 예를 들어, 전통적인 SR 모델에서는 주로 사용자의 '구매 이력'이나 '조회 이력'을 순차적으로 분석하여 다음에 추천할 아이템을 예측한다. SR은 사용자가 시간순으로 어떤 아이템과 상호작용했는지를 바탕으로, 다음에 어떤 아이템을 선호할 가능성이 높은지 예측한다. 여기서 단일 행동 유형(예: 조회, 클릭, 구매 등)에 대해서만 고려하기 때문에, 다..

1. AlexNet (2012)특징:아키텍처: 8개의 레이어로 구성된 비교적 간단한 구조.5개의 컨볼루션 레이어와 3개의 완전 연결(FC) 레이어로 이루어져 있다.ReLU 활성화 함수 사용: 기존의 Sigmoid나 Tanh 대신 ReLU를 사용하여 Vanishing Gradient Problem을 해결하고, 학습 속도를 높였다.Max Pooling: 다운샘플링을 위해 Max Pooling 레이어를 사용하여 특징을 추출하면서 계산량을 줄였다.Dropout: 과적합을 방지하기 위해 FC 레이어에서 Dropout을 적용했다.데이터 증강: 훈련 데이터에 다양한 변형(회전, 자르기 등)을 적용하여 더 일반화된 모델을 만들었다.장점과 한계:딥러닝의 발전에 큰 기여를 했으며, ReLU와 Dropout, 데이터 증강 ..

세 box 모두 w라는 parameter가 관장- V(s,w): s를 넣었을 때 value를 return- action in 상태의 Q(s,a,w): s,a를 넣었을 때 value를 return- action out 상태의 Q(s,an,w): s만 넣었을 때 s에서 할 수 있는 모든 a들에 대해서 여러개의 output를 return - differentiable(미분가능한) Function Approximator(모방하는 함수)는 뭘 쓸 수 있나? :linear combinations of features(특성 가중치 합), Neural network   1. Value Function Approximation By Stochastic Gradient Descent설명:목표는 w라는 파라미터 벡터를 최적..

이전 포스팅 3-1에서는 Model-Free Prediction을 공부했다. 지금부터는 Control에 대해 배워볼 것 이다.우선 차이를 다시 되짚고 넘어가자.Prediction과 Control의 과정:Prediction (정책 평가, Policy Evaluation):주어진 정책 π를 따를 때 각 상태의 가치 함수 Vπ(s)를 추정하는 과정이다.이 단계에서는 정책이 고정되어 있고, 정책을 따를 때 상태가 얼마나 좋은지를 예측한다.Value Function Vπ(s): 현재 정책에 따라 상태에서 기대되는 미래 보상의 합을 의미한다.Control (정책 개선, Policy Improvement):Prediction 결과로 나온 상태 가치 함수 Vπ(s)를 바탕으로, 각 상태에서 더 나은 행동을 선택하여 정..

1. step TD의 step을 증가시켜 나가면서 n 까지 보게 되면 n step TD로 일반화를 할 수 있습니다. 만약 step이 무한대에 가깝게 되면 MC와 동일하게 될 것 이다.2. step TD 에서의 업데이트 방식은 첫번째 보상과 + 두번째 보상 + 두번째 상태에서의 value function 으로 업데이트가 된다.TD(1-step)과 n-Step의 차이TD(1-step): 한 단계 후의 보상과 다음 상태의 가치 함수만을 기반으로 업데이트를 수행한다.업데이트 식: 즉, t+1시점에서의 보상과 다음 상태의 가치 V(St+1)를 이용해 현재 상태 StS_tSt​의 가치를 업데이트한다.n-Step TD: 한 단계가 아니라, n단계 후의 보상까지 고려한다.n-Step TD에서는 n번째 시점까지의 보상을..