티스토리

두콩이의 코딩일기

검색하기

블로그 홈

두콩이의 코딩일기

doocong22.tistory.com/m

doocong22 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

[Transformer] Attention과 Self-Attention 차이 다음 그림이 트랜스포머 모델 구조인데, 어텐션은 총 세 군데서 사용된다.인코더의 Self-Attention : Query = Key = Value디코더의 Maked Self-Attention : Query = Key = Value디코더의 Encoder-Decoder Attention : Query : 디코더 벡터 / Key = Value : 인코더 벡터1, 2는 Q, K, V가 동일하기 때문에 Self-Attention이고 3은 Q는 디코더에서 K, V는 인코더에서 가져오니 그냥 Attention이다.-> query와 key, 그리고 value가 동일한 부분에 있을 때 셀프 어텐션이 되고, 디코더와 인코더에 나누어져 있으면 그냥 어텐션이 된다. 정확히는 다음과 같다. 출처 : https://wikidoc.. 공감수 0 댓글수 0 2025. 3. 5.
Residual Block 이해하기 1. Residual Block이란?Residual Block(잔차 블록)은 딥러닝 모델에서 입력을 그대로 다음 레이어로 전달하는 Skip Connection을 포함한 블록이다.기본 아이디어는 "출력값을 바로 다음 레이어에 넣는 것뿐만 아니라, 원래 입력값도 더해주자!" 이다.즉, 일반적인 네트워크는 H(x)라는 함수를 학습하지만, Residual Block은 잔차(residual) F(x)를 학습하고, 이를 입력 x와 더해서 최종 출력 H(x)을 만든다. 점선으로 둘러싸인 residual block의 입장에서 보면, 들어오는 인풋 x가 있다고 할 때, 이 x를 그 블럭 내 레이어들을 통과시켜서 얻은 결과값 f(x)에다가 인풋 x를 그대로 더해준 것이 그 블럭의 최종 아웃풋이 된다.H(x) = F(x) .. 공감수 0 댓글수 0 2025. 2. 21.
Batch, Step, Epoch 이해하기 참고 링크 : 실험으로 알아보는 LLM 파인튜닝 최적화 가이드 Part 1. devocean.sk.com 1. Batch, Step, EpochBatch, Step 그리고 Epoch은 LLM 학습 과정에서 데이터 처리를 정의 하는 단위로, 학습 효율성과 성능에 직접적인 영향을 미칩니다.또한 학습 과정을 효과적으로 모니터링하려면 어떤 지표를 중심으로 관찰 할지 명확히 이해 하는 것도 중요합니다. 1.1 BatchBatch 크기는 한 번의 학습 단계(Training Step)에서 모델이 처리하는 데이터 샘플의 개수를 의미한다.그림 1에서 볼 수 있듯이, 학습을 위해 데이터셋에서 선택된 데이터 묶음이 바로 Batch이다.예를 들어, Batch 크기가 10이라면, 한 번의 Training Step에서 모델은 1.. 공감수 1 댓글수 1 2025. 2. 20.
[논문] A Survey of Resource-efficient LLM and Multimodal Foundation Models 2.3 멀티모달 기초 모델(Multimodal Foundation Models)멀티모달리티(Multimodality)는 현재 기초 모델(FM, Foundation Model) 연구에서 중요한 연구 방향 중 하나이다. 대형 기초 모델은 다양한 모달 간 이해, 변환(translation), 생성(generation) 능력이 강력한 특징을 보인다.일반적으로 멀티모달 기초 모델 연구는 두 가지 방향으로 나뉜다.다양한 모달 데이터를 동일한 잠재 공간(latent space)으로 인코딩하는 방법주로 트랜스포머(Transformer) 기반 인코더를 사용한다.다양한 모달 데이터를 생성하는 방법주로 트랜스포머 디코더(Transformer Decoder)를 활용한다.특히, 텍스트를 기반으로 이미지를 생성(text-to-i.. 공감수 1 댓글수 0 2025. 2. 13.
[Object Detection] R-CNN, Fast R-CNN, Faster R-CNN Object DetectionObject Detection에는 여러가지 기법이 있다. Classification:이미지를 보고 무엇이 있는지를 예측함. 예를 들어 "고양이"라는 클래스만 반환함. 위치 정보는 제공하지 않음.Semantic Segmentation:이미지를 픽셀 단위로 분류하여 각 픽셀이 어떤 클래스에 속하는지를 나타냄. 객체의 개수는 구분하지 않고 모든 픽셀을 분할함.Object Detection:이미지에서 객체의 종류와 위치를 찾아냄. 바운딩 박스(박스로 감싸는 형태)를 통해 객체를 구분함.Instance Segmentation:객체의 종류와 위치를 찾는 것에 더해, 각 객체를 픽셀 단위로 세밀하게 분할함. 같은 클래스라도 서로 다른 객체로 인식함.여기서 우리는 Object Detecti.. 공감수 3 댓글수 2 2024. 12. 18.
분류 성능 지표 : Precision, Recall, F1-score 분류 모델이 얼마나 잘 학습되었는지에 대한 성능 지표는 Accuracy(정확도), Precision(정밀도), Recall(재현율) 등이 잇다. 각각의 성능 지표 전에 우선 confusion matrix 먼저 알아보자.Confusion MatrixConfusion matrix는 실제 클래스와 예측된 클래스의 매칭을 이용하여 분류 모델을 평가하는 도구이다. 이진 분류 문제에서 실제 클래스는 Positive/Negative로 나누어져 있고 분류 모델은 샘플들을 Positive/Negative로 분류한다.표 내부에 있는 단어를 쉽게 설명을하기 위해 예시로 환자다 아니다로 설명하겠습니다.Actual(Positive) : 실제 환자Actual(Negative) : 실제 환자가 아님Predict(Positive) .. 공감수 0 댓글수 0 2024. 12. 17.
[논문] DoRA: Weight-Decomposed Low-Rank Adaptation ABSTRACT많이 사용되는 파라미터 효율적인 미세조정(Parameter-Efficient Fine-Tuning, PEFT) 방법 중, LoRA와 그 변형들이 추가적인 추론 비용을 피하면서 상당한 인기를 얻고 있다. 그러나 이러한 방법들과 완전 미세조정(Full Fine-Tuning, FT) 사이에는 여전히 종종 정확도 격차가 존재한다.이 연구에서는 먼저, FT와 LoRA 간의 본질적인 차이를 조사하기 위해 새로운 가중치 분해 분석(Weight Decomposition Analysis)을 소개한다. 이 분석 결과를 바탕으로 FT의 학습 능력을 유사하게 구현하기 위해, 우리는 Weight-Decomposed Low-Rank Adaptation (DoRA)을 제안한다. DoRA는 사전 학습된 가중치를 크기(.. 공감수 1 댓글수 1 2024. 12. 16.
[논문] Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation 논문 링크 : https://arxiv.org/abs/2402.18150 Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented GenerationRetrieval-augmented generation (RAG) enhances large language models (LLMs) by incorporating additional information from retrieval. However, studies have shown that LLMs still face challenges in effectively using the retrieved information, even ignoring .. 공감수 3 댓글수 2 2024. 11. 25.
[논문] Warming Up Cold-Start CTR Prediction by Learning Item-Specific Feature Interactions ABSTRACT추천 시스템에서는 새로운 아이템이 지속적으로 도입되며, 초기에는 상호작용 기록이 부족하지만 시간이 지남에 따라 점차 쌓이게 된다. 이러한 아이템의 클릭률(CTR)을 정확하게 예측하는 것은 수익과 사용자 경험을 향상하는 데 중요하다. 기존 방법들은 일반적인 CTR 모델 내에서 새로운 아이템의 ID 임베딩을 향상하는 데 중점을 두지만, 전역적인 특징 상호작용 접근 방식을 채택하는 경향이 있어 상호작용이 풍부한 아이템이 상호작용이 적은 새 아이템을 압도하는 경우가 많다. 이에 대응하여, 우리의 연구는 아이템별 특징 상호작용 패턴을 학습하여 콜드 스타트 CTR 예측을 강화하는 EmerG라는 새로운 접근 방식을 소개한다. EmerG는 하이퍼네트워크를 활용하여 아이템 특성에 기반한 아이템별 특징 그.. 공감수 4 댓글수 1 2024. 11. 11.
[논문] Explicit and Implicit Modeling via Dual-Path Transformer forBehavior Set-informed Sequential Recommendation ABSTRACT연속 추천(Sequential Recommendation, SR)과 다중 행동 연속 추천(Multi-Behavior Sequential Recommendation, MBSR)은 모두 현실 세계의 시나리오에서 비롯된 개념이다. 1. 연속 추천 (Sequential Recommendation, SR)SR은 단일 행동 유형에 초점을 맞춘 추천 방식이다. 예를 들어, 전통적인 SR 모델에서는 주로 사용자의 '구매 이력'이나 '조회 이력'을 순차적으로 분석하여 다음에 추천할 아이템을 예측한다. SR은 사용자가 시간순으로 어떤 아이템과 상호작용했는지를 바탕으로, 다음에 어떤 아이템을 선호할 가능성이 높은지 예측한다. 여기서 단일 행동 유형(예: 조회, 클릭, 구매 등)에 대해서만 고려하기 때문에, 다.. 공감수 7 댓글수 4 2024. 10. 29.
AlexNet, VGG, ResNet 비교 분석 1. AlexNet (2012)특징:아키텍처: 8개의 레이어로 구성된 비교적 간단한 구조.5개의 컨볼루션 레이어와 3개의 완전 연결(FC) 레이어로 이루어져 있다.ReLU 활성화 함수 사용: 기존의 Sigmoid나 Tanh 대신 ReLU를 사용하여 Vanishing Gradient Problem을 해결하고, 학습 속도를 높였다.Max Pooling: 다운샘플링을 위해 Max Pooling 레이어를 사용하여 특징을 추출하면서 계산량을 줄였다.Dropout: 과적합을 방지하기 위해 FC 레이어에서 Dropout을 적용했다.데이터 증강: 훈련 데이터에 다양한 변형(회전, 자르기 등)을 적용하여 더 일반화된 모델을 만들었다.장점과 한계:딥러닝의 발전에 큰 기여를 했으며, ReLU와 Dropout, 데이터 증강 .. 공감수 0 댓글수 0 2024. 10. 18.
[RL] 4-1 Value Function Approximation 세 box 모두 w라는 parameter가 관장- V(s,w): s를 넣었을 때 value를 return- action in 상태의 Q(s,a,w): s,a를 넣었을 때 value를 return- action out 상태의 Q(s,an,w): s만 넣었을 때 s에서 할 수 있는 모든 a들에 대해서 여러개의 output를 return - differentiable(미분가능한) Function Approximator(모방하는 함수)는 뭘 쓸 수 있나? :linear combinations of features(특성 가중치 합), Neural network 1. Value Function Approximation By Stochastic Gradient Descent설명:목표는 w라는 파라미터 벡터를 최적.. 공감수 1 댓글수 0 2024. 10. 13.
[RL] 3-2 Model-Free Control 이전 포스팅 3-1에서는 Model-Free Prediction을 공부했다. 지금부터는 Control에 대해 배워볼 것 이다.우선 차이를 다시 되짚고 넘어가자.Prediction과 Control의 과정:Prediction (정책 평가, Policy Evaluation):주어진 정책 π를 따를 때 각 상태의 가치 함수 Vπ(s)를 추정하는 과정이다.이 단계에서는 정책이 고정되어 있고, 정책을 따를 때 상태가 얼마나 좋은지를 예측한다.Value Function Vπ(s): 현재 정책에 따라 상태에서 기대되는 미래 보상의 합을 의미한다.Control (정책 개선, Policy Improvement):Prediction 결과로 나온 상태 가치 함수 Vπ(s)를 바탕으로, 각 상태에서 더 나은 행동을 선택하여 정.. 공감수 1 댓글수 1 2024. 10. 12.
[RL] 3-1 Model-Free Prediction - (TD lambda) 1. step TD의 step을 증가시켜 나가면서 n 까지 보게 되면 n step TD로 일반화를 할 수 있습니다. 만약 step이 무한대에 가깝게 되면 MC와 동일하게 될 것 이다.2. step TD 에서의 업데이트 방식은 첫번째 보상과 + 두번째 보상 + 두번째 상태에서의 value function 으로 업데이트가 된다.TD(1-step)과 n-Step의 차이TD(1-step): 한 단계 후의 보상과 다음 상태의 가치 함수만을 기반으로 업데이트를 수행한다.업데이트 식: 즉, t+1시점에서의 보상과 다음 상태의 가치 V(St+1)를 이용해 현재 상태 StS_tSt의 가치를 업데이트한다.n-Step TD: 한 단계가 아니라, n단계 후의 보상까지 고려한다.n-Step TD에서는 n번째 시점까지의 보상을.. 공감수 1 댓글수 2 2024. 10. 12.
[RL] 3-1 Model-Free Prediction - (TD) Temporal-Difference LearningTD 방식도 마찬가지로 직접적인 경험을 하면서 학습을 하는 알고리즘이다.DP에서 사용하던 bootstrapping을 사용하고 MD에서 사용하던 Model-free 방식의 장점을 두루 갖추고 있는 것이 특징이다.MC에서의 value function이 업데이트 되는 과정을 위 왼쪽의 그림과 같이 설명을 하고 있다. 에피소드가 전체적으로 끝나서야 그 보상을 나누어 단계별로 업데이트가 된다.하지만 TD에서는 각 단계별로 업데이트가 되는 과정을 위 오른쪽 그림과 같이 보여주고 있다.특히 각 단계별로 얻게 되는 값들이 2~3번 단계에서 MC와 TD에서 달라지는 것을 알수 있다. Monte Carlo 방법 (왼쪽 그림)MC는 전체 에피소드가 끝난 후 업데이트를 한다... 공감수 9 댓글수 0 2024. 10. 9.
[RL] 3-1 Model-Free Prediction - (MC) Planning 의 대표적인 Dynamic programming 에서는 MDP를 이미 알고 있는 것을 Bellman 방정식으로 풀어내는 것이였습니다. Model-free 는 MDP를 모르는 상황에서 환경과 직접적으로 상호작용을 하면서 경험을 통해서 학습을 하게되는 방식을 말합니다. Prediction 은 value를 estimate 하는 것을 말하는데 여기서는 model-free 에서 prediction이므로 MDP를 모르는 상태에서 (환경에 대한 사전지식이 없는 상태에서) 환경과 상호 작용을 하며 value function을 추정해 가는 방식을 말합니다. control 은 이렇게 찾은 value function을 최적화하여 최적의 poilcy를 찾는 것을 말합니다. 대표적인 Model-free 방식에 .. 공감수 0 댓글수 0 2024. 10. 9.
[RL] 2-2 Planning by Dynamic Programming Dynamic Programming복잡한 문제를 풀기 위한 방법으로 큰 문제를 작은 subproblem들로 쪼개서 문제를 푸는 방법을 뜻한다.하나는 Optimal substructure 로서 최적화를 할 수 있다는 것인데 하나의 문제를 2개 이상의 하위문제로 쪼개고 각각을 최적화하게 되면 원래의 문제도 최적화 할 수 있다는 것이다.또 하나는 Overlapping subproblems 인데 서브문제들이 여러번 반복적으로 나타나기 때문에 하나의 서브문제를 해결하고 이 결과를 저장했다가 다시 사용하는 것이 가능하다는 것이다. 이 두가지 특성이 MDP에서도 동일하게 적용이 되고 Bellman equation 과 value function 이 대표적인 특성을 가지고 있다.Bellman equation 이 각 st.. 공감수 0 댓글수 0 2024. 10. 9.
[논문] An Efficient Fuzzy Stream Clustering MethodBased on Granular-Ball Structure 제목 키워드 설명 Fuzzy Clustering: Fuzzy clustering은 데이터가 여러 군집에 동시에 속할 수 있도록 허용하는 방법이다. 이는 일반적인 클러스터링 기법과 달리, 데이터 포인트가 하나의 군집에만 속하는 것이 아니라, 여러 군집에 소속될 수 있는 가능성을 제공한다.Stream Clustering: Stream clustering은 데이터가 연속적으로 입력되는 스트리밍 데이터 환경에서 실시간으로 데이터를 클러스터링하는 기술이다. 이런 데이터는 저장이 어렵기 때문에 실시간으로 처리하고 클러스터를 형성해야 한다.Granular-Ball Structure: 이 용어는 데이터 포인트를 보다 효율적으로 처리하기 위한 구조를 나타낸다. "Granular"라는 개념은 데이터 집합을 보다 작은 단위.. 공감수 4 댓글수 1 2024. 10. 9.
[알파] 초기 다중 회귀 다층 다항 회귀와 연도/월 간의 상호작용연도(year)와 월(month)의 역할연도와 월을 함께 사용하는 이유는 서로 다른 정보가 있기 때문이다. 연도는 시간적 흐름에 따른 점수 변화를 학습하고, 월은 각 월마다 나타나는 점수의 주기적 패턴을 학습하는 데 주로 사용됨. 연도는 2022년, 2023년 등 시간에 따른 변화 경향을 반영하고, 월은 4월5월에 점수가 높아지고 11월12월에 낮아지는 등의 반복적인 패턴을 잡아냄.연도(year)와 월(month)이 상호작용하는 방식연도는 각 연도별로 다른 점수의 평균적 차이를 학습함. 예를 들어, 2022년에는 점수가 대체로 높았고, 2023년에는 낮았다는 전반적인 흐름을 학습함. 반면, 월은 매년 반복되는 주기적 변화를 학습함. 예를 들어, 4월에는 항상 점수가.. 공감수 1 댓글수 0 2024. 10. 7.
[RL] 2-1 Markov Decision Processes 이 강의에서는 전제조건으로 agent가 환경에서 발생되는 모든 정보를 볼 수 있다고 가정한다. (fully observable) 설명을 하기 쉬운 환경이지만 실제로 우리가 살고 있는 환경은 그렇치 않다. 우리는 세상에 일어나는 모든일들을 다 알지는 못하기 때문이다. MP(Markov Property)agent가 environment에서 어떠한 action을 하기 위해서는 의사결정이 필요하다. 그리고 그 의사결정을 하기 위해 environment로부터 정보들을 받게 된다. 현재에서 바로 다음 상황을 예측하는데는 현재의 state만 필요할까, 이전 모든 state가 모두 필요할까? 모든 state의 정보가 다 필요하다고 생각할 수 있지만 사실은 현재의 state만 보면 된다는게 Markov Property이.. 공감수 4 댓글수 3 2024. 9. 29.
[RL] 1-1 Introduction to Reinforcement Learning 머신러닝에는 세종류가 있다.superviesde learning, unsupervised learning, reinforcement learning. 이 셋 중에서 이 글에서는 RL에 대해 배워볼 것이다. RL은 다른 머신러닝과 다르게 오직 reward로 판단한다. RL은 이전 행동과 이후 행동이 연관이 있다고 생각하기 때문이다.reward는 스칼라 피드백 시그널로 나타난다. step t에서 agent가 얼마나 잘 했는지는 나타낸다. agent의 역할은 누적 리워드를 최대화 하는 것이다. RL의 핵심, Agent와 Environment(환경)Environment는 Agent가 살아가고 상호작용하는 세상이다. 상호작용의 각 단계에서 agent는 Env의 (Possibly partial) observatio.. 공감수 4 댓글수 2 2024. 9. 27.
[ML] Feature Engineering Feature Engineering머신러닝 알고리즘을 작동하기 위해 데이터에 대한 도메인 지식을 활용하여 특징(feature)를 만들어내는 과정이다.머신러닝 모델을 위한 데이터 테이브르이 컬럼(특징)을 생성하거나 선택하는 작업.모델의 성능을 높이기 위해 모델에 입력할 데이터를 만들기 위해 주어진 초기 데이터로 특징을 가공하고 생성하는 전체 광정. 특징 선택(Feature Selection)특징 랭킹 또는 특징 중요도라고도 불린다.분류 모델 중 Decision Tree 같은 경우는 트리의 상단에 있을 수록 중요도가 높으므로 이를 반영하여 특징 별로 중요도를 매길 수 있다. 회귀 모델의 경우 forward selection과 backward elimination 같은 알고리즘을 통해 특징을 선택한다. 특징 .. 공감수 0 댓글수 0 2024. 9. 23.
npm project 초기설정 방법 빈 폴더를 vscode에 띄운 뒤에 터미널에 아래 문구 입력npx create-react-app ./ 공감수 0 댓글수 0 2024. 9. 2.
[DL 07-1] 인공 신경망 챕터 7과 8은 패션 MNIST 데이터셋을 사용할 것 이다. 이 데이터셋은 10종류의 패션 아이템으로 구성되어 있다.패션 MNIST 데이터는 워낙 유명하기 때문에 많은 딥러닝 라이브러리에서 이 데이터를 가져올 수 있는 도구를 제공한다. 텐서플로(TensorFlow)를 이용해 이 데이터를 불러올 것이다. 텐서플로도 코랩에서 바로 사용할 수 있다.keras.datasets.fashion_mnist 모듈 아래 load_data() 함수는 훈련 데이터와 테스트 데이터를 나누어 반환한다. 이 데이터는 각각 입력과 타깃의 쌍으로 구성되어 있다.훈련 데이터는 60000개의 이미지로 이루어져 있고 각 이미지는 28 * 28 크기이다. 타깃도 60000개의 원소가 있는 1차원 배열이다. 테스트 세트의 크기도 확인해보면 .. 공감수 1 댓글수 0 2024. 5. 26.
[ML 06-1] 군집 알고리즘 타깃을 모르는 비지도 학습타깃을 모르는 사진을 종류별로 분류하려면 어떻게 해야할까? 타깃이 없을 때 사용하는 머신러닝 알고리즘을 비지도 학습(unsupervised learning)이라고 한다. 사람이 가르쳐 주지 않아도 데이터에 있는 무언가를 학습하는 것이다. 처음엔 데이터의 픽셀값을 이용해서 사진을 분류할 수 있겠다는 생각을 할 수 있을 것이다.과일 사진 데이터 준비하기다음은 사과, 바나나, 파인애플을 담고 있는 흑백 사진 데이터이다.이 배열의 첫번째 차원은 샘플의 개수를 나타내고, 두 번재 차원은 이미지 높이, 세 번째 차원은 이미지 너비이다. 각 픽셀은 넘파이 배열의 원소 하나에 대응한다. 즉 배열의 크기가 100 x 100이다.이 넘파이 배열은 흑백 사진을 담고 있으므로 0~255까지의 정숫값을.. 공감수 0 댓글수 0 2024. 5. 24.
[ML 05-1] 결정 트리 알코올 도수, 당도, pH를 이용해 화이트와인과 레드와인을 구분하는 task를 풀어보자.info() : 데이터프레임의 각 열의 데이터 타입과 누락된 데이터가 있는지 확인하는 데 유용.describe() : 열에 대한 간략한 통계를 출력. 최소, 최대, 평균값 등을 볼 수 있다. 여기서 알코올 도수와 당도, pH 값의 스케일이 다르니 이전에 했던 것처럼 사이킷런의 StandardScaler클래스를 사용해 특성을 표준화해야한다.점수가 높지 않다. 훈련 세트와 테스트 세트의 점수가 모두 낮으니 모델이 과소적합된 것 같다. 이 모델을 설명하기 위해 로지스틱 회귀가 학습한 계수와 절편을 출력해 보자.이렇게 보면 우리가 이 모델이 왜 저런 계수 값으로 학습했는지 정확히 이해하기 어렵다. 아마도 알코올 도수와 당도가.. 공감수 0 댓글수 0 2024. 5. 15.
[ML 04-2] 확률적 경사 하강법 경사 하강법은 경사를 따라 내려가는 방법을 말한다. 그럼 확률적이란 말은 무슨 뜻일까? 훈련 셋을 사용해 모델을 훈련하기 때문에 경사 하강법도 당연히 훈련 세트를 사용하여 가장 가파른 길을 찾을 것이다. 그런데 전체 샘플을 사용하지 않고 딱 하나의 샘플을 훈련 세트에서 랜덤하게 골라 가장 가파른 길을 찾는 것이다. 그다음 훈련 세트에서 랜덤하게 또 다른 샘플을 하나 선택하여 경사를 조금 내려가고 이런 식으로 전체 샘플을 모두 사용할 때까지 반복한다. 이처럼 훈련 세트에서 랜덤하게 하나의 샘플을 고르는 것이 확률적 경사 하강법이다. 모든 샘플을 다 사용했는데도 다 못내려왔다면 어떻게 할까? 훈련 세트에 모든 샘플을 다시 채워 넣는다. 그다음 다시 랜덤하게 하나의 샘플을 선택해 이어서 경사를 내려간다. 이렇.. 공감수 0 댓글수 0 2024. 5. 9.
[ML] 소프트맥스 회귀 구현하기 이번 챕터에서는 소프트맥스 회귀를 로우-레벨과 F.cross_entropy를 사용해서 구현해보겠습니다.앞으로의 모든 실습은 아래의 과정이 이미 진행되었다고 가정합니다.import torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimtorch.manual_seed(1)x_train = [[1, 2, 1, 1], [2, 1, 3, 2], [3, 1, 3, 4], [4, 1, 5, 5], [1, 7, 5, 5], [1, 2, 5, 6], [1, 6, 6, 6], [1, 7, 7, 7]]y_.. 공감수 0 댓글수 0 2024. 5. 7.
[ML] 소프트맥스 회귀(Softmax Regression) 이해하기 앞서 로지스틱 회귀를 통해 2개의 선택지 중에서 1개를 고르는 이진 분류(Binary Classification)를 풀어봤습니다. 이번 챕터에서는 소프트맥스 회귀를 통해 3개 이상의 선택지 중에서 1개를 고르는 다중 클래스 분류(Multi-Class Classification)를 실습해봅시다.1. 다중 클래스 분류(Multi-class Classification)이진 분류가 두 개의 답 중 하나를 고르는 문제였다면, 세 개 이상의 답 중 하나를 고르는 문제를 다중 클래스 분류(Multi-class Classification)라고 합니다. 아래의 문제는 꽃받침 길이, 꽃받침 넓이, 꽃잎 길이, 꽃잎 넓이라는 4개의 특성(feature)을 가지고 setosa, versicolor, virginica라는 3개.. 공감수 0 댓글수 0 2024. 5. 3.
L05.1 User-free Models Practice last.fm 데이터셋● last.fm: 온라인 음악 Database, 추천 서비스● HetRec 2011 에서 데이터셋 공개 ○ 92,800 artists, 1892 users ○ https://grouplens.org/datasets/hetrec-2011/!wget https://files.grouplens.org/datasets/hetrec2011/hetrec2011-lastfm-2k.zip!unzip hetrec2011-lastfm-2k.zip 데이터 준비● artists 정보 불러오기artists = {}with open('artists.dat', 'r') as f: print(f.readline()) for line in f: id, name, _, _ = l.. 공감수 0 댓글수 0 2024. 4. 30.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.