본문 바로가기
728x90

[Artificial Intelligence]8

선형 회귀 수식으로 제대로 이해하기 선형 회귀 Task 이해하기 $$X : [1 , 2, 3] \newline, Y : [3, 5, 7]$$ 식이 간단하다면 X와 Y의 관계는 \(f(x) = 2x + 1\) 로 예측가능하다. 하지만 데이터가 많아지고 식이 복잡해지면서 우리가 직접 해결하기 보다 컴퓨터에 이 문제를 맡긴다. ⇒ 선형 회귀 문제 가설 세우기 \(H(W, b) = W x + b\) 위의 예시로 목표는 W = 2, b = 1이 되게 하는 것이다. 가설 초기화 W = 1, b = 0 ⇒ 얼마나 잘 못 되었는지 아는 함수 : Cost(W, b) 비용 함수는 대표적으로 최소 제곱법을 이용한다. [그림1] 예시 $$Cost(W, b) = {1 \over m} \times \overset{m}{\underset{i = 1}{\Sigma}}.. 2024. 1. 26.
Vision Transformer 이해하기 | 1. Transformer overview Transformer 구조는 attention mechanism을 기본 학습 계층으로 사용하는 모든 신경망으로 간주됩니다. 마치 컨볼루션 신경망이 convolutions을 기본 학습 계층으로 사용하는 방식과 유사합니다. VIT 구조는 원래 Transformer 구조를 vision 문제에 맞게 조정하도록 설계되었습니다. “vanilla Vision Transformer”로 알려진 오리지널 구조를 이해해보겠습니다. 가령, 모델 입력은 피자, 스테이크, 스시 이미지이고, 이상적인 모델 출력은 피자, 스테이크, 초밥의 예상 라벨인 경우로 가정하겠습니다. 문제는 입력에서 원하는 출력으로 어떻게 이동해야 원하는 출력을 얻을 수 있는가입니다. VIT는 딥러닝 신경망 구조.. 2023. 9. 20.
Get Info for DL 논문 구조 논문마다 다를 수 있지만 일반적으로 따르는 구조 ­­부분 목차 Abstract 주요 연구 결과, 기여도에 대한 개요 Introduction 논문의 주요 문제, 해결하기 위해 사용된 이전 방법의 세부 정보 Method 연구 진행 방법 Ex) 어떤 모델, 데이터 소스, 훈련 설정 Results 논문의 결과, 이전 연구와 어떻게 비교되는지 Conclusion 제안된 방법의 한계점, 연구를 위한 다음 단계 제시 References 어떤 논문을 참고하여 연구를 진행 Appendix 포함되지 않는 추가 리소스 Machine Learning Engineer skill 1. Download a paper 2. Implement it 3. Keep doing this until you have skills 논.. 2023. 9. 20.
인공지능 용어 AI 영역 ANI narrow AI 하나에 집중 GAI general AI 생성 인공신경망 1) ANN 인공신경망 2) Deep Neural Network Hidden Layer가 많아짐 3) 딥러닝의 출발점 character recognitioin CNN, GPU 4) 컴퓨터 비전 Single object Multi object classification classification + Localization Object Detection Instance Segmentation Deep Learning 1) perceptron 2) Gradient-Decent Error 줄이기 3) MLP : input → Hidden Layer → output Backpropagation 역전파 알고리즘 - 기대 출려.. 2023. 2. 28.
AI 기초 이론 AI 기초 이론 ● Hypothesis y = 2x Supervised Learning - Regression / Classification Unsupervised Learning y = ax + b가 딥러닝에서는 다음으로 정의합니다. y를 Hypothesis, b를 Θ_0, a를 Θ_1 ● Cost Function Hypothesis로 나온 결과 값과 실제 값의 차이를 제곱하는 비용함수를 구합니다. 비용함수(Cost Function)는 다음으로 정의합니다. 숫자 2는 계산의 편의상 들어가 있습니다. 비용함수가 최소가 되는 ZERO가 되도록 만드는 지점을 찾습니다. 어떻게 ZERO로 만들까? ● Gradient desecnt Gradient descent algorithm을 사용하여 repeat unti.. 2023. 2. 27.
[콘볼루션 신경망] CONVOLUTIONAL NEURAL NETWORKS Convolutional Layer란 콘볼루션 신경망을 설계하기 위해서 콘볼루션 레이어를 불러야 합니다. 콘볼루션 레이어는 이미지에서 특징을 추출하는 층입니다. 즉, 이미지에서 중요한 정보를 추출하려는 레이어 입니다. 커널이라고 불리는 레이어들이 이미지를 훑으면서 특징을 추출합니다. 하나의 레이어에만 의존하지는 않고 실제로는 여러 개의 커널이 있습니다. 모든 특징을 추출하여 그 정보를 갖고 인공 신경망을 훈련 시킵니다. 첫 번째 CNN 혹은 콘볼루션 신경망은 이미지에서 높은 수준의 일반적인 특징을 추출하기 위해 사용합니다. (곡선, 모서리 등 이미지에서 특징이 될만한 부분) 다음 레이어는 층이 깊이 들어가면서 더욱 복잡한 특징을 추출합니다. (얼굴, 코, 눈 등) CNN 흐름 CNN의 전반적인 흐름은 이.. 2023. 1. 26.
[오토인코더] AutoEncoder 오토인코더는 일종의 인공신경망이다. 데이터 인코딩 작업을 수행하기 위해 사용합니다. 오토인코더의 구조는 다음 그림과 같습니다. 인공신경망이 인코더 네트워크와 디코더 네트워크로 구분됩니다. 두 개의 인공신경망이 있고 반전된 구조로 연결되어 있습니다. 인풋이 들어가 은닉층을 거치며 축소되고 코드 층에서 업샘플링을 합니다. Z는 Bottlenect "code layer"로 네트워크가 인풋을 압축시켜 인코딩 되도록 강제하는 역할을 수행합니다. 그리고 아웃풋에 도달합니다. 인풋 데이터와 똑같은 아웃풋 데이터를 재구성해내는 구조입니다. 오토 인코더를 사용하여 간단한 차원 축소 혹은 인코딩을 수행합니다. 만약, 데이터들 간에 상관관계가 존재한다면 오토인코더는 잘 작동됩니다. ENCODER : h(x) = sigmoi.. 2023. 1. 25.
[인공신경망] ANN: Artificial Neural Networks 인공 신경망이란 인간의 실제 뇌와 신경을 본떠 만든 구조 입니다. 지능은 뉴런들이 전기적, 화학적 신호를 사용하며 서로 소통하며 생기는 것이다. 인공신경망은 생물학적인 뉴런들을 모방하기 위해 많은 수학적 식을 이용합니다. 간단한 인공싱경망 이미지는 다음과 같다. m: 은닉 층의 뉴런 수 N_1: 입력의 수 Feed forward Artificial Neural Networks 파란 점들은 뉴런이고 모두 연결되어 있습니다. 첫 번째 층에 있는 모든 뉴런은 은닉층이라고 불리는 두 번째 층에 모두 연결되어 있습니다. 모델 내 은닉층을 많이 늘려서 학습의 결과를 향상시키는 방법은 Dense Artificial Neural Networks (DNN)라고 부릅니다. 은닉층에 이어진 또 다른 은닉층에 또 이어지거나 .. 2023. 1. 24.
728x90

티스토리툴바