Machine-Learning/paper9 [Paper] GPT (Generative Pre-trained Transformer) GPT (Generative Pre-Training of a Language Model) https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf As of 24 February 2020, Three are 6,020, 081 article in the English Wikipedia containing over 3.5 billion words 즉, labeling된 데이터보다 unlabeling 된 데이터의 수가 훨씬 더 많다는 것을 알 수 있다. 그런데, 이 labeling된 데이터셋보다 훨씬 더 많은 unlabeling된 데이터 셋을 잘 활용하면 더 좋은 supervised laerning에 대해서도 훨 씬 더 좋은 퍼포먼스를 .. 2022. 12. 28. [paper] Mask RCNN Mask RCNN - 별도의 FCN을 ConV Feature Map 다음에 연결해 binary mask 생성 - mask prediction 과 Class predicction의 decouple 정확도 향상 - Faster RCNN과 크게 다르지 않는 구조로써 mask branch, FPN, 그리고 RoI Align 추가 - RPN 전에 FPN (Feature pyramid network)가 추가 - image segmenation 의 masking 위해 RoI align이 RoI Pooling을 대신하게 됐다 Abstract Mask RCNN은 개념적으로 Object instance Segmentation 을 위한 단순하고, 유연한 일반적인 frame work이다. 이것은 각각의 인스턴스를 위해서 하나.. 2022. 11. 24. [Paper] CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features [Paper] CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features https://arxiv.org/pdf/1905.04899.pdf 해당 논문은 네어버 Clova에서 발표한 Cutmix이다. 이미지 성능 향상을 위한 Data Augmentation 기법은 다양안 방법이 있다. Mixup, Cutout 등 다야앟ㄴ 당법이 있다. 그중에서 Cutout의 경우 이미지의 일부를 잘라내 픽셀 값을 0을 채우고 Mixup의 경우 다른 이미지와 겹칩으로써 (inte.. 2022. 10. 17. [Paper] Faster RCNN Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks Contents 1. Overview 2. Related Work 2.1 Object Proposals (= region proposals) 2.2 Deep Networks for Object Detection 3. Faster R-CNN 3.1 Region Proposal Networks 3.2 Anchors 3.3 Multi-Scale Anchors as Regression References 3.4 Sharing Features for RPN and Fast R-CNN (4-step) 3.4 NMS (Non-Maximum Suppression) 3.6 RPN .. 2022. 10. 6. [Paper] RCNN R-CNN RCNN은 논문에 설명하는 것처럼 거시적인 측면에서 봤을 때, Input image을 ROI를 통해서 각각의 Region에 해당하는 영역을 Selective Search를 통해서 약 2천장의 Proposal로 분석하고, 나눠진 Proposal을 통합 (Warp)하여 CNN 통해서 학습시켜 각각을 Classification을 할 수 있다. 논문의 사진을 다음과 같이 나누어 설명할 수 있는데, Proposal Method로부터 이미지를 Selective Search를 통해서 선정된 영역을 각각의 ConVN 으로 학습시킨 후 Feature map을 통하여 SVMs과 BBox reg으로 Validation and Evaluation을 할 수 있다. * Selective Search (SS) Regio.. 2022. 10. 6. [Paper] Attention Attention [논문] NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE 해당 논문은 Dzmitry Bahdanau의 이름을 따서 Bahdanau Attention으로도 유명한 Attention의 시작 논문이다. Abstract 논문에서는 encoder-decoder 를 구성하는 아키텍처에서 고정된 길이 벡터(fixed-length vector)로 인코딩하여 디코더가 번역을 생성하는 부분에서 병목 현상 (bottleneck)이 있다고 추축하고, 이러한 부분을 고정적인 분할 (segment)를 하지 않고 번역 대상 단어와 관련된 번역 원문이 어떤 부분인지 자동적으로 해결하고자 제안된 논문이다. Introduction 기존의 en.. 2022. 9. 15. [CV Paper] Vision Transformer Vision Transformer AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE Google Research, Brain Team (Published as a conference paper at ICLR 2021) ViT는 트랜스포머가 컴퓨터 비전의 기본 문제인 분류 문제를 얼마나 잘 푸는지 확인할 목적으로 [Vaswani2017]이 제안한 원래 트랜스포머 구조를 최대한 그대로 따라 실험한다. 원래 트랜스포머는 언어 번역을 위해 개발되었기 때문제 문장을 입력 받아 문장을 출력하는 구조, 즉 인코더는 입력 문장을 처리하고 디코더는 출력 문장을 처리하는 구조를 가진다. 문장은 단어가 순서대로 배열된 1차원 구조의 데이터인.. 2022. 8. 25. [Paper] Fast RCNN Fast RCNN Fast R-CNN은 R-CNN의 단점을 보완하여 개발한 Method이다. 기존의 RCNN은 위에서 보이는 그림과 같이 input image에 대해서 SS(Selective Search) 등 을 통해서 얻은 ROI별로 각각 Conv Net의 모델로 학습하고 학습된 Feature map을 통하셔 SVM을 통해서 Predict하는 형태로 많은 저장 공간과 느리다는 단점을 가지고 있었다. 그래서 Fast R-CNN이 등장하였고 기존의 각각의 ConVNet을 하나의 ConVNet을 사용할 수 있도록 Crop + Resize 된 동일한 형태의 fixed-size를 만들어 하나의 ConVNet 공간에서 학습 할 수 있도록 만들었고, 두개의 동일한 형태는 classification, regresso.. 2022. 8. 23. [Paper] An overview of gradient descent optimization algorithms An overview of gradient descent optimization algorithms introduction Gradient descent algorithms Gradient descent 여러 종류의 문제에서 최적의 해법을 찾을 수 있는 일반적인 최적화 알고리즘 목적 함수의 기울기 와 반대 방향으로 parameter 쎄타를 업데이트하며 목적 함수 \(\triangledown\theta\)를 최소화 하는 방법이다 learning rate (lr) parameter step의 크기 lr가 너무 작으면 알고리즘이 수형하기 위해 반복을 많이 진행해야 하므로 시간이 오래 걸리고, lr가 너무 크면 골짜기를 가로 질러 반대편으로 건너뛰게 되어 이전보다 더 큰 값으로 발산 할 수 있다. Gradien.. 2022. 8. 23. 이전 1 다음
