Review (4) 썸네일형 리스트형 Self-supervised learning (자기지도학습)과 Contrastive learning (대조학습): 개념과 방법론 톺아보기 ** 본 포스팅은 NeurIPS2021의 self-supervised learning 튜토리얼에 필자의 소소한 설명을 덧붙인 글입니다. Supervision을 위한 대량의 labelled data 특히 high-quality의 labelled data를 얻는 것은 비용이 많이 든다. unlabelled dataset만으로 task-agnostic하게 데이터를 잘 표현하는 '좋은 representation'을 얻으면 얼마나 좋을까? "unsupervised learning을 통해 좋은 representation을 얻는다면 다양한 downstream task에 빠르게 적응할 수 있을 것이다, 더 나아가서는 supervision보다 더 좋은 성능을 얻을 수 있을 것이다" 라는 생각에서 self-supervi.. Semi-supervised learning (준지도학습): 개념과 방법론 톺아보기 Semi-supervised learning overview 논문 [14-16] 및 여러 방법론 관련 논문들 [1-13] 읽으며 얻은 지식을 바탕으로 글로 정리해보려고 한다. 오랜만에 쓰는 기술글이라 설렌다!! 나도 처음 공부하는 분야이기 때문에 부족한 부분도 있겠지만, 틀린 부분이나 덧붙여 설명이 필요한 부분이 있다면 댓글에 남겨주시면 더 풍부한 글이 될 것 같다. 그럼 시작! Supervised learning 의 한계 딥러닝의 가장 대표적인 방법론은 supervised learning (지도학습)이다. 하지만 supservised learning은 어쩌면 학습 데이터의 패턴을 외우는 학습법에 불과하다. 그러므로 한번도 보지 않은 데이터에 대해서는 맞추기 쉽지 않다. 일반화가 잘되기 위해서는 필연적으.. ICLR 2021 참관 후기 제가 벌써 회사에 입사한지 4개월이 다 되어가네요. 새삼 시간이 빠르다고 느낍니다. 그 간 논문도 투고하고, 과제도 참여하고, 학회도 참여하고... 이래저래 바쁘다는 핑계로 개인 블로그에 시간 투자를 하지 못했습니다. 5월에 ICLR 2021 학회를 들을 기회가 있었는데요. 신입 연구원인 저는 여러 주제에 기웃거리면서 많은 연구들을 접했습니다. 졸업연구에만 너무 매몰되어 있어 놓치고 있던 여러 분야들을 접하며 연구세계가 넓어질 수 있는 의미있는 시간이었습니다. 신기하고 재미있는 논문들이 많았는데 generative model 중 관심이 가는 두 논문에 대해 리뷰를 하고 저희 회사 블로그에 ICLR 2021 참관 후기를 기고하였습니다. 더 좋은 연구원으로 성장해서 쉽고 명쾌하게 insight를 전달하고 싶.. Glow: Generative Flow with Invertible 1X1 convolutions 논문 리뷰 논문은 이곳에 링크를 걸어두겠다. 동아리에서 논문세미나(WaveGlow)를 했던 내용으로 발표영상도 있으니 참고하면 좋겠다. 순서로는, 생성모델의 종류를 알아본다. flow기반 방법을 이해하기 위한 수학적 근간을 알아본다. flow기반 방법의 수식을 이해해본다. Normalizing flow가 복잡한 분포를 생성해내는 것을 알아본다. Glow가 어떻게 normalizing flow를 구현했는지 model구조를 알아본다. Generative model의 3가지 유형 1. Generative adversarial networks(GAN) GAN은 생성자(generator)와 구분자(discriminator)로 구성되어있다. 구분자는 생성자가 생성해낸 fake sample들로부터 진짜 데이터를 구별하는 일을.. 이전 1 다음
