카테고리 (177) 썸네일형 리스트형 [논문정리] GAN의 목적함수 읽는법 GAN관련 논문들을 읽다보면 항상 나오는 수식이 있다. 다음과 같이 E와 함께 쓰인 식인데 우선 살펴보도록 하자. 논문에서 직접 말하겠지만 참고로 (1)번 수식은 loss function이 아닌 objective function이다. 손실함수와 목적함수는 비슷하지만 분명히 다른데, 손실함수가 목적함수의 특별한 케이스라고 보면 된다. 간단하게 설명하자면 손실함수는 무조건 작을 수록 좋은것이지만 목적함수는 최소화를 목표로 할 수 도있고, 최대화를 목표로 할 수도 있다. 그러나 마찬가지로 목적함수로 학습의 최적화를 위해서 존재하는 함수라는 점에서 loss function과 비슷한 부분이 있다. 다시 논문내용으로 돌아가서 (1)은 loss function이 아니기 때문에 log(D(x,y))와 log(1-D(x.. [pytorch] register_buffer 란? register_buffer 로 layer를 등록하면 어떤 특징이 있는가? 1. optimizer가 업데이트하지 않는다. 2. 그러나 값은 존재한다(하나의 layer로써 작용한다고 보면 된다.) 3. state_dict()로 확인이 가능하다. 4. GPU연산이 가능하다. 따라서 네트워크를 구성함에 있어서 네트워크를 end2end로 학습시키고 싶은데 중간에 업데이트를 하지않는 일반 layer를 넣고 싶을 때 사용할 수 있다. 참고 사이트 : discuss.pytorch.org/t/what-is-the-difference-between-register-buffer-and-register-parameter-of-nn-module/32723/6 [occluded data] dataset에 occlusion 취하는법 논문을 구현하려다 보면 dataset이 간혹 이런 내용이 나온다. 데이터셋 자체에서 occlude가 취해져 있는 것도 있으나 이 논문에서는 training을 위해 직접 데이터에 occlusion작업을 해주었다. 처음 봤을 때 어떻게 occlusion을 취했는지 의문이 들었다. 그냥 임의의 patch모양으로 pixel에 0을 취해서 까만 사각형을 만들어버리면 되나?? 그런식의 occlusion도 있겠지만 적절한 방법은 아니라고 교수님께서 말씀하셨다. 대신 적절한 방법은 이미지에 직접 다른 segmentation된 이미지를 추가하거나 아래 github처럼 프로그램을 사용하여 segmentation된 이미지를 추가하게끔 하는 것이다. github.com/isarandi/synthetic-occlusion [딥러닝 개념] input image를 normalize해서 넣는 이유 normalize한다는게 무슨 말일까? 논문을 보다보니 이런 내용이 있었다. batch normalization으로 feature map들을 정규화한다는 말은 들었는데 input image부터 정규화한다는 말은 처음 들었다. 그런데 간단하게 생각해서 둘다 비슷한 말이라고 생각하면 된다. 그렇다면 image를 정규화하는 이유는 뭘까? 당연히 성능이 더 좋게 나왔으니까... 일반적으로 image의 각 pixel값들은 0~255의 값을 가지는데 이를 가장 간단하게는 그냥 255로 나누어서 0~1의 값을 가지도록 하는 경우도 있고, 위의 논문일부처럼 mean, variance를 가지고 정규화하는 경우도 있다. batch normalization에서나 input image normalization에서나 이유는 같.. [딥러닝 개념] softargmax란? 딥러닝 신경망을 공부하다보면 softargmax라는 개념이 종종 등장하기도 하고, 그냥 넘겨 지나갈 수 있으나 막상 이 논문을 구현하고자 한다면 가볍게 넘어갈 수 없다. 심지어는 어떤 논문에서는 softargmax에 대한 언급을 꽤 많이 하는 경우도 더러 있기 때문에 이번 기회에 확실히 이해하고자 한다. softargmax를 알기 전에 argmax를 이해하자. argmax는 input집합중에서 가장 큰 값의 index를 output으로 내보내는 함수라고 보면 된다. 그게 1차원일수도 있고, 2차원 이미지일 수도 있다. 만약 2차원 이미지를 argmax에 넣는다면 이미지에서 가장 pixel값이 큰 좌표가 나올 것이다.(pixel이 아니라 좌표가 나온다는 점에 주의해야 한다.) 여기서 중요한 점은 index.. [개념정리] orthogonal 하다는 것의 의미? orthogonal, 선형 독립, 선형 종속 같은 개념이 나오지만 이 글에서는 최대한 수학적인 설명이 아닌, 개념적 설명위주로 하겠다. 두 특성이 orthogonal하다는 것은 두 특성이 독립이다 라는 개념안에 포함되는 개념이다. 즉, A와 B가 orthogonal하면 반드시 독립인 관계이지만, A와B가 독립이라고해서 반드시 orthogonal한것은 아니라는 뜻. 그렇다면 두 특성이 독립이라는 것은 무슨말일까? 두 특성 A, B가 선형 종속이 아니라는 소리인데 이 말은 또 무슨말인가?? 두 특성이 종속관계이면 완전히 대체가 가능하다. 즉, A와 B를 둘다 쓸 필요없이 둘중 하나만 쓰면 된다는것. 예를 들어 회사에서 김대리가 박사원의 모든 일을 커버할 수 있으면 두 관계는 종속이라고 할 수 있겠다. 이제 .. [Error] IndexError: invalid index of a 0-dim tensor. Use `tensor.item()` in Python or `tensor.item<T>()` in C++ to convert a 0-dim tensor to a number IndexError로 다음과 같은 에러가 발생했다. 깃허브에 있는 예전 코드를 가져올 때 발생할 수 있는 에러인데 pyTorch의 버전이 0.5 보다 크면 발생할 수 있다고 한다. 이 에러는 단순히 0 차원 텐서가 유효하지 않기 때문에 발생하는 에러다. data[0] --> data 로 바꿔주면 해결된다. 주석처럼 돼있는걸 주석 아래줄로 바꾸면 된다. 참고 사이트 : github.com/NVIDIA/flownet2-pytorch/issues/113 [책 소개] 당신은 겉보기에 노력하고 있을 뿐 이 책은 이런 내용을 담고있다 제목만 보면 이 책은 노력하는법, 흔들리지 않고 내 할 일을 죽어라 열심히 할 수 있는법에 대해서 말해주는 책으로 보인다. 그런 내용을 포함하고 있는 것은 사실이나 노력과 성공에 대한 내용만 가진 책이 아니다. 처음에는 노력과 목표, 성공에 대한 이야기가 나오지만 책 중반부로 가면 ‘관계의 중요성’, ‘자기가 처한 현실에 대해 불만을 가진 것’에 대한 조언도 있다. 이 책의 저자는 중국인이고 중국의 수 많은 젊은이를 위한 현실적인 조언을 담았으나 어느 나라냐에 상관없이 우리나라 젊은 세대도 읽으면 충분히 도움이 될 현실적인 조언들이 많이 담겨있다. 내용중에서 3가지 간략한 소개 [수면만이 휴식이 아니다] 글쓴이의 기숙사 동기는 하루의 열시간씩 자도 계속계속 피곤해 했다. 친.. 이전 1 ··· 6 7 8 9 10 11 12 ··· 23 다음
