https://www.notion.so/8148e6242b7344a1837c92d5d7d2724a?v=944e8b68bc3143fe878ae74e0b7d9281
2021년 4월 11일 일요일
2021년 4월 7일 수요일
AITech P-stage1 [Day 8] 앙상블 실패, f1loss로 학습해보는중
===================================
목표
어제 못했던 앙상블 해보기
==================================
행동
어제 mask, gender, age 각각의 모델에 대한 학습을 다 하고, 각 모델에 eval data 를 통과시켜 나온 결과를 합쳐 최종 결과를 내는 걸 만들었다. 결과는 실망스러웠다. 단일 모델로 했을 때보다 결과가 안 나왔기 때문이다.
age는 원래 딱 60살만 2 label을 가지지만 59살 이상을 2label로 가지게 했을 때 결과가 잘 나왔다. 또 epoch를 많이 돌리고 val loss와 val acc에 변화가 없어서 overfitting이라고 생각했지만 내가 overfitting이라고 생각한 checkpoint를 넣고 돌리면 결과가 더 잘 나왔다. 즉 학습을 엄청 많이 하는게 장땡인 것이다. 이거 말고 평소에 다른거 할 땐 언제나 overfitting이 일어나서 좀 낮은 epoch를 했어야 했는데 의외였다.
그래서 learning rate 도 처음부터 1e-5로 시작하고 lr이 줄어드는 step 조건도 줄이면서 진짜 진짜 val과 train에 변화가 없을 때 끝내고 있다. 또 loss가 acc이 목적이 아니라 f1 loss가 목적이 되었다는 것을 생각하며 모든 모델을 f1 loss로 학습시키고 있다. 어떻게 될 지는 잘 모르겠다.
==================================
회고
처음부터 앙상블로 시작했으면 작업시간이 줄어들었을 것 같긴 하다. 그래도 처음이라 notebook으로 작성한걸 py로 바꾸고, 단일 모델로 된걸 앙상블로 바꾸고 그 와중에 GPU memory out같은 오류 등을 겪었다. 이제 인지했고 이게 어떻게 보면 baseline code를 만드는 과정이었으니까 다음에 할 땐 괜찮아 질지도 모르겠다.
2021년 4월 6일 화요일
AITech P-stage1 [Day 7] 단일 모델 실험 끝, 앙상블 실험중..
=======================
피어세션
나이를 제일 빡센(깊은) layer. resnetnext 같은거
adamw
crossentropy에도 weight를 줄 수가 있다.
================================
마스터세션
vscode 방법들.
tumx. 꺼지더라도 실행하는 거인듯. 꼭 알아야 겠다.
dracula theme
image-tile-viewer
잘 안되면 reload
pytorch snippets. pytorch 코드 그냥 만들어주네
extract method. refactoring이 쉽다.
device checking.. train도 그냥 만들어주고..
디버깅 서버
jedi, pylance.
jedi는 느리다. pylance빠르다.
근데 pylance는 자동완성 못찾아서 사용하기 힘듬.
보통 pip install 보면 jedi 설치되어 있음.
디버깅시 justMyCode. 디버깅까지 빠른데 라이브러리 까지 못들어감. 종단점을 걸어도 안들어감. justmycode를 false로 하면 라이브러리 까지 들어감. 이래야 에러가 나타나게 된 data input type을 볼 수 있음. 어디서 에러가 났는지 확인 가능.
pytorch template. configuration file로 주는것도 가능.
power mode
================================
목표
어제 못끝낸 IDLE 끝내서 일단 단일모델 vgg19 하도록 만들기, efficientnet 해보기, 앙상블 해보기
================================
행동
일단 단일 모델로 돌리는 코드는 만드는데 성공했다. 모델도 클래스만 바꾸고 나머진 건드리지 않아도 동작하고, 저장한 모델을 불러오는데 불러올 때 어떤 모델을 사용해서 학습한건지 json에 들어있는 정보를 통해 알맞은 모델을 자동으로 불러온다. 또 단순히 저장된 모델을 불러오는게 아니라 몇번째 시도에서 몇번째 epoch로 저장된 checkpoint를 단순히 args 를 통해 설정할 수 있다. 내가 봐도 정말 잘 만들었다.
근데 문제는 앙상블이다. 단일모델용으로 만든 train 코드를 복사 붙여넣기로 만들긴 했지만 현재 GPU 메모리 초과 문제에 닥쳐있다. 각각 따로 학습시키거나 GPU를 매번 초기화하는 함수가 있나 등을 살펴봐야겠다.
==========================
회고
늦게 일어났다. 늦게 자서 그렇다.
GPU 메모리 문제에 닥칠 줄은 몰랐다. 코드에만 신경써서 그런 것 같다. 그래도 대략적인 틀은 짜놨으니 약간 안심한다. 그래도 내일모래가 끝이다. 사실상 내일이 끝이라고 생각해야 할 듯.
단일모델로는
15 sub_EfficientNet_b4_21y04m06d09_03_55_0.03_0.97_40.csv 76.7302% 0.7067
로 이게 최대인것 같다.
2021년 4월 5일 월요일
AITech P-stage1 [Day 6] 데이터 시각화, 아직 python IDLE로 만드는 중..
==============================
수업내용
시각화를 진행할 데이터
1. 데이터셋 관점 (global)
2. 개별 데이터의 관점 (local)
정형데이터는 평소에 보던 csv, tsv. item, attribute, cell.
통계적 특성과 feature 사이 관계, 데이터 간 관계, 데이터 간 비교.
시계열데이터는 시간 흐름에 따른 데이터.
기온, 주가등의 정형데이터와 음성, 비디오 같은 비정형 데이터 존재.
시간 흐름에 따른 추세(Trend), 계절설(Seasonality), 주기성(Cycle) 등을 살핌.
지리/지도 제이터
거리, 경로, 분포등.
관계 데이터
Graph visualization / Network Visualization
객체는 Node로, 관계는 Link로
계층적 데이터
포함관계가 분명한 데이터
Tree, Treemap, Sunburst
수치적 데이터
수치형(numerical) 안에 연속형(continuous), 이산형(discrete)
범주형(categorical) 안에 명목형(norminal), 순서형(ordinal)
마크와 채널 (mark and channel)
딱히 주의를 주지 않아도 구분할 수 있는 특징. 시각적 분리 (visual popout)
실습
https://colab.research.google.com/drive/1DWqDZPUnuMWQwyBleYk6vvKW_W7p3c5h?usp=sharing
정말 정말 정말 정말 좋다. 기본에 충실한 plt.
================================
피어세션
oversampling
val을 다 일정비율로 맞춰서.
ffhq 사람얼굴 데이터셋, 쓸수있는거 900개.
efficientnet이 짱. resnet18 보다도.
==================================
목표
주말에 IDLE 만들던거 다 만들기
=========================
행동
예시코드로 준거는 거의 다 구현했는데 그 이후에 문제다. 모델 훈련한거 불러와서 csv로 저장하는거.
======================
회고
코딩에 생각보다 시간이 너무 오래 걸린다.
나도 15시간 공부 해보기를 해야되나..
2021년 4월 2일 금요일
AITech P-stage1 [Day 5]
====================================
학습내용
voting으로 앙상블을 할 수도 있는데 여기서도 hard, soft를 사용할 수 있다.
K-fold
원래 멀쩡한 데이터가 있다면 그걸 data augmentation 할 수 있잖아? 그럼 data generator로 나온 결과도 같은 답이어야 함. 그래서 각각의 데이터들끼리 soft 결과 합을 해서 가장 일반적인 결과를 내놓는 방식으로 학습할 수도 있다.
물론 앙상블을 하는 모델 갯수만큼 학습 시간도 많이 늘어남.
https://optuna.org/#code_examples
파라미터도 학습으로 결정할 수 있게 만들수는 있지만 뭐가 좋은지 돌려보고 때려박아서 결정하는거라 정말 시간이 많이 걸린다. 저 optuna library는 뭐라는지 모르겠음.
디버깅 방법..
tensorboard, wandb.
tensorboard로 평소처럼 각 epoch에 대한 train loss, acc, ... 하는것도 볼 수 있고 어떤 입력 이미지에 어떤 결과를 내는지 등등도 볼 수 있다.
wandb는 딥러닝의 깃허브 같은 거라고 하는데 ipynb에서 바로 페이지에서 확인되고 파일로 저장하고 하니까 원격으로 할때 더 편하다는것 같다.
notebook? ide?
notebook은 그때그때 볼 때, 특히 EDA할때 편리. 한번 데이터를 불러놓고 이것저것 해보면서 볼 수 있으니까. 하지만 매번 그 많은 함수들을 복붙해야 함.
ide는 좀 번거롭긴 하지만 한번 .py로 저장해놓으면 불러오면서 사용 가능. 또 터미널에서 config.json이나 --arg 같은걸로 입력해줘서 바로 실행가능하게끔 만들 수 있으니까 구축해놓은 뒤 여러가지 실험을 해볼 때 편리.
kaggle등에서 다른사람이 한걸 볼땐 코드를 봐서 원리를 아는것도 중요하지만 왜 그 사람이 그런 코드를 무슨 생각으로 짰는지 설명을 보면 알 수 있다. 설명을 보고 그 사람의 발상 등을 알아내는게 큰 도움이 되는 듯.
최신논문과 그에따른 코드들을 paper에서 확인 가능.
또 공유하는 것을 주저하지 말것. 모르는거도 알 수 있고 내가 맞는지 확인도 가능하고 등 여러 이점이 많음.
==============================
피어세션
# DynamicBalanceSampler
train_x , val_x , train_y , val_y = train_test_split(df , df['label'] , test_size=0.3, shuffle = True )
train_dataset = CustomDataset(img_path , train_x , train_transforms)
val_dataset = CustomDataset(img_path , val_x , val_transforms)
sampler = data_catal.DynamicBalanceSampler(labels=train_dataset.get_labels())
train_loader = torch.utils.data.DataLoader(train_dataset,sampler=sampler, batch_size= batch_size , num_workers = num_workers)
val_loader = torch.utils.data.DataLoader(val_dataset, batch_size = batch_size , shuffle = False , num_workers = num_workers )
get_labels : 모든 label 가져오기
=========================
목표
vgg19말고 resnet32, efficientnet 같은걸로 사용해보기, 앙상블 해보기
ide 환경으로 만들기. cell이 너무 많아지니 힘들다.
=========================
행동
놀기만함...
========================
회고
시간을 꾸준히 많이 투자하자.
2021년 4월 1일 목요일
AITech P-stage1 [Day 4] data imbalance..
=====================================
수업내용
loss 도 사실 nn.Module 클래스. 그래서 layer처럼 되는거고, 자기가 원하는 식으로 만들 수도 있다. loss.backward()를 하면 require_grad=True 인 것들에 대해 loss layer에서 부터의 변화량 만큼 학습시키는 거임.
근데 loss도 그냥 loss를 하는것 보다는 여러 상황을 고려해서 하는게 더 낫더라. 해서 나온 여러 loss 방법들. 식을 잘 정의하면 고려할 수 있나보다.
optimizer는 이 loss로 구한 error만큼 움직이긴 할 건데 어떻게 움직일거냐 하는걸 결정함.
학습중에 learning rate를 감소시킬 순 없을까? 해서 나온것들이 몇개 있음.
https://www.kaggle.com/isbhargav/guide-to-pytorch-learning-rate-scheduling/log
Metric은 실제 모델을 deploy할 때 성능평가.
모델 훈련시킬 때 model.train() 해서 안에 들어있는 dropout과 batchnorm을 활성화 시킨다고 해놓고 훈련한다.
이제 훈련시킬 때 사용하는 optimizer.zero_grad(), criterion, optimizer.step()을 보자.
zero_grad는 각 파라미터 안에 전에 미분했던 값이 들어있을 텐데 그걸 초기화 시켜주는 것. 이걸 안하면 돌았을 때 전에 들어있던 미분값이랑 새로 나온 미분값이랑 더해진다. 이걸 이용할 수도 있다.
loss도 chain에 넣어줌으로써 각 layer parameter에 대한 loss layer의 미분값을 구할 수 있는 것.
step() 을 사용해서 이렇게 저장된 미분값들을 반영해줘서 update. 업데이트 방법은 optimizer에서 정의하니까 optimizer.step() 이다.
이렇게 과정을 알았으면 응용도 가능하다.
각 batch마다 학습시키는게 아니라 2번씩 쌓아서 학습시키는거.
이렇게 학습시키면 테스트하는 eval 과정도 거쳐야 하는데, model.eval()로 하거나 매번 하는게 불편하면 with torch.no_grad()로 하면 된다.
이게 검증이지.
모델 저장하는건 그냥 하면 된다. 결과를 csv에 넣어서 제출하는것도..
이 모든게 힘들고 귀찮으니까 keras처럼 간단하게 만드는 pytorch lightning이라는 프로젝트가 진행중이지만 내부를 알아야 활용이 되니까.
======================
피어세션
resnet 78% 나옴
valid를 사람 별로 나눠보자
efficient net d1 72%
모델을 나눠서 해보기?
optimizer에서 papers의 madgrad
def seed_everything(seed: int = 42):
random.seed(seed)
np.random.seed(seed)
os.environ["PYTHONHASHSEED"] = str(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed(seed) # type: ignore
torch.backends.cudnn.deterministic = True # type: ignore
torch.backends.cudnn.benchmark = True
===============================
목표
가끔 학습이 잘 안되고 valid data에 대한 accuracy가 0으로 나오는 이유 분석하기, 해결법 찾기, 각 클래스에 대한 모델을 따로 만들어 앙상블 해보기
=============================
행동
일단 0으로 나오는 이유는 코드가 문제가 아니라 데이터 양이 imbalance해서 그런 것이라는걸 알아냈다. 즉 label 4가 제일 많아서 4로 overfitting 훈련된다.
그래서 문제는 데이터 불균형이고 이를 해결하는 방법이 Focal loss라고 한다. 그래서 지금 https://catalyst-team.github.io/catalyst/_modules/catalyst/contrib/nn/criterion/focal.html#FocalLossMultiClass 여기서 돌리고 있는데 잘 되는 것 같다. 문제는 코드를 봐도 원리를 모르겠어서 좀 더 뜯어봐야 할듯. 원래는 catalyst 의 Focal loss말고 balanceclasssampler랑 dynamicbalanceclasssampler 를 보고 이름과 설명 단어좀 보면 데이터 불균형을 알아서 잘 분배해서 학습시키는게 가능하게 하는 걸까? 해서 여러가지 해봤는데 사용법을 아직도 잘 모르겠다. 일단 balanceclassampler는 임의의 list를 넣으면 되는거라 사용하기 쉬울 것 같은데 dynamicbalanceclasssampler는 넣기도 좀 복잡하고 잠깐 해봤는데도 내가 생각한대로 행동을 안해서 좀 더 사용법을 찾아보거나 해야 할듯. 예시도 안나온단 말이야.
그리고 앙상블 이런건 딴짓하느라 못했다.
처음 움직이는 방향으로 결정이 너무 크게 나니 lr를 0.0001로 했더니 어느정도 되는 것 같다. random seed도 이제 설정할 수 있게 해놨다.
=============================
회고
딴짓을 많이 하는 것 같다. 그래도 앙상블 이런거 얘기 들어보면 정말 다양한 시도와 창의력이 필요한 것 같다. 할거랑 시도해볼게 많다는 뜻. 심지어 데이터를 만드는 것도 있으니..
2021년 3월 31일 수요일
AITech P-stage1 [Day 3] epoch는 적당히
================================
수업내용
어떤게 더 사용하기 편리하고, 어떤게 더 개조하기 좋겠는가?
tensorflow는 간단해서 사용하기 편리하게 만들었지만 공부하고 연구하는 거는 pytorch가 더 좋게 만듬. 철학이다.
모든 모듈들은 최종적으로 _ConvNd(Module)을 가진다. 내가 MyModel 안에서 정의한 nn.Conv2d들도, 내가 정의한 MyModel 자체도 모두..
그래서 모두 하나의 클래스로 정의되어 있기 때문에 위에 쌓고 위에 쌓고 분리되고 합쳐지고.. 하는 여러 자유로운 방식으로 구성되고 데이터를 주고받을 수 있는 것이다.
모두 같은 클래스를 가지게 된다는건 모두 같은 함수를 가지고 있다는 뜻. 즉 forward 하나만 실행하면 알아서 하위들의 모든 클래스에서 서로 각각의 forward들을 서로 실행하기 때문에 구성이 자유롭다는 것이다.
이건 pytorch 때문이기 보다는 python이기에 가질 수 있는 pythonic한 특징인데, 모든 모듈과 그에 해당하는 weight들을 dict 형식으로 저장하기 때문에 파라미터들을 그대로 불러올 때 그 불러와지는 모델의 구조를 알고 있으면 정확히 빼올 수 있다. 또 dict에서 key로 이름이 저장되어 있어서 원하는 weight들만 빼오는 방식도 할 수 있는 등 여러 개조가 가능함. 이래서 pythonic의 장점이라고 한다.
state_dict과 parameters의 차이점은 state_dict은 파라미터 이름 정보까지 같이 불러오는 거고 paramters는 그렇지 않음.
미리 학습된 모델을 load_dict 같은걸로 가져올 수 있는데 특정 layer는 학습시키고 안시키고를 requires_grad 를 설정하는게 가능하다. 왜 이름이 requires_grad냐면 딥러닝 이론 배울때 경사하강법을 이용해 학습하기 때문에 해당 layer가 출력값에 대한 미분값을 가지고 있어야 해서 grad를 가지고 있어야 학습이 가능. 그래서 grad가 필요없다고 하면 어차피 그 layer는 학습 안할거니까 grad가 필요없다는 뜻.
대체로 pretraining 된 모델을 쓰는게 좋다. 다만 내가 하고있는 project의 목적에 어느정도 맞는가 안맞는가를 고려하는게 중요.
만약 사무실에서 의자를 구분한다고 하자. 다양한 object 1000개를 분류하는 것과 유사하기 때문에 backbone은 그대로 냅두고 뒤에 있는 classifier만 학습시켜도 됨. cnn backbone의 역할은 해당 물체의 특징 feature를 뽑아내는 거라고 보면 된다.
반면 구름끼리 종류를 구분하는 거라면? 아니면 자동차끼리 종류를 구분하는 거라면? cnn backbone은 대체로 저렇게 생겼으면 구름이고 바퀴랑 몸통만 있으면 자동차다 이런식으로 특징을 뽑아내도록 이미 학습되어 있기 때문에 backbone을 그대로 둔다면 잘 안될 가능성이 큼. 그럴땐 cnn backbone까지 학습시킨다.
사실 모델 목적이랑 진짜 전혀 상관이 없다해도 모든 weight를 초기화해서 바닥부터 시작해서 하는것보다는 그래도 pre-trained model에서 backbone을 바꿔가면서 하는게 성능이 잘 나온다는 여러 사람의 경험과 주장이 있다. 그래서 왠만하면 쓰는게 좋은듯.
하지만 위 모든 것들은 데이터 수가 충분히 많들때를 가정해서 말한거다. 데이터가 별로 많지 않으면 overfitting, underfitting이 될 가능성이 매우 크기 때문에 걍 하지 말자..
===========================
피어세션
adamP
그냥 구글에 쳐서 pip로 깔면 됨
gpu, delete cash로 내리는게 있다
저작권 때매 포트폴리오 못만든다고 하면 다른 공개된 외부 데이터로 해서 만들자.
=======================================
목표
어제 못한 data payload 잘 만들어서 모델에 돌리기
=================================
행동
pretrained model들은 cnn 바로 뒤에 그냥 linear로 연결해서 잘 작동해서 그대로 따라했는데 왜 자꾸 안되는지 의문이었다. 그냥 사이에 flatten 넣어줘서 해결했다.
그래서 모델로 돌려봐서 결과가 나왔는데 epoch 4, 9, 12, 16으로 돌린 결과 중 9가 가장 잘 나왔다. 이 모델은 vgg19에서 cnn의 끝자락부터만 바뀌도록 fine tuning을 해서 나온거다. 이제 할수 있는건 misson에서 나온 모델도 돌려보고 data argment도 예시 코드에서 줬으니까 이용해서 더 돌려보고 앙상블도 해보고 할 수 있겠다.
mission에 있는 형식대로 모델을 잘 짰는데 돌리면 성능이 너무 바닥이고 val의 acc이 자꾸 0이 나온다. 어제도 그랬었는데 코딩에서 생긴 버그 같다. 한번 찾아봐야겠다.
==================================================
회고
버그 찾기. linear 앞에 flatten을 꼭 붙이자. pretrained model도 사실 사이에 있지만 숨겨진거 아닐까.
2021년 3월 30일 화요일
AITech P-stage1 [Day 2] 아직도 data payload에서 막힘.
=============================
수업내용
data argumentation도 좋지만 그에따른 병목현상도 고려해야 한다.
dataset은 몇 번째 index에 해당하는 자료가 뭔지를 뽑아내는 거고, dataloader는 그걸 더 편리하게 해주는 것에 불과함. 둘을 잘 분리해야 한다.
num_workers를 무조건 늘린다고 좋은게 아니다. cpu로만 학습할 때는 과부화 뭐 그런 문제가 있는 듯. 그래서 데이터나 프로젝트, cpu코어 갯수 등.. 환경마다 고려해서 확인해주는게 좋음.
=================================
피어세션
Additionally, VGG networks are trained on images with each channel normalized by mean=[0.485, 0.456, 0.406] and std=[0.229, 0.224, 0.225]. We will use them to normalize the image before sending it into the network.
그냥 일반적으로 저렇더라. 보편적으로.
class 불균형할때 쓰는 loss
fmse loss
focal loss 좋다? invalance 해결하려고 나온거니까
entropy loss
adam
adamP
자소서 쓴거 물어보는듯.
카카오는 모든 코딩문제를 풀 정도로 문제해결력이 뛰어나거나, 코테 통과할정도로만 하고 딥러닝 지식에 대해 매우 잘 아느냐.
설명을 위해 맞춰야겠다. 주석 무조건 달아야겠다.
네이버. 인성면접. 자기소개 하나만 하고 진짜 CS, 운영체제, 알고리즘 문제, 구글에서 나왔던 면접질문(사고력을 요하는, 골프공 구멍 몇개)
어떻게 왜 썼다 당당하게 말할 수 있게. 일단 써보고 생각하는게 나을듯. 다양한 시도=
=====================================
목표
어제 했던걸 기반으로 data argumentation 이런거 생각하지말고 간단하게 통과시켜 결과를 보고 조금씩 추가하고 수정하는 방식으로 하자.
============================
행동
기존 vgg19 모델에서 내가 원하는 뒷부분만 학습시키게 다 만들었는데 모델에 입력 이미지가 안들어간다. 지금 성질나서 글 못쓰겠다.
내가 어떤 변수에 어떤 경로변수를 저장했는지 잘 인지해야 겠다.
지금 막힌건 뭐 linear에 안맞대. 그냥 지나ㅉ 아니 이미지 사이즈까지 맞추 ㅓ줘도 안된다고 징징대면 뭐 어쩌라고
====================
회고
왜 안되는거야
2021년 3월 29일 월요일
AITech P-stage1 [Day 1] 모델구성과 data payload 고민 작성중..
============================
강의 내용
목적을 이해하는 행위 EDA(Exploratory Data Analysis)
각 셀들에서도 목적이 있다. 호기심 나열. 어떻게 써야할지. 코드 구현.
개요를 잘 보자. 왜 대회를 열었는지 목적. 방향을 볼 수 있다.
=========================
목표
딱히 없었음. 대회 코드 보고 데이터 분석하고 할 수 있으면 모델 넣고 결과만 보자. 간단해도 되니까.
=============================
행동
그래서 첫주인 만큼 환경세팅을 했다.
예전에 titanic 분석할 때 사용했었던 것들을 한번 사용해 보았다. 특이한건 나이 분포가 중간이 움푹 패어있지만 대회에서 요구하는 나이대로 나누면 비율이 반대가 된다는 것. 이게 성급한 일반화의 오류가 아닐까.
또 사전 학습한 모델을 활용하려고 예전에 style transfer 코드를 따라쳐본게 있다. 그걸 응용해서 모델을 구성했다. 왜 사전학습으로 했냐면 피어세션에서 그냥 했더니 정확도가 아주 안나왔다는 말이 생겨서. 또 모델은 대체적으로 앞의 layer들은 전체적인 지식을, 뒤로갈수록 문제에 최적화된 지식을 가지게 되니까 cnn이 16개 나오는데 뒤의 1/4부터만 weight가 바뀌게끔 만들었다. 성공적인지 아닌지는 아직 모델에 이미지 통과도 못시켜봐서 모름.
그래서 지금 data payload를 만들고 있는게 고민이 있다. 이미지와 라벨을 dataset에서 묶는건지 하는지 dataloader에서 묶는건지. 또 이미지들이 폴더별로 분류되어 있던데 예전에 했던 과제처럼 모두 다른곳으로 꺼내야 할지 결정을 못하겠음. 꺼내면 폴더 이름에 라벨 정보가 들어있는데 라벨을 어떻게 할것이며 등이 고민임.
=======================================
회고
사실 공부하기가 싫어 딴짓을 많이 했다. 하기 싫을 땐 노래라도 들으면서 해야겠다.
2021년 3월 19일 금요일
AITech 학습정리-[Day 40] 행렬 분해 / 돌아보기
=================================
학습내용
(10강) 행렬 분해
수치해석 시간에 배웠던 행렬분해. neural network 때문에 tensor로 확장했다고 함.
https://en.wikipedia.org/wiki/Kernel_method
행렬을 분해시켜 low rank로 만들어서 시간복잡도를 줄이려고 하는 것 같다.
https://medium.com/@zxr.nju/what-is-the-kernel-trick-why-is-it-important-98a98db0961d
https://www.quora.com/What-are-kernels-in-machine-learning-and-SVM-and-why-do-we-need-them/answer/Lili-Jiang?srid=oOgT
두 점 사이의 관계된 정도를 구할 때 dot product로 구한다고 한다. 근데 원래 평면에 있는걸 정의로 해서 고차원으로 바꾸고 그걸 dot product로 해서 구하는 방식이었는데, 이렇게 하니까 계산 비용이 너무 많이 든다. 그래서 저차원인 상태에서 구하자. 하는 듯.
이를 신경망에서도 이용. weight들이 너무 많이 연결되어있어 계산량이 많을 경우 분해해서 계산한다.
http://ki-it.com/xml/16456/16456.pdf
https://intoli.com/blog/pca-and-svd/
U,V 분해로 행렬분해하는걸 넘어 자르기도 함. 아얘 파란색을 버리고 만들어서 사용함.
eigen value랑 vector는 affine하면서 행렬이 변해도 변하지 않는 값, 방향.
https://www.quora.com/What-is-the-difference-between-PCA-and-SVD
M = UEV로 어쨋든 같은 변환.
 |
| https://youtu.be/L8uT6hgMt00 |
https://staffwww.dcs.shef.ac.uk/people/H.Lu/MSL/MSLbook-Chapter3.pdf
https://www.slideshare.net/SessionsEvents/tamara-g-kolda-distinguished-member-of-technical-staff-sandia-national-laboratories-at-mlconf-sf-2017-81995753
분해해서 쓰더라.
https://openaccess.thecvf.com/content_cvpr_2018/papers/Sandler_MobileNetV2_Inverted_Residuals_CVPR_2018_paper.pdf
mobilenet v2부터 이런 방식을 채용하더라.
 |
| https://arxiv.org/pdf/1808.05517.pdf |
mobilenet 에서 직관으로 세웠던 모델을 수학적으로 증명. 관심있으면 봐라.
(11강) 돌아보기
ppt 보자.
 |
| http://egloos.zum.com/agile/v/2854698 |
 |
| https://brunch.co.kr/@laftworld/12 |
=============================
과제
https://colab.research.google.com/drive/14WkeOtR5Z3oaFMB0gAVdASVFCFc8meBB?usp=sharing
transfer learning 경량화 t와 sigma에 따른 차이
================================
피어세션
네이버. 하면서 느낀점. 코테는 비교적 쉽지만 서류, 면접이 극도로 어렵다.
상시채용보다 공채가 붙을 확률이 높음.
임원면접. 인성만 보는게 아니라 라이브코테. CS지식. 하나를 알더라도 깊게 알아야 한다. 꼬리물기.
it는 과정을 중요시 하는 듯. 수상경력 없는데도. 개발경험으로 도배했더니 되더라. 신입은.
=============================
후기
없음
피드 구독하기:
글 (Atom)