JUstory

Pruning: 신경망 모델에서, 노드(뉴런)나 연결(시냅스)을 제거하여 모델의 크기와 계산 비용을 줄이는 기법 - 메모리 사용을 줄이고 연산 속도를 가속하기 위함이 목표- 성능은 최대한 유지하면서도 경량화를 최대한 할 수 있는 기법이 좋은 기법 Pruning 단위의 granularity에 따른 구분방법개념단위구조 변경장점단점Unstructured파라미터 하나하나 단위로, 값을 0으로 변경개별 파라미터 단위없음구현이 쉬움가속 실현이 어려움(하드웨어 도움 필요)Structured레어이 단위나 채널 단위처럼, 특정 구조 단위로 통째로 제거특정 구조 단위있음가속 실현이 쉬움(즉시 가속)구현이 어려움(불가능한 경우도 )  ScoringPruning할 파라미터를 선정하는 방법에 따른 구분덜 중요한 파라미터/ 레이..

Wide & Deep추천시스템에서 해결해야할 두가지 과제1) Memorization; 함께 빈번히 등장하는 아이템 혹은 특성 관계를 과거 데이터로부터 학습 (=암기)Logistic Regression (LR) 과 같은 선형 모델- 대규모 추천 시스템 및 검색 엔진에서 사용해 옴- 단순하고 확장 및 해석이 용이하나, 학습 데이터에는 없는 feature 조합에 취약 2) Generalization; 드물게 말생하거나 전혀 발생한 적 없는 아이템/ 특성 조합을 기존 관계로부터 발견 (=일반화)FM, DNN과 같은 임베딩 기반 모델- 일반화가 가능하지만, 고차원의 희소한 데이터로부터 저차원의 임베딩을 만들기 어려움 -> 이 둘을 결합하여 사용자의 검색 쿼리에 맞는 앱을 추천하는 모델 제안 구조The Wide C..

Context - aware Recommender System: 유저와 아이템 간 상호작용 정보 뿐만 아니라, 맥락 (context)적 정보도 함께 반영하는 추천시스템X를 통해 Y의 값을 추론하는 일반적인 예측 문제에 두루 사용 가능 -> General PredictorContent-based; item이나 user와 관련된 featureContent-aware; Time, Location, Social information 등 Click - Through Rate PredictionCTR 예측 : 유저가 주어진 아이템을 클릭할 확률을 예측하는 문제- 예측해야 하는 y값은 클릭 여부, 즉 0 또는 1이므로 이진 분류(binary classification)문제에 해당- 모델에서 출력한 실수 값을 시그모이..

Recommender Systen with GNNGraph: 꼭짓점(Node)들과 그 노드들을 잇는 변(Edge)들을 모아 구성한 자료구조사용하는 이유1. 관계, 상호작용과 같은 추상적인 개념을 다루기에 적합복잡한 문제를 더 간단한 표현으로 단순화하기도 하고 다른 관점으로 표현 가능소셜 네트워크, 바이러스 확산, 유저-아이템 소비 관계 등을 모델링 가능2. Non-Euclidean Space의 표현 및 학습이 가능우리가 흔히 다루는 이미지, 텍스트, 정형 데이터는 격자 형태로 표현 가능 그래프 신경망 (Grapch Neural Network, GNN)그래프 데이터에 적용 가능한 신경망목적: 이웃 노드들 간의 정보를 이용해서 특정 노드를 잘 표현할 수 있는 특징(벡터)를 잘 찾아내는 것방법: 그래프 및 피..

Recommender System with DL추천시스템에서 딥러닝을 활용하는 이유1. Nonlinear TransformationDeep Neural Network (DNN)은 data의 non-linearity를 효과적으로 나타낼 수 있음-> 복잡한 user-item interacion pattern을 효과적으로 모델링하여 user의 선호도를 예측할 수 있음 2. Representation LearningDNN은 raw data로부터 feature representation을 학습해 사람이 직접 feature design하지 않아도 됨-> 텍스트, 이미지, 오디오 등 다양한 종류의 정보를 추천 시스템에 활용할 수 있음 3. Sequence ModelingDNN은 자연어처리, 음성 신호 처리 등 seq..

Word2Vec임베딩 (Embedding): 주어진 데이터를 낮은 차원의 벡터로 만들어서 표현하는 방법 Sparse Representation: 아이템의 전체 가짓수와 차원의 수가 동일: 이진값으로 이루어진 벡터로 표현 -> 아이템 개수가 많아질수록 벡터의 차원은 한없이 커지고 공간이 낭비됨Dense Representation: 아이템의 전체 가짓수보다 훨씬 작은 차원으로 표현: 이진값이 아닌 실수값으로 이루어진 벡터로 표현 워드 임베딩 (Word Embedding): 텍스트 분석을 위해 단어를 벡터로 표현하는 방법단어 간 의미적인 유사도를 구할 수 있음비슷한 의미를 가진 단어일수록 embedding vector가 가까운 위치에 분포임베딩으로 표현하기 위해서는 학습 모델이 필요 Word2Vec특징뉴럴 네..