7일차: Transformer와 Self-Attention 이번 7일차 수업에서는 Transformer 구조와 Self-Attention 메커니즘을 학습했다. 드디어 최신 NLP 모델의 핵심인 Transformer를 다루게 되어 매우 흥미로웠다. 1. Transformer 기본 개념 1-1. Transformer의 등장 배경 RNN/LS...

6일차: Attention과 문장 생성 품질 향상 이번 6일차 수업에서는 Seq2Seq 모델에 Attention을 적용해 문장 생성 품질을 개선하는 방법을 학습했다. 기존 RNN/LSTM 기반 Seq2Seq의 한계를 극복하고, 문장 내 중요한 단어에 더 집중(Attend)하여 자연스러운 문장을 생성할 수 있었다. 1. Attention 개념 ...

5일차: Seq2Seq와 문장 생성 이번 5일차 수업에서는 Sequence-to-Sequence (Seq2Seq) 구조를 중심으로, 자연어 문장 생성(Task: 기계번역, 문장 정렬 등)의 기본 개념과 PyTorch 구현을 학습했다. 이전까지는 분류(Classification) 위주였지만, 이번에는 문장을 생성하는 문제를 다루면서 기존 지식이 유기...

4일차: RNN과 LSTM 기초 정리 이번 4일차 수업에서는 순서 정보(sequence information)를 학습할 수 있는 RNN(Recurrent Neural Network)과 LSTM(Long Short Term Memory) 구조를 학습했다. 이날 실습을 통해 모델이 과거 정보를 기억하고 활용한다는 개념을 처음으로 체감할 수 있었다. ...

3일차: PyTorch Utils와 Embedding 기초 정리 이번 3일차 수업에서는 PyTorch를 활용한 데이터 처리 유틸리티와 자연어 처리를 위한 임베딩(Embedding)을 학습했다. 이 날부터 본격적으로 NLP 관련 주제가 등장하여 자연어 처리에 대한 흥미를 크게 느낄 수 있었다. 1. PyTorch Utils 1-1. Datas...

2일차: Tensor 연산과 Perceptron 정리 이번 2일차 수업에서는 딥러닝의 기본 단위 연산인 Tensor 연산과 퍼셉트론(Perceptron) 및 MLP 구조를 학습하고, PyTorch를 활용해 직접 구현해보았다. 이번 글에서는 내가 이해한 핵심 개념과 실습 코드 흐름을 정리한다. 1. Tensor 연산 (3강) 1-1. 텐서(T...

1일차: 선형 회귀 & 로지스틱 회귀 정리 운좋게도 가천대학교 자연어 처리 연구실 ISNLP에서 여름방학 동안 진행하는 자연어처리 오픈 튜토리얼에 선발되게 되었다. 배운 내용을 글로 정리해두면 좋을 것 같아서 간단하게라도 기록하기로 하였다. 1일차 수업에서는 머신러닝의 가장 기초적인 모델인 선형 회귀(Linear Regression)와 로지...

[Kaggle] Space Ship Titanic 생존자 예측 ➔ Kaggle Competition Welcome to the year 2912, where your data science skills are needed to solve a cosmic mystery. We’ve received a transmission from four li...