beginner 5 Minggu
Building Transformers: A Deep Dive into Self-Attention Mechanisms
Pelajari mekanisme self-attention yang merupakan inti dari revolusi AI modern dan Large Language Models (LLM) dengan kursus 'Building Transformers' in...
Daftar Sekarang - Gratis Akses selamanya
Tentang Kursus
Pelajari mekanisme self-attention yang merupakan inti dari revolusi AI modern dan Large Language Models (LLM) dengan kursus 'Building Transformers' ini. Anda akan mempelajari detail terkait mekanisme Self-Attention, serta intuisi matematis di balik Query, Key, Value (QKV) dan membangun arsitektur Multi-Head Attention dari awal. Kursus ini dirancang khusus untuk praktisi machine learning dan developer
Materi yang Dipelajari
Modul 1: Neural Network Foundations and Sequence Modeling
7 MateriMemahami Dasar-dasar Neural Network
Text Lesson • 5
Mengimplementasikan Neural Network dengan Python
Notebook • 5
Dari RNN ke LSTM: Model Sekuensial dan Keterbatasannya
Text Lesson • 7
Praktik RNN dan LSTM dengan Python
Notebook • 8
Dasar Matematika untuk Attention: Vektor, Matriks, dan Dot Product
Text Lesson • 7
Quiz: Fondasi Neural Network dan Sequence Modeling
Quiz • 20 Menit
Membangun dan Menganalisis Model Sekuensial
Assignment
Modul 2: The Self-Attention Mechanism
7 MateriIntuisi di Balik Attention: Mengapa Model Perlu "Memperhatikan"
Text Lesson • 6
Mengimplementasikan Query, Key, Value dari Awal
Notebook • 7
Scaled Dot-Product Attention: Matematika dan Intuisi
Text Lesson • 8
Membangun Self-Attention Layer dari Nol
Notebook • 7
Masking dan Causal Attention untuk Model Generatif
Text Lesson • 6
Quiz: Mekanisme Self-Attention
Quiz • 20 Menit
Mengimplementasikan Self-Attention dengan Masking
Assignment
Modul 3: Multi-Head Attention and Transformer Architecture
7 MateriDari Single-Head ke Multi-Head Attention
Text Lesson • 6
Mengimplementasikan Multi-Head Attention di Python
Notebook • 8
Positional Encoding: Memberi Posisi pada Positionless Attention
Text Lesson • 6
Merangkai Encoder Transformer: Residual, LayerNorm, dan Feed-Forward
Notebook • 9
Arsitektur Lengkap Encoder-Decoder Transformer
Text Lesson • 6
Quiz: Multi-Head Attention dan Arsitektur Transformer
Quiz • 20 Menit
Membangun Encoder Transformer Lengkap
Assignment
Modul 4: Advanced Transformer Concepts and Modern Variants
7 MateriDecoder Transformer dan Autoregressive Generation
Text Lesson • 7
Mengimplementasikan Decoder Transformer di Python
Notebook • 11
Strategi Training: Optimizer, Learning Rate Schedule, dan Regularisasi
Text Lesson • 7
Varian Modern: GPT, BERT, dan Evolusi Arsitektur
Notebook • 8
Efisiensi dan Scaling: Teknik untuk Transformer Lebih Cepat
Text Lesson • 7
Quiz: Konsep Lanjutan dan Varian Modern
Quiz • 20 Menit
Membangun Decoder-Only Transformer dan Melatih Model
Assignment
Modul 5: Portfolio Project - Build and Deploy Your Own Transformer
7 MateriMerancang Arsitektur dan Menyiapkan Environment Proyek
Text Lesson 0
Mengimplementasikan Komponen Inti Transformer
Text Lesson 0
Menyiapkan Pipeline Training dan Dataset
Text Lesson 0
Training, Evaluasi, dan Fine-Tuning Model
Text Lesson 0
Deploy Model Transformer dengan Streamlit
Text Lesson 0
Ujian Modul 5: Konsep Proyek dan Deployment
Quiz • 30 Menit
Proyek Portfolio: Transformer dari Awal sampai Deploy
Assignment