AI Infrastructure: GPU Server, CUDA, ROCm, TensorRT, dan Model Serving
oleh Tim AwanSiber Academy
Bangun fondasi AI Infrastructure dari GPU server sampai Kubernetes AI dan model serving production.
3j
Estimasi total belajar
5
Modul utama
16
Materi dan latihan
Tentang kelas ini
Course advanced untuk memahami infrastruktur AI modern: GPU server, CUDA, ROCm, TensorRT, Ollama, llama.cpp, vLLM, SGLang, LM Studio, Docker AI, Kubernetes AI, model serving, observability, security, dan cost control untuk workload LLM production.
Kurikulum
Materi yang kamu pelajari.
Modul 1
Modul 1: Peta AI Infrastructure dan GPU Server
3 materi
Modul 1
Modul 1: Peta AI Infrastructure dan GPU Server
3 materi
1. Apa Itu AI Infrastructure
10 menit
2. GPU Server: VRAM, PCIe, NVLink, Storage, dan Network
10 menit
3. Sizing Workload Training vs Inference
10 menit
Modul 2
Modul 2: GPU Compute Stack: CUDA, ROCm, dan TensorRT
3 materi
Modul 2
Modul 2: GPU Compute Stack: CUDA, ROCm, dan TensorRT
3 materi
1. CUDA: Fondasi GPU Computing NVIDIA
10 menit
2. ROCm: Stack GPU Computing AMD
10 menit
3. TensorRT: Optimasi Inference NVIDIA
10 menit
Modul 3
Modul 3: Runtime Lokal: Ollama, llama.cpp, dan LM Studio
3 materi
Modul 3
Modul 3: Runtime Lokal: Ollama, llama.cpp, dan LM Studio
3 materi
1. Ollama: Menjalankan Model Lokal dengan Alur Sederhana
10 menit
2. llama.cpp: GGUF, Quantization, dan Portabilitas
10 menit
3. LM Studio: Lab Lokal untuk Evaluasi Model
10 menit
Modul 4
Modul 4: Serving Engine Production: vLLM dan SGLang
3 materi
Modul 4
Modul 4: Serving Engine Production: vLLM dan SGLang
3 materi
1. vLLM: PagedAttention, Continuous Batching, dan OpenAI-Compatible Serving
10 menit
2. SGLang: Runtime untuk Structured Generation dan Agentic Workload
10 menit
3. Model Router, Gateway, dan Observability Serving
10 menit
Modul 5
Modul 5: Deployment: Docker AI dan Kubernetes AI
3 materi
Modul 5
Modul 5: Deployment: Docker AI dan Kubernetes AI
3 materi
1. Docker AI: Image, GPU Runtime, dan Reproducibility
10 menit
2. Kubernetes AI: GPU Scheduling, Device Plugin, dan Autoscaling
10 menit
3. Operasi Production: Security, Cost, dan Runbook
10 menit
Ujian Akhir
Quiz Akhir: AI Infrastructure
Lulus ujian ini untuk menyelesaikan kursus dan mendapatkan sertifikat.