KI / AI
The AI Engineer Path
ScrimbaJuni 2025 · 8,2 Std · 142 Lektionen
Scrimbas Lernpfad zum AI Engineer, durchgehend interaktiv im Browser-Editor. Der Pfad führt von den ersten API-Requests an ein Sprachmodell über Streaming-UIs, Prompt- und Context Engineering und eine von Hand gebaute RAG-Pipeline (Embeddings, Chunking, Vektordatenbank in Supabase) zu Agenten: erst nach dem ReAct-Muster selbst gebaut, dann über OpenAI Function Calling und schließlich mit dem Vercel AI SDK samt Tool Calling, strukturierten Outputs und agentischem Retrieval-Routing. Dazu kommen Open-Source-Modelle (Hugging Face, Transformers.js im Browser, Ollama lokal), Deployment mit Staging, Health-Endpoint und Alerting, ein eigener MCP-Server sowie Multimodalität mit Bildgenerierung und Vision. Enthalten sind mehrere eigenständige Solo-Projekte — PollyGlot, PopChoice und ein AI Travel Agent.
Lektionen (Urkunde)
142 Scrims
Lehrende
Per Borgen, Bob Ziroll, Guil Hernandez, Arsala Khan
Format
Interaktive Scrims mit Challenges
Unterzeichnet von
Per Harald Borgen, CEO Scrimba
Inhalte & Kompetenzen
- Modellauswahl und Setup: KI-Marktplatz und empfohlene Modelle, eigener AI-Client, erste API-Requests aufbauen und anschließend ohne Vorlage nachbauen
- Kosten und Grenzen im Griff: Tokens, Token-Kosten, Context Windows, Model Snapshots und das Messages-Array
- Prompting in der Praxis: System Message, Few-Shot-Prompting, Temperature und Top P, JSON- und Structured Outputs, Web-Search-Tool
- Streaming-UIs: Antworten streamen, Markdown sicher rendern, Fehler behandeln und den Kontext einer laufenden Unterhaltung mitführen
- Context Engineering: System-Prompts gezielt bauen, das Context Window verwalten und Kontext zusammenfassen, wenn er zu groß wird
- RAG von Grund auf: Embeddings erzeugen, Dokumente chunken, in einer Supabase-Vektordatenbank speichern und per Similarity Search abrufen — inklusive Mehrfach-Treffern und Fehlerbehandlung
- Agenten selbst bauen: ReAct-Prompting mit eigener Loop-Logik und Response-Parsing, danach derselbe Agent über OpenAI Function Calling mit automatischen Tool-Aufrufen
- Vercel AI SDK: Basics, strukturierte Outputs, Tool Calling und agentisches Retrieval-Routing — jeweils mit eigener Challenge — bis zum vollständigen Customer-Support-Agenten mit Websuche
- Open-Source-Modelle: Hugging Face Inference für Summarization, Klassifikation und Bildbearbeitung, Modelle im Browser mit Transformers.js, lokaler Betrieb mit Ollama
- Model Context Protocol: Architektur und Kernkonzepte, eigener MCP-Server mit Tools und Resources, Transports und MCP-Clients
- Multimodalität: Bildgenerierung inklusive Prompting, Response-Formaten, Größe/Qualität/Stil und Bildbearbeitung sowie Vision-Auswertung mit GPT-4
- Deployment: Node-Umgebung, Build-Command auf Render, Smoke-Test, Domains, Staging und Merging, Alerting, Health-Endpoint und sauberes Beenden von Prozessen
Kursaufbau
Aktueller Stand des Lernpfads: 9 Module mit zusammen 11,4 Stunden. Die Urkunde vom Juni 2025 weist 8,2 Stunden und 142 Scrims aus — der Pfad wurde nach dem Abschluss erweitert, erkennbar an den mit „updated“ gekennzeichneten Modulen. Im Modul „Agents“ sind die mehrteiligen ReAct- und Function-Calling-Serien zu je einem Eintrag zusammengefasst.
Intro to AI Engineering (updated)ca. 2,5 Std.
- Introducing Your AI Superpower
- The AI Marketplace
- Environment Setup
- Recommended Models
- Setting Up Your AI Client
- Your First AI Request
- Your First AI Request Walkthrough
- Rebuilding Your First AI Request
- Shorter Responses With Tokens
- Refining Our Prompt
- Refactoring Our AI Request
- Model Snapshots
- The Messages Array
- The System Message
- Token Costs
- Context Windows
- Wiring up our UI
- Error Handling
- Rendering Markdown Safely
- Streaming AI Responses
- Gift Genie UI Streaming Challenge
- Structuring Our Markdown Responses
- Making Our Gift Genie Context Aware
- Few Shot Prompting
- Temperature & Top P
- Responses API Intro
- JSON Output
- Structured Outputs
- Web Search Tool
- Web Search In The Gift Genie UI
- Backend Orientation
- Backend Migration Super Challenge
- Solo Project: PollyGlot
- Scrimba Docs
- Outro
Deployment (updated)71 Min.
- Intro
- Code check
- The Node Environment
- Push to GitHub
- Render Build Command
- Smoke Test
- Domain Names
- Database Problems
- Staging
- Merging
- Alerts and Notifications
- Health Endpoint
- Terminating Processes & Signals
- Outro
Open-source Models40 Min.
- Open source vs closed source
- Intro To HuggingFace.js Inference
- Getting Started
- Text Summarization & Classification with HuggingFace Inference
- Transforming Images with HuggingFace Inference
- How to find Inference Models on HuggingFace
- AI Models In The Browser With Transformers.js
- Download and Run AI Models on Your Computer with Ollama
- Section Recap
Embeddings and Vector Databases95 Min.
- What are embeddings?
- Set up environment variables
- Create an embedding
- Challenge: Pair text with embedding
- Vector databases
- Supabase Dependency Upgrade Warning
- Set up your vector database
- Store vector embeddings
- Semantic search
- Query embeddings using similarity search
- Create a conversational response using OpenAI
- Chunking text from documents
- Challenge: Split text, get vectors, insert into Supabase
- Error handling
- Query database and manage multiple matches
- AI chatbot proof of concept
- Retrieval-augmented generation (RAG)
- Solo Project: PopChoice
- Outro
Agents117 Min.
- AI Agent Intro
- Prompt Engineering 101
- Control Response Formats
- Zooming Out
- Agent Setup
- Introduction to ReAct prompting
- Build action functions
- Write ReAct prompt (Part 1 – Planning)
- ReAct Agent (Teile 2–9): Prompting, Loop Logic, Code Setup, Response Parsing, Action Calls, Housekeeping, Final Loop
- OpenAI Functions Agent (Teile 1–9): Intro, Demo Day, Tools, Loop Logic, Setup Challenge, Tool Calls, Pushing to Messages, Adding Arguments, Automatic Function Calls
- Adding UI to agent – proof of concept
- Solo Project: AI Travel Agent
- Outro
Context Engineering58 Min.
- Context Engineering Intro
- The System Prompt
- AI SDK + OpenRouter Setup
- Code Overview
- Adding A System Prompt
- System Prompt Challenge
- Managing The Context Window (inkl. Demo und Challenge)
- Summarizing Context (inkl. Demo und Super Challenge)
- Context Engineering Outro
Vercel AI SDK113 Min. · 20 Lektionen
- Customer support ai agent intro
- Retrieval augmented generation refresher
- Embeddings recap
- Vector database embed documents
- Vector database retrieval
- Challenge: Vector database retrieval
- Vector database text splitting and retrieval
- Vercel ai sdk basics
- Challenge: Vercel ai sdk basics
- Vercel ai sdk structured outputs
- Challenge: Vercel ai sdk structured outputs
- Vercel ai sdk tool calling
- Challenge: Vercel ai tool calling
- Agentic retrieval routing
- Challenge: Agentic retrieval routing
- Web search ai agent
- Web search plus retrieval agent
- Challenge: Web search retrieval
- Complete customer support ai agent
- Outro
Model Context Protocol37 Min. · 9 Lektionen
- Introduction
- Intro to MCP & Its Importance
- Core MCP Concepts & Architecture
- Setting up MCP Server and Defining Tools
- Registering Resources in the MCP Server
- Run the MCP Server
- Transports
- MCP Clients
- Wrap Up
Multimodality62 Min. · 11 Lektionen
- Introduction
- Generate original images from a text prompt
- Response formats
- Prompting for image generation
- Size, quality and style
- Editing images
- Image generation challenge
- Image generation challenge solution
- GPT-4 with Vision — Part 1
- GPT-4 with Vision — Part 2
- Image generation & Vision recap
Abschluss2 Lektionen
- How to Utilize Your Certificate
- Certificate of Completion
Themen
AI EngineeringRAG