AI/AI Toolkit

Dieser Lernpfad führt Sie systematisch in die Entwicklung intelligenter Anwendungen mit dem AI Toolkit für Visual Studio Code ein – von den Grundlagen bis hin zur fortgeschrittenen Modellanpassung.

Modul 1: Einführung und Installation

• Ziel: Grundlegendes Verständnis des AI Toolkits entwickeln und die Entwicklungsumgebung vorbereiten.
• Inhalte:
  • Überblick über das AI Toolkit: Ein umfassendes Tool für Entwickler und KI-Ingenieure zum Erstellen, Testen und Bereitstellen intelligenter Anwendungen.
  • Installation und Setup via Visual Studio Marketplace.
  • Navigation in den Hauptbereichen: My Resources, Model Tools, Agent and Workflow Tools und MCP Workflow.
• Ressource: Overview

Modul 2: Modelle entdecken und verwalten (Model Catalog)

• Ziel: Passende KI-Modelle finden, vergleichen und in VS Code einbinden.
• Inhalte:
  • Erkundung des Model Catalogs mit Modellen von GitHub, ONNX, Ollama, OpenAI, Anthropic und Google.
  • Modelle für die lokale Ausführung oder Cloud-Inferenz einrichten.
  • Einbindung lokaler Ollama-Modelle und Custom ONNX-Modelle.
• Ressource: Models

Modul 3: Experimentieren im Playground

• Ziel: Modelle interaktiv testen und Prompt-Engineering-Fähigkeiten ausbauen.
• Inhalte:
  • Nutzung des Model Playgrounds zum systematischen Testen von Modellen.
  • Anpassung von System-Prompts, Chat-Prompts und Inferenz-Parametern.
  • Vergleich verschiedener Modellantworten und Auswertung der Ressourcenauslastung.
  • Arbeit mit multimodalen Modellen (z. B. File-Uploads).
• Ressource: Playground

Modul 4: Agentenbau und Workflow-Integration

• Ziel: Intelligente Agenten entwickeln und externe Tools anbinden.
• Inhalte:
  • Nutzung des Agent Builders zum Erstellen und Bereitstellen von Agenten.
  • Verständnis und Integration von Model Context Protocol (MCP) Servern, um Agenten Werkzeuge an die Hand zu geben (z. B. VS Code-Befehle oder eigene Datenbanken).
  • Implementierung von Function Calling in Agenten.
• Ressource: Agent Builder

Modul 5: Prompts und Modelle skalierbar evaluieren

• Ziel: Qualität und Zuverlässigkeit der generierten KI-Antworten messen.
• Inhalte:
  • Evaluierung von Modellen, Prompts und Agenten gegen Ground-Truth-Daten.
  • Nutzung von eingebauten Evaluatoren für Metriken wie F1-Score, Relevanz, Kohärenz und Ähnlichkeit.
  • Entwicklung eigener LLM-basierter und Code-basierter Evaluatoren.
  • Massentests (Bulk Run) durchführen zur schnellen iterativen Verbesserung.
• Ressource: Evaluation

Modul 6: Erweitert – Fine-Tuning und Konvertierung

• Ziel: Eigene, domänenspezifische Modelle trainieren und für Zielplattformen optimieren.
• Inhalte:
  • Vorbereitung von Datensätzen und Durchführung von Fine-Tuning (z. B. LoRA Fine-Tuning für das Phi Silica-Modell).
  • Festlegen und Anpassen von Hyperparametern für das Training.
  • Nutzung der Modellkonvertierung, um Modelle auf der lokalen Windows-Plattform zu quantisieren und zu optimieren.
• Ressource: Fine-tuning