Webframework/Chainlit

Ollama installieren

Ollama ist eine Open-Source-Plattform, die das Ausführen und Verwalten von KI-Sprachmodellen lokal auf dem eigenen Rechner ermöglicht. Sie bietet eine einfache Schnittstelle, um verschiedene Large Language Models (LLMs) wie Llama oder Mistral zu nutzen, ohne Cloud-Dienste zu benötigen.

curl -fsSL https://ollama.com/install.sh | sh
ollama run llama3.1

Chainlit installieren

Chainlit ist ein Open-Source-Framework zur schnellen Entwicklung und Bereitstellung von Anwendungen, die Large Language Models (LLMs) nutzen. Es ermöglicht Entwicklern, interaktive KI-Anwendungen mit Python zu erstellen, indem es eine einfache API für das Management von Konversationen, Benutzerinteraktionen und die Integration von LLMs bereitstellt. Chainlit unterstützt Funktionen wie Echtzeit-UI, Komponenten für Benutzereingaben und die Visualisierung von Modellergebnissen, was die Entwicklung und das Testen von KI-gestützten Chatbots und Assistenten erleichtert.

pip install openai chainlit

Erstelle eine Datei app.py mit folgendem Inhalt:

import chainlit as cl
from openai import AsyncOpenAI

# Ollama läuft lokal auf Port 11434
client = AsyncOpenAI(base_url="http://localhost:11434/v1", api_key="ollama")

@cl.on_message
async def main(message: cl.Message):
    # Chat-Einstellungen für Llama 3.1
    response = await client.chat.completions.create(
        model="llama3.1",
        messages=[{"role": "user", "content": message.content}],
        stream=True
    )

    msg = cl.Message(content="")
    
    async for part in response:
        if token := part.choices[0].delta.content:
            await msg.stream_token(token)

    await msg.send()