Upgrade
Erst das Kommandozeilenwerkzeug aktualisieren, dann den Server.
pipx upgrade fadenstack
faden upgradeErste Schritte
Vom leeren Server zur ersten Antwort.
Ein Linux-Server betreibt Fadenstack und braucht keine GPU. Ihre GPU-Maschinen kommen über die Konsole hinzu.
$ pipx install fadenstack
$ faden deployuv tool install fadenstack funktioniert ebenso. Mit -y hinter faden deploy läuft die Installation ohne Rückfragen.
Vier Schritte
Installieren, verbinden, wählen, einladen.
$ pipx install fadenstack
$ faden deploy
✓ Docker and Compose v2 found
✓ Configuration written # zufällige Schlüssel und Datenbankpasswörter
✓ HTTPS with a certificate for this server
✓ Services started
Console https://ai.example.internal
API https://ai.example.internal/v1# die Zeile aus Maschinen → Maschine hinzufügen
$ curl -fsSLO https://ai.example.internal/api/install/faden-agent.sh \
&& sudo sh faden-agent.sh --join https://ai.example.internal
✓ NVIDIA GPU found
✓ Agent running as a service
… Waiting for approval. Code on this machine: K7Q-4TD
✓ Approved in the console. Joined as gpu-01Hugging Face durchsuchen › Chat-Modelle
an-open-chat-model
✓ Passt auf Ihren Cluster: 2 Maschinen, 2 GPUs
Einstellungen für dieses Modell ausgefüllt
Angeboten als team-assistant
[ Bereitstellen ]# der Chat
https://ai.example.internal
# die Agenten: Chrome, Word, Excel, PowerPoint, Outlook
Server https://ai.example.internal
# Ihre Anwendungen: jeder OpenAI-Client
base_url "https://ai.example.internal/v1"Anforderungen
Was Sie brauchen.
Der Server und die GPU-Maschinen sind getrennte Computer. Ein kleines Team kann mit einem Server und einer GPU-Maschine beginnen.
| Anforderung | Der Server | Jede GPU-Maschine |
|---|---|---|
| Betriebssystem | Linux, x86_64 | Linux, x86_64, oder ein NVIDIA DGX Spark (aarch64) |
| Software | Docker Engine 24 oder neuer mit Compose v2; Python 3.12 oder neuer | Docker oder Podman mit Zugriff auf die GPU (bei Docker das NVIDIA Container Toolkit) sowie systemd |
| GPU | Keine | Eine NVIDIA-GPU mit funktionierendem Treiber |
| CPU und Arbeitsspeicher | Mindestens 4 Kerne und 6 GB, oder 8 GB mit dem Datenschutz-Modul, MCP-Servern und Skills. Empfohlen: 8 Kerne und 8 bis 12 GB. | Je nach den Modellen, die darauf laufen |
| Speicherplatz | Mindestens 60 GB; empfohlen 100 GB oder mehr, plus Platz für Modelle | Etwa 15 GB für das Runtime-Image, plus die Modelle, die darauf laufen |
| Netzwerk | Ports 80 und 443 frei | Erreicht den Server. Der Server erreicht die Head-Maschine eines Clusters auf deren Serving-Port, und die Maschinen eines Clusters erreichen einander. Maschinen ohne Internet erhalten die Runtime und die Modelle vom Server. |
Nach der Installation
Am Laufen halten.
Sichern und wiederherstellen
Je ein Befehl, für die Datenbanken und die Konfiguration. Die Wiederherstellung wird noch getestet.
faden backup
faden restore <dir>Die vollständige Anleitung
HTTPS mit Ihrem eigenen Zertifikat, weitere Maschinen, Cluster, Upgrades und Sicherungen, Schritt für Schritt.
Lieber erst zusehen?
Ein siebenminütiges Video, vom leeren Server bis zum ersten Chat und zum ersten API-Aufruf.