Actualizar
Actualice primero la herramienta de línea de comandos y después el servidor.
pipx upgrade fadenstack
faden upgradePrimeros pasos
De un servidor vacío a la primera respuesta.
Un servidor Linux ejecuta Fadenstack y no necesita GPU. Sus máquinas con GPU se incorporan desde la consola.
$ pipx install fadenstack
$ faden deployuv tool install fadenstack también funciona. Añada -y a faden deploy para una instalación desatendida.
Cuatro pasos
Instalar, conectar, elegir, invitar.
$ pipx install fadenstack
$ faden deploy
✓ Docker and Compose v2 found
✓ Configuration written # claves aleatorias y contraseñas de las bases de datos
✓ HTTPS with a certificate for this server
✓ Services started
Console https://ai.example.internal
API https://ai.example.internal/v1# la línea de Máquinas → Añadir una máquina
$ curl -fsSLO https://ai.example.internal/api/install/faden-agent.sh \
&& sudo sh faden-agent.sh --join https://ai.example.internal
✓ NVIDIA GPU found
✓ Agent running as a service
… Waiting for approval. Code on this machine: K7Q-4TD
✓ Approved in the console. Joined as gpu-01Buscar en Hugging Face › modelos de chat
an-open-chat-model
✓ Cabe en su clúster: 2 máquinas, 2 GPU
Ajustes rellenados para este modelo
Ofrecido como team-assistant
[ Alojar ]# el chat
https://ai.example.internal
# los agentes: Chrome, Word, Excel, PowerPoint, Outlook
Servidor https://ai.example.internal
# sus aplicaciones: cualquier cliente de OpenAI
base_url "https://ai.example.internal/v1"Requisitos
Qué necesita.
El servidor y las máquinas con GPU son equipos separados. Un grupo pequeño puede empezar con un servidor y una máquina con GPU.
| Elemento | El servidor | Cada máquina con GPU |
|---|---|---|
| Sistema operativo | Linux, x86_64 | Linux, x86_64, o una NVIDIA DGX Spark (aarch64) |
| Software | Docker Engine 24 o posterior con Compose v2; Python 3.12 o posterior | Docker o Podman con acceso a la GPU (para Docker, el NVIDIA Container Toolkit) y systemd |
| GPU | Ninguna | Una GPU NVIDIA con un controlador que funcione |
| CPU y memoria | Al menos 4 núcleos y 6 GB, u 8 GB con el módulo de privacidad, servidores MCP y habilidades. Se recomiendan 8 núcleos y de 8 a 12 GB. | Lo que necesiten los modelos que ejecute |
| Disco | Al menos 60 GB; se recomiendan 100 GB o más, además del espacio para los modelos | Unos 15 GB para la imagen del entorno de ejecución, más los modelos que ejecute |
| Red | Puertos 80 y 443 libres | Llega al servidor. El servidor llega a la máquina principal de un clúster por su puerto de servicio, y las máquinas de un clúster llegan unas a otras. Las máquinas sin internet obtienen el entorno de ejecución y los modelos del servidor. |
Después de la instalación
Mantenerlo en marcha.
Copia de seguridad y restauración
Un comando para cada operación, para las bases de datos y la configuración. La restauración todavía se está probando.
faden backup
faden restore <dir>La guía completa
HTTPS con su propio certificado, más máquinas, clústeres, actualizaciones y copias de seguridad, paso a paso.
¿Prefiere verlo primero?
Un video de siete minutos, desde un servidor vacío hasta el primer chat y la primera llamada a la API.