Installer, démarrer, vérifier
Créez un environnement Python dédié au service sur l’instance. Le chemin du modèle ci-dessous doit pointer vers un répertoire local déjà synchronisé sur cette instance. Après le démarrage, vérifiez d’abord l’API compatible avec OpenAI depuis l’instance.
python3 -m venv ~/mlx-service/.venv
~/mlx-service/.venv/bin/python -m pip install mlx-lm
~/mlx-service/.venv/bin/python -m mlx_lm.server \
--model ~/models/quantized-model \
--host 127.0.0.1 --port 8080
curl http://127.0.0.1:8080/v1/models
Vérifiez que les fichiers du modèle sont complets, que l’environnement Python fonctionne et qu’aucun autre processus n’utilise le port. Les options de mlx-lm peuvent varier selon les versions. Avant le déploiement, référez-vous à l’aide de la commande correspondant à la version installée sur l’instance.
ACCÈS / 01
Donner accès à l’équipe
Par défaut, le service écoute uniquement sur 127.0.0.1. Pour quelques appels internes, chaque membre peut créer son propre tunnel SSH. Pour centraliser l’accès, utilisez un proxy inverse avec authentification, contrôle d’accès et TLS. N’exposez jamais directement sur Internet un endpoint d’inférence non protégé.
ssh -N -L 8080:127.0.0.1:8080 xops-node
DÉMARRAGE / 02
Relancer le service après un redémarrage
Une fois la commande exécutée au premier plan validée, créez une configuration launchd au niveau utilisateur pour le service. Indiquez le chemin Python de l’environnement virtuel, le chemin du modèle, le répertoire de travail et les fichiers journaux. Vérifiez la configuration avant de la charger dans la session utilisateur active ; après le redémarrage de l’instance, contrôlez à nouveau le processus et l’endpoint.
plutil -lint ~/Library/LaunchAgents/com.xcodeops.mlx.plist
launchctl bootstrap gui/$(id -u) \
~/Library/LaunchAgents/com.xcodeops.mlx.plist