Résumé :
Apple développe une nouvelle application appelée Harbor qui vise à transformer les ordinateurs Mac équipés de puces Apple Silicon en serveurs d'inférence d'IA privés. Contrairement aux logiciels d'IA locaux traditionnels, Harbor peut non seulement exécuter de grands modèles de langage sur un seul Mac, mais peut également connecter plusieurs Mac via l'interface Thunderbolt 5, intégrant la mémoire unifiée de différents appareils dans un pool de ressources informatiques plus vaste, exécutant ainsi des modèles d'IA qu'un seul ordinateur ne peut pas gérer indépendamment.
Selon le rapport MacRumors du 10 novembre, cette application est actuellement testée par Claris, une filiale d'Apple, et n'a pas encore été officiellement ouverte au public. Le produit le plus célèbre de Claris est la plate-forme de base de données FileMaker destinée aux utilisateurs d'entreprise. Harbor peut donc être principalement destiné aux entreprises, aux développeurs et aux utilisateurs professionnels qui devront gérer des données sensibles à l'avenir.
Le positionnement principal de Harbor est de permettre aux utilisateurs de déployer des modèles d'intelligence artificielle ouverts sur leurs ordinateurs Mac sans recourir à des serveurs cloud. Selon l'introduction du produit actuellement divulguée, tous les processus de raisonnement de l'IA peuvent être effectués sur du matériel local, et les documents, questions et autres données soumis par les utilisateurs n'ont pas besoin d'être téléchargés vers des services cloud externes.
Ceci est particulièrement important pour les utilisateurs professionnels. De nombreuses entreprises souhaitent utiliser de grands modèles linguistiques pour analyser des documents internes, écrire du code ou traiter des informations commerciales, mais ne sont pas disposées à envoyer des données client, des informations financières et des secrets commerciaux à des fournisseurs de services d'IA tiers. Harbor tente de simplifier le processus de déploiement local en permettant aux entreprises d'utiliser directement leur propre matériel Mac pour exécuter des modèles d'IA.
La caractéristique la plus remarquable de cette application est qu'elle prend en charge la création d'un cluster informatique composé de plusieurs Mac via l'interface Thunderbolt 5.
Apple a ajouté la prise en charge de l'accès direct à la mémoire à distance (RDMA) basée sur Thunderbolt 5 dans macOS Tahoe 26.2. Grâce à cette technologie, les Mac connectés ensemble peuvent accéder aux ressources mémoire fournies par d'autres appareils avec une faible surcharge de communication, créant ainsi les conditions d'une inférence d'IA distribuée.
Par exemple, un Mac équipé de 64 Go de mémoire unifiée peut ne pas être en mesure de charger indépendamment certains modèles de langage avec des paramètres de grande taille. Cependant, si plusieurs Mac disposant de suffisamment de mémoire sont connectés, Harbor peut coordonner l'utilisation de la mémoire et de la puissance de calcul de ces appareils pour exécuter des modèles qui autrement dépasseraient la capacité d'un seul appareil.
Cependant, ce type de pool de mémoire ne signifie pas que la mémoire de plusieurs Mac deviendra un espace de stockage tout à fait équivalent à la mémoire unifiée de la machine locale au niveau matériel. L'accès multi-appareils nécessite toujours la transmission de données via l'interface Thunderbolt, dont la latence et la bande passante sont différentes de l'architecture de mémoire unifiée à l'intérieur de la puce. Par conséquent, les performances réelles dépendent toujours de la manière dont le modèle est distribué sur les différents appareils et de la manière dont le système coordonne les tâches informatiques.
En plus d'exécuter des modèles plus volumineux, les clusters multi-machines peuvent également augmenter les capacités de traitement simultané. Pour les entreprises qui doivent fournir des services d'IA à plusieurs employés en même temps, plusieurs Mac peuvent partager des demandes d'inférence sans avoir à s'appuyer entièrement sur un seul poste de travail hautement configuré.
Harbor tente également de résoudre le problème de configuration complexe de longue date dans le déploiement local de l'IA.
Actuellement, bien que les utilisateurs puissent exécuter des modèles de poids ouverts sur Mac via des outils tels que LM Studio et Ollama, s'ils souhaitent connecter plusieurs ordinateurs dans un cluster, ils doivent généralement installer des logiciels supplémentaires, configurer le réseau, gérer le partage de modèles et résoudre les problèmes de communication entre différents appareils.
Selon la description de la fonction divulguée, Harbor peut identifier automatiquement les appareils Mac connectés via Thunderbolt 5 et aider à établir un cluster. Les utilisateurs doivent simplement connecter l'appareil et démarrer l'application, et le système terminera automatiquement la configuration nécessaire. Il n'est pas nécessaire d'utiliser la ligne de commande ou d'avoir une expérience professionnelle en gestion de serveur.
En termes de gestion des modèles, Harbor fournit également une interface d'exploitation graphique, permettant aux utilisateurs de parcourir, télécharger et charger directement des modèles de poids ouverts. L'application gère la gestion des fichiers de modèle et la configuration d'exécution, permettant aux utilisateurs de se concentrer sur le travail réel.
Cette conception équivaut à combiner la facilité d'utilisation de LM Studio avec les capacités de raisonnement distribué multi-machines. Pour les utilisateurs qui ne sont pas familiers avec une infrastructure d'IA complexe, si le produit final peut remplir ces fonctions, le seuil de déploiement local de grands modèles de langage sera considérablement abaissé.
Cependant, Harbor n'est pas le premier projet à tenter de connecter plusieurs Mac pour exécuter des modèles d'IA. Un outil open source appelé Exo est déjà apparu, qui peut utiliser plusieurs appareils pour effectuer conjointement des tâches d'inférence d'IA. La différence la plus importante de Harbor développé par Apple cette fois-ci pourrait être son intégration avec les fonctions sous-jacentes de macOS et sa fourniture d'une expérience de fonctionnement plus simplifiée pour les utilisateurs professionnels ordinaires.
Actuellement, Harbour en est encore à la première phase de test. Auparavant, l'application apparaissait brièvement dans l'App Store, mais la page correspondante avait ensuite été supprimée. Apple n'a pas encore annoncé officiellement quand le produit sortira, ni s'il sera finalement disponible gratuitement.
La page d'application d'accès anticipé de Harbor nécessite un nom de société, ce qui suggère en outre qu'Apple pourrait d'abord lancer le produit pour le marché des entreprises, plutôt que comme un outil général que tous les utilisateurs de Mac peuvent télécharger immédiatement.
D'un point de vue matériel, cette application peut également étendre davantage les scénarios d'application des ordinateurs Mac dotés d'une capacité de mémoire élevée. L'architecture de mémoire unifiée d'Apple permet au CPU et au GPU de partager le même pool de mémoire. Ainsi, lors de l'exécution de modèles de langage volumineux, Mac Studio et Mac mini équipés de grandes quantités de mémoire unifiée sont devenus le choix de certains développeurs pour déployer l'IA locale.
Si Harbor peut permettre à plusieurs Mac de fonctionner ensemble de manière pratique, les entreprises peuvent ajouter progressivement des équipements en fonction de leurs besoins sans avoir à acheter à chaque fois un poste de travail indépendant avec une configuration plus élevée et plus coûteux.
Cependant, il convient de noter que la fonction principale actuellement divulguée par Harbor est l'inférence de l'IA, et non la formation complète de grands modèles. L'inférence implique principalement le chargement d'un modèle entraîné et la génération de réponses, tandis que la formation nécessite de nombreux calculs supplémentaires, une synchronisation de gradient et des opérations de mise à jour des paramètres. Il existe des différences évidentes dans les exigences en matière de matériel et de systèmes de communication.
Cette technologie ne signifie pas que deux Mac peuvent former directement un cluster d'IA hautes performances. Selon les introductions de produits existantes, la fonction de pool de mémoire multi-machines s'appuie sur Thunderbolt 5, de sorte que seuls les Mac équipés d'interfaces compatibles peuvent utiliser cette méthode de connexion. Pour les appareils plus anciens qui ne prennent pas en charge Thunderbolt 5, rien ne prouve actuellement que Harbor fournira les mêmes capacités de clustering.
Si Harbor est enfin officiellement lancé, cela signifiera qu'Apple commencera à participer plus directement au marché local des logiciels d'infrastructure d'IA. Dans le passé, Apple fournissait principalement les bases matérielles et système pour les outils de développement d'IA tiers via les puces Apple Silicon et macOS ; tandis que Harbor peut permettre à Apple de fournir un ensemble complet de solutions allant du téléchargement et du déploiement de modèles au fonctionnement multi-machines.
Ce modèle présente un attrait pratique pour les entreprises qui souhaitent exécuter l'IA au sein de leur réseau interne et éviter que les données sensibles ne quittent les appareils locaux. Cependant, Apple ou Claris doivent encore annoncer plus de détails sur les modèles que Harbor peut finalement prendre en charge, combien de Mac peuvent former un cluster, quelles sont les performances d'inférence réelles et s'il adoptera un modèle de charge.
Commentaires