Un seul résultat par tâche, et c'est prouvé
Pichonas répartit vos calculs d'inférence d'IA entre des machines qui peuvent tomber, ralentir ou perdre le réseau. Même quand une machine tombe, chaque tâche garde un seul résultat, celui de la machine qui la détient : cette règle est un théorème, vérifié à chaque modification du code.
Une machine tombe en plein calcul : ses tâches repartent en 3 à 5 secondes, contre 86 secondes avec Celery et Redis, dans notre mesure (bail de 5 secondes, une seule machine ; le bail est le délai sans signe de vie au-delà duquel une tâche est reprise).
- Rien de doublé ni d'écrasé à livrer ou à facturer. Quand une tâche a été calculée deux fois, parce qu'une machine a tardé et qu'une autre l'a reprise, seul le résultat de la machine qui détient la tâche est retenu ; un résultat tardif, ou déposé par une machine qui n'en était pas chargée, est refusé sans rien modifier.
- Une panne qui ne vous coûte que quelques secondes. Aucune tâche déposée n'est perdue, même quand une machine tombe ou que le serveur redémarre. La tâche d'une machine disparue redevient disponible après le bail, dès que la surveillance des délais s'exécute.
- Plusieurs clients sur le même parc, cloisonnés. Une tâche n'est confiée qu'à une machine autorisée pour le client qui l'a déposée et pour le modèle demandé ; un client ne voit et n'annule que ses propres tâches.
Démonstration : Pichonas face à Celery et Redis
Pour mesurer ce que ces garanties changent en pratique, nous avons joué les mêmes situations difficiles sur Pichonas et sur Celery avec Redis, une file de tâches répandue, réglée selon les recommandations de sa documentation pour ne perdre aucune tâche. Chaque situation porte sur 20 tâches. Les machines de calcul y sont supposées non fiables et partagées entre plusieurs clients, ce qui est le cas pour lequel Pichonas est conçu ; Celery, lui, suppose des machines de confiance.
| Situation | Celery + Redis | Pichonas |
|---|---|---|
| Une machine met plus de temps que prévu ; la tâche est confiée à une autre machine | 20 tâches sur 20 calculées deux fois, et le résultat retenu est celui qui arrive le premier, quelle que soit la machine | Résultat de la machine en cours seul retenu (20 sur 20). Si la machine lente signale qu'elle travaille toujours, avant chaque échéance et pour un calcul plus court que la durée maximale d'une attribution, rien n'est recalculé (garanti par un théorème) ; sinon son calcul tardif est refusé |
| Une machine qui n'est pas chargée de la tâche dépose un faux résultat pendant le calcul | Faux résultat retenu pour 20 tâches sur 20 | Faux résultat refusé pour 20 tâches sur 20 |
| Une machine tombe en panne en plein calcul | Tâches reprises après 86 s | Tâches reprises après 3 à 5 s ; aucune perdue des deux côtés |
| Le serveur central est arrêté brutalement puis relancé | Aucun résultat perdu avec la persistance de Redis activée (20 perdus avec sa configuration par défaut) | Aucun résultat perdu, aucune tâche recalculée |
| Une machine ne reçoit pas la réponse à sa demande de travail | Pas d'équivalent (pas d'étape de réclamation dans Celery) | Elle la redemande et retrouve la même tâche, sans tentative perdue |
Ces chiffres sont des mesures, faites sur une seule machine avec une charge faible et des calculs simulés ; le script qui les produit les rejoue à l'identique. Seuls Celery et Redis ont été mesurés, et non les autres files du marché. Les refus de Pichonas découlent des théorèmes décrits sur la page de méthode, indépendamment de la mesure.
Le problème
Pichonas répartit des calculs d'inférence d'IA entre plusieurs machines, les exécuteurs, qui viennent chercher les tâches et rendent leur résultat.
Or ces machines ne sont pas fiables. L'une tombe en panne au milieu d'un calcul, une autre perd le réseau, une troisième est simplement lente. Pour ne pas perdre la tâche, le système la confie alors à une autre machine, si bien qu'elle peut être calculée deux fois. Dans une file de tâches ordinaire, le résultat retenu dépend alors de l'ordre d'arrivée : un résultat tardif peut écraser le bon, et rien ne permet au client de savoir lequel fait foi. Pour un service qui facture et livre un résultat par tâche, c'est une erreur silencieuse, même quand chaque machine a correctement fait son travail.
Ce qui n'est pas démontré
La démonstration porte sur les décisions du serveur ; le réseau, le disque et l'horloge sont testés mais non démontrés, l'exactitude d'un résultat n'est pas vérifiée, et le serveur central n'est pas encore répliqué.