Skip to main content
Pioneer stocke chaque appel d’inférence et vous permet de récupérer les résultats par ID ou en masse. Vous pouvez également soumettre un feedback de correction sur des inférences individuelles. Ce feedback signale ce que le modèle a mal fait et alimente l’Adaptive Inference, qui réentraîne automatiquement votre modèle sur des exemples corrigés issus du trafic en production.

Endpoints

Lister les inférences passées

GET /inferences renvoie une liste paginée des appels d’inférence passés. Utilisez les paramètres de requête ci-dessous pour filtrer les résultats.

Paramètres de requête

number
Nombre maximum de résultats à renvoyer par page.
number
Nombre de résultats à ignorer avant de renvoyer. Utilisez-le avec limit pour paginer les résultats.
string
Filtrer par ID de modèle. Accepte un ID de job d’entraînement ou un ID de modèle de base.
string
Filtrer par type de tâche (par exemple ner, classification, generate).
string
Filtrer par ID de projet pour ne voir que les inférences rattachées à un projet spécifique.
string
Filtrer par ID de job d’entraînement pour ne voir que les inférences exécutées avec un modèle fine-tuné spécifique.
number
Latence minimale de bout en bout en millisecondes (incluse). Doit être >= 0.
number
Latence maximale de bout en bout en millisecondes (incluse). Doit être >= 0 et >= latency_min si les deux sont définis.
number
Score LLM-as-Judge minimum (inclus), dans la plage 0.01.0.
number
Score LLM-as-Judge maximum (inclus), dans la plage 0.01.0. Doit être >= llmaj_score_min si les deux sont définis.
string
Borne inférieure incluse sur created_at, sous forme d’horodatage ISO 8601 en UTC.
string
Borne supérieure exclue sur created_at, sous forme d’horodatage ISO 8601 en UTC.
latency_min/latency_max et llmaj_score_min/llmaj_score_max renvoient chacun 422 si la valeur min est supérieure à la valeur max associée.

Exemple

Obtenir les détails d’une inférence

GET /inferences/:id renvoie l’enregistrement complet d’une seule inférence passée, y compris le texte d’entrée, le schéma, la réponse du modèle et l’horodatage.

Soumettre un feedback

POST /inferences/:id/feedback vous permet de marquer une inférence passée comme correcte ou incorrecte, en joignant éventuellement la sortie corrigée. Les verdicts incorrects accompagnés d’une correction sont utilisés comme exemples d’entraînement étiquetés pour l’Adaptive Inference.
Le feedback soumis ici alimente l’Adaptive Inference, la boucle d’amélioration continue de Pioneer qui réentraîne automatiquement votre modèle sur les corrections collectées à partir du trafic en production. Consultez le guide Adaptive Inference pour les détails sur son fonctionnement.

Paramètres de requête

string
requis
Jugement humain sur l’inférence : correct ou incorrect.
object
La sortie attendue, dans la même forme que la sortie de l’inférence d’origine (par exemple, une liste entities corrigée pour une inférence NER). Requis lorsque verdict est incorrect ; doit être omis ou null lorsque verdict est correct. L’envoi d’une combinaison incorrecte renvoie 422.
string
Notes de relecture optionnelles en texte libre. Maximum 5000 caractères.

Exemple

Réponse
string
L’inférence qui a été annotée.
string
Le verdict stocké.
string
Horodatage ISO 8601 du moment où le feedback a été soumis.

Obtenir le feedback

GET /inferences/:id/feedback renvoie le feedback précédemment soumis pour une inférence spécifique. Renvoie 404 si aucun feedback n’a encore été soumis.
Réponse : même forme que la réponse de soumettre un feedback ci-dessus.

Pages associées