Skip to main content
Datasets in Pioneer sind Sammlungen gelabelter Beispiele, die zum Training und zur Evaluierung von Modellen verwendet werden. Jedes Dataset hat einen von Ihnen definierten Namen, und Pioneer versioniert es automatisch, sobald Sie Daten hinzufügen oder neu generieren. Sie referenzieren ein Dataset über seinen Namen, wenn Sie einen Trainingsjob starten oder eine Evaluierung durchführen. Der von Ihnen gewählte Name ist also der stabile Bezeichner, den Sie in Ihrem gesamten Workflow verwenden.

​
Wie Datasets erstellt werden

Sie erstellen Datasets auf zwei Arten: Synthetische Datengenerierung: Verwenden Sie POST /generate, damit Pioneer aus einer Beschreibung Ihrer Domäne und den für Sie relevanten Labels gelabelte Beispiele erzeugt. Dies ist der schnellste Weg, ein Dataset ohne bestehende gelabelte Daten aufzubauen.
POST /generate unterstützt auch andere Task-Typen als NER. Übergeben Sie einen anderen task_type und dessen erforderliches Feld: Der Endpunkt gibt sofort 202 mit einer job_id zurück. Die Generierung selbst läuft asynchron. Nach der Generierung oder dem Labeling werden die Beispiele automatisch in Ihrem Dataset gespeichert. Fragen Sie GET /generate/jobs/:job_id ab, bis status ready ist (oder failed, in diesem Fall prüfen Sie das error-Feld), bevor Sie mit dem Training beginnen.

​
Ein eigenes Dataset hochladen

Wenn Sie bereits gelabelte Daten haben, verwenden Sie POST /felix/datasets/upload/url. Dies ist ein dreistufiger Prozess:

​
Schritt 1. Presigned-Upload-URL abrufen

Nur dataset_name ist erforderlich. dataset_type ist standardmäßig "ner", wenn weggelassen, und akzeptiert "ner", "classification", "custom" oder "decoder" (das Feld type ist standardmäßig "training"; "benchmark" wird hier abgelehnt, da Benchmark-Datasets systemseitig verwaltet werden). Die Antwort enthält presigned_url, dataset_id und version_number.

​
Schritt 2. Datei direkt zu S3 hochladen

Dies ist ein direkter HTTP-PUT an S3. Übermitteln Sie hier nicht Ihren API-Key.

​
Schritt 3. Verarbeitung auslösen

Dieser Aufruf kehrt sofort mit 202 und Status uploading zurück. Das Dataset durchläuft anschließend im Hintergrund die verbleibenden Status: initialized → uploading → converting → validating → ready Fragen Sie GET /felix/datasets/{name}/{version} ab, bis status ready ist (oder failed, in diesem Fall prüfen Sie processing_error), bevor Sie einen Trainingsjob starten. Sie können statt einer Versionsnummer auch latest übergeben, um immer die neueste Version abzurufen.

​
Ihre Datasets auflisten

Alle Datasets in Ihrem Konto abrufen:
Die Antwort listet jedes Dataset nach Name auf, zusammen mit Metadaten wie Erstellungszeit und Versionsanzahl. Datasets mit Status failed werden standardmäßig ausgeschlossen. Übergeben Sie include_failed=true, um auch diese anzuzeigen.

​
Ein Dataset inspizieren

Um die Versionen und Details eines bestimmten Datasets zu sehen, übergeben Sie dessen Namen:
Dies gibt die Versionshistorie und die Anzahl der Beispiele zurück, was nützlich ist, um vor dem Training zu bestätigen, dass das Dataset bereit ist.

​
Ein Dataset löschen

Das Löschen eines Datasets über den Namen führt zu einem Soft-Delete des Datasets und aller seiner Versionen. Die S3-Daten bleiben erhalten, falls Sie sie wiederherstellen müssen. Wenn ein Evaluierungs- oder Trainingsjob aktuell pending oder running gegen das Dataset läuft, wird das Löschen mit 409 Conflict abgelehnt, bis dieser Job abgeschlossen ist. Sobald das Löschen erfolgreich ist, bleiben bereits abgeschlossene Trainingsjobs und Evaluierungen abfragbar, aber Sie können keine neuen Jobs mehr starten, die darauf referenzieren.
Die Speicherung von Datasets ist kostenlos. Ihnen wird das Speichern von Datasets in Pioneer nicht berechnet, unabhängig von Größe oder Anzahl der Versionen.

​
Übersicht der Dataset-Endpunkte

Datenschutz: Wenn Sie sich abmelden möchten, dass Ihre Daten für das Modelltraining von Fastino verwendet werden, senden Sie bitte eine E-Mail an support@fastino.ai. Wir stellen dann sicher, dass Ihre Daten aus unseren Trainings-Pipelines ausgeschlossen werden.