Label Studio
Open-Source-Plattform zum Labeln von Daten und zur Bewertung von KI-Modellen mit menschlicher Prüfung.
Label Studio ist eine Open-Source-Plattform von HumanSignal zum Labeln von Daten und zur Bewertung von KI. Label Studio wird mit pip, Homebrew oder Docker installiert und im Browser genutzt, um Bilder, Video, Text, Audio und Zeitreihen zu annotieren und um menschliche Prüfer Ausgaben von LLMs, RAG-Antworten und Agent-Traces bewerten zu lassen.
Am besten geeignet für Teams und Forschende im Bereich Machine Learning, die ein selbst gehostetes Tool zum Annotieren mehrerer Datentypen und für die menschliche Bewertung von Modellausgaben brauchen.
- Zu finden in
- Bilderkennung und OCREntwickler-API
- Plattformen
- Web, API
- Preismodell
- Freemium
- Kostenloser Tarif
- Ja
- API
- Ja
- Anbieter
- HumanSignal, Inc.
- Hinzugefügt
Zuletzt geprüft: . Die Angaben stammen von labelstud.io.
Was ist Label Studio?
Label Studio ist eine Open-Source-Plattform zum Labeln von Daten und zur Bewertung von KI, die von HumanSignal gepflegt wird. Teams installieren sie selbst mit pip, Homebrew, Docker oder aus dem Git-Repository und öffnen sie dann im Browser. Sie verarbeitet viele Datentypen in einem Tool: Bilder und Video für Klassifikation, Objekterkennung, Tracking und Segmentierung; Dokumente und Text für OCR, Erkennung benannter Entitäten und Stimmungsanalyse; Audio für Transkription und Sprechererkennung; und Zeitreihen von Sensoren. Eine neuere Gruppe von Vorlagen deckt generative KI ab, darunter die LLM-Bewertung mit eigenen Bewertungsrastern, die Benotung von RAG-Antworten, das Sammeln von Präferenzen für RLHF und die Prüfung von Agent-Traces. Die Labeling-Oberflächen sind konfigurierbar, Speicher und Modelle lassen sich für das Vorab-Labeln anbinden, und eine API, ein Python-SDK und Webhooks verbinden die Plattform mit ML-Pipelines. Außerdem wird eine eigene Enterprise-Edition angeboten.
Wichtigste Funktionen
Multimodales Labeln
Annotiert Bilder, Video, Text, Dokumente, Audio und Zeitreihen in einer Anwendung.
Werkzeuge für Computer Vision
Zeichnet Rahmen, Polygone, Kreise und Keypoints und verfolgt mehrere Objekte von Bild zu Bild.
Bewertung von LLMs und Agenten
Unterstützt eigene Benchmarks, den Vergleich von Modellen nebeneinander, die Benotung von RAG-Antworten und die menschliche Prüfung von Agent-Traces.
Konfigurierbare Oberflächen
Lässt dich Layouts und Vorlagen definieren, die zu den Daten, zur Aufgabe und zu den Bewertungskriterien passen.
Anbindung an Pipelines
Bietet eine API, ein Python-SDK und Webhooks, um Projekte anzulegen, Vorhersagen zu streamen und Trainings- oder Bewertungsläufe zu starten.
Modellgestütztes Labeln
Verbindet ML-Modelle, um Elemente vorab zu labeln, und synchronisiert Daten aus externem Speicher.
So funktioniert Label Studio
Installieren
Füge das Paket mit pip hinzu, nutze den Homebrew-Cask, lade das Docker-Image oder baue aus dem Git-Repository.
Starten
Starte den Server mit dem Befehl label-studio und öffne ihn im Browser; das Docker-Beispiel stellt ihn auf Port 8080 bereit.
Importieren und labeln
Bringe Daten ein, wähle eine Labeling-Vorlage oder passe sie an und beginne mit dem Annotieren.
Anwendungsfälle
- Datensätze zur Objekterkennung
- Ein Vision-Team zeichnet Begrenzungsrahmen und Polygone auf Bilder, um einen Detektor zu trainieren.
- Extraktion aus Dokumenten
- Annotierende markieren Entitäten in PDFs und gescannten Seiten, um Trainingsdaten für NER und OCR aufzubauen.
- Analyse von Gesprächsaufnahmen
- Audio aus Callcentern wird transkribiert, nach Sprechern getrennt und in derselben Aufgabe als Text gelabelt.
- Prüfung von LLM-Ausgaben
- Prüfer bewerten Modellantworten anhand eines Rasters oder vergleichen zwei Modelle nebeneinander.
- Segmentierung von Sensordaten
- Ingenieure markieren Aktivitätsbereiche und einzelne Ereignisse in Zeitreihen von Geräten.
Gut zu wissen
- Du hostest es selbst
- Die Open-Source-Edition ist Software, die du installierst und selbst betreibst, kein gehosteter Dienst zur Registrierung.
- Einige Oberflächen gehören zu Enterprise
- Blogbeiträge auf der Website beschreiben die Annotationsoberflächen für DICOM und LiDAR als Teil von Label Studio Enterprise.
- Es gibt zwei Editionen
- Die Website verlinkt auf eine Community Edition und eine Enterprise-Plattform, mit einer Seite zum Vergleich der Versionen.
Häufige Fragen
Was ist Label Studio?
Label Studio ist Open-Source-Software von HumanSignal zum Annotieren von Daten und dafür, bei der Bewertung von KI-Systemen menschliche Prüfer einzubinden.
Wofür wird Label Studio verwendet?
Label Studio wird genutzt, um Trainingsdaten für Machine Learning zu annotieren und um Menschen die Ausgaben von KI-Modellen, darunter LLMs und Agenten, prüfen und bewerten zu lassen.
Ist Label Studio kostenlos?
Die Community Edition von Label Studio ist Open Source und lässt sich von der Website herunterladen. HumanSignal bietet auch eine Enterprise-Edition an; die Startseite nennt dafür keinen Preis.
Wie installiere ich Label Studio?
Label Studio lässt sich mit pip, über einen Homebrew-Cask, durch Ausführen des Docker-Images oder durch Klonen des Git-Repositorys installieren.
Hat Label Studio eine API?
Ja. Label Studio bietet eine API, ein Python-SDK und Webhooks, um es mit ML- und KI-Pipelines zu verbinden.
Welche Datentypen unterstützt Label Studio?
Label Studio unterstützt Bilder, Video, Text und Dokumente, Audio, Zeitreihen und multimodale Kombinationen daraus.
Wer macht Label Studio?
Label Studio stammt von HumanSignal, Inc., die im Footer der Website genannt wird.
Für wen es sich eignet
- ML-Ingenieure
- Data Scientists
- Annotationsteams
- KI-Forschende
- Universitätslabore
In diesen Guides im Einsatz
- Eine KI-App bauen: der Tool-Stack, Schicht für SchichtPhase 8: Evaluierung und Monitoring
Jeder Guide nennt die Phasen eines Vorhabens und die Tools, die in der jeweiligen Phase helfen. Alle Guides
Kommentare
Noch keine Kommentare. Hast du Label Studio schon genutzt? Erzähl den anderen, wie es lief.
Alternativen zu Label Studio
| Tool | Kostenloser Tarif | Einstiegspreis | API |
|---|---|---|---|
 CVATPlattform zur Datenannotation, um Bilder, Videos, 3D-Punktwolken und Audio zu labeln, als Cloud-Dienst, selbst gehostet und als Open Source. |
Ja | — | Ja |
 Segments.aiPlattform zur Datenannotation für Robotik und autonomes Fahren, die 3D-Punktwolken und Kamerabilder gemeinsam beschriftet. |
— | — | Ja |
 Digitap.aiAPI-Plattform für Banken und Fintechs mit digitalem KYC-Onboarding, Kontoauszugsanalyse und Bonitätsprüfung auf Basis alternativer Daten. |
— | — | Ja |
UltralyticsComputer-Vision-Plattform von den Machern von YOLO, um Daten zu annotieren, Modelle auf Cloud-GPUs zu trainieren und bereitzustellen. |
Ja | — | Ja |
 AirbyteOpen-Source-Plattform für Datenbewegung, die Daten aus über 700 Quellen repliziert und für Analysen und KI-Agenten bereitstellt. |
— | — | Ja |
Aus denselben Kategorien wie Label Studio. Ein Einstiegspreis steht nur dort, wo wir ihn auf der Preisseite des Anbieters geprüft haben. Ein Strich bedeutet: nicht geprüft oder nicht veröffentlicht. Alle Tools in Bilderkennung und OCR