Modal
Serverlose Cloud-Plattform für KI-Inferenz, Training, Sandboxes und Batch-Jobs auf GPUs.
Modal ist eine serverlose Cloud-Plattform für KI-Workloads. Dazu schreibt man Python-Code, den die Plattform in automatisch skalierenden Containern auf CPUs und GPUs ausführt, für Modell-Inferenz, Fine-Tuning, Sandboxes für Agenten und Batch-Jobs. Ressourcen skalieren bei Leerlauf auf null herunter und werden sekundengenau abgerechnet.
Am besten geeignet für Engineering-Teams, die GPU-Rechenleistung für Inferenz, Training oder Agenten-Sandboxes bei Bedarf wollen, ohne eigene Cluster bereitzustellen oder zu verwalten.
- Zu finden in
- DevOps und MonitoringEntwickler-API
- Plattformen
- Web, API
- Preismodell
- Freemium
- Kostenloser Tarif
- Ja
- API
- Ja
- Anbieter
- Modal
- Hinzugefügt
Zuletzt geprüft: . Die Angaben stammen von modal.com.
Was ist Modal?
Modal ist eine serverlose Cloud-Plattform für Teams, die KI-Anwendungen bauen, trainieren und bereitstellen. Entwickler schreiben Python, und Modal führt den Code in Containern aus, die innerhalb von Sekunden starten und bei Leerlauf auf null herunterskalieren. Die Plattform gliedert sich in einige Produkte: Inference zum Bereitstellen von Sprach-, Bild-, Video- und Audiomodellen, Training für Fine-Tuning und Reinforcement Learning auf einzelnen oder mehreren GPU-Knoten, Sandboxes zum isolierten Ausführen von Coding-Agenten und nicht vertrauenswürdigem Code sowie Functions, Notebooks und Batch-Jobs für allgemeine Rechenlast. Darunter liegen eine eigene Container-Laufzeit, ein verteiltes Dateisystem für Modellgewichte und Datensätze und ein Kapazitätspool aus mehr als zwanzig Clouds in vielen Regionen. Die Nutzung wird pro Sekunde für GPU, CPU und Arbeitsspeicher gemessen. Zu den Enterprise-Funktionen gehören rollenbasierter Zugriff, Audit-Logs, Kontrollen für den Datenstandort, Konformität nach SOC 2 Typ II und HIPAA-Bereitschaft.
Wichtigste Funktionen
Modell-Inferenz
Stellt LLMs und Medienmodelle über Endpunkte bereit, auch OpenAI-kompatible, für Echtzeit- oder Batch-Traffic.
Sandboxes
Erzeugt isolierte Umgebungen für Agenten und nicht vertrauenswürdigen Code, mit Snapshot und Wiederherstellung für schnelle Starts.
Training und Fine-Tuning
Führt LoRA-, überwachte und vollständige Fine-Tunings oder RL-Jobs auf einzelner oder mehrknotiger GPU-Kapazität aus.
Automatisch skalierende Functions
Verteilt Python-Funktionen auf viele Container und stellt sie als HTTPS-Endpunkte bereit, die im Leerlauf bei null stehen.
Speicher für Modelle
Bietet ein verteiltes Dateisystem, das Images, Gewichte und Datensätze überall lädt, wo Functions laufen.
Observability
Zeigt Logs und Metriken pro Function und Container, mit Export an OpenTelemetry-Anbieter.
Screenshots
Anwendungsfälle
- Ein offenes LLM bereitstellen
- Ein Team stellt ein offenes Modell hinter einem Endpunkt bereit, der mit dem Anfragevolumen skaliert.
- Coding-Agenten ausführen
- Ein Agentenprodukt führt generierten Code in Sandboxes statt auf eigenen Servern aus.
- Transkription im Batch
- Ein Datenteam verarbeitet einen Rückstau an Audiodateien parallel auf mehreren GPUs.
- Bild- und Videogenerierung
- Das Backend einer App ruft bei jeder Nutzeranfrage Medienmodelle auf, die bei Modal gehostet werden.
- Fine-Tuning in der Forschung
- Forschende starten Fine-Tuning- oder RL-Läufe, ohne vorab einen Cluster zu reservieren.
Gut zu wissen
- Leerlaufzeit kann berechnet werden
- Container bleiben standardmäßig 60 Sekunden nach der letzten Eingabe aktiv, und dieses Zeitfenster wird berechnet, wenn du es nicht verkürzt.
- Mindestgröße eines Containers
- Jeder Container fordert mindestens 0,125 CPU-Kerne und 128 MiB Arbeitsspeicher an, und berechnet wird jeweils der höhere Wert aus angeforderter und genutzter Menge.
- Starter-Workspaces fassen drei Personen
- Der Starter-Tarif erlaubt bis zu drei Plätze; der Team-Tarif hebt die Begrenzung der Plätze auf.
- Es gibt Credit-Programme
- Startups und Forschende an Hochschulen können kostenlose Rechen-Credits beantragen.
Häufige Fragen
Was ist Modal?
Modal ist eine serverlose Cloud-Plattform, die KI-Inferenz, Training, Sandboxes und andere rechenintensive Python-Workloads auf automatisch skalierenden CPU- und GPU-Containern ausführt.
Wofür wird Modal verwendet?
Modal wird verwendet, um Modelle bereitzustellen, sie per Fine-Tuning anzupassen, Coding-Agenten in Sandboxes auszuführen und Batch-Jobs zu verarbeiten, ohne Server oder Cluster zu verwalten.
Ist Modal kostenlos?
Modal lässt sich im Starter-Tarif ohne Grundgebühr nutzen, der ein monatliches Kontingent an kostenlosen Rechen-Credits enthält; darüber hinaus wird nach Verbrauch bezahlt.
Was kostet Modal?
Modal berechnet pro Sekunde für die genutzte GPU, CPU und den Arbeitsspeicher, zusätzlich zu den Tarifen Starter, Team oder Enterprise. Aktuelle Preise stehen auf der offiziellen Preisseite.
Wie rechnet Modal die Nutzung ab?
Modal berechnet, während eine Anwendung lädt und Container Eingaben verarbeiten, dazu ein einstellbares Leerlauffenster, das standardmäßig 60 Sekunden beträgt. Sobald eine App auf null Container herunterskaliert, entstehen keine Kosten.
Was kann ich bei Modal bereitstellen?
Modal gibt an, jede in Container verpackbare, mit Python geschriebene Anwendung ausführen zu können, zum Beispiel ML-Inferenz, Training, Datenpipelines und Job-Warteschlangen.
Eignet sich Modal für regulierte Workloads?
Modal gibt Konformität nach SOC 2 Typ II an und bezeichnet sich als bereit für HIPAA-Workloads, mit Audit-Logs, RBAC und Kontrollen für den Datenstandort.
Kann ich bei Modal AWS- oder GCP-Credits verwenden?
Nicht direkt. Modal gibt an, dass sich Cloud-Credits nicht anrechnen lassen, zugesagte Ausgaben aber über die Marktplätze von AWS und GCP genutzt werden können.
Für wen es sich eignet
- ML-Engineers
- KI-Startups
- Plattformteams
- Forschende
- Agentenentwickler
In diesen Guides im Einsatz
- Eine KI-App bauen: der Tool-Stack, Schicht für SchichtPhase 3: Modell-APIs, Gateways und Inferenz-Hosting
Jeder Guide nennt die Phasen eines Vorhabens und die Tools, die in der jeweiligen Phase helfen. Alle Guides
Kommentare
Noch keine Kommentare. Hast du Modal schon genutzt? Erzähl den anderen, wie es lief.
Alternativen zu Modal
| Tool | Kostenloser Tarif | Einstiegspreis | API |
|---|---|---|---|
| — | — | Ja | |
| Ja | — | Ja | |
| Nein | 25 $/Monat | Ja | |
| Ja | — | Ja | |
| Ja | — | Ja |
Aus denselben Kategorien wie Modal. Ein Einstiegspreis steht nur dort, wo wir ihn auf der Preisseite des Anbieters geprüft haben. Ein Strich bedeutet: nicht geprüft oder nicht veröffentlicht. Alle Tools in DevOps und Monitoring