Ollama v0 35 und 0 35 1 Update Bild © OllamaOllama v0 35 und 0 35 1 Update (Bild © Ollama)

Übergang von generativen zu entscheidungsbasierten Ausgaben

Die Integration von Entscheidungsmodellen ermöglicht die Automatisierung von Aufgaben, bei denen es eher um Klassifizierung als um die Erstellung von Inhalten geht. Dadurch eignet sich die Plattform für industrielle Anwendungen wie die automatisierte Ticket-Triage, das Modell-Routing und die systematische Klassifizierung von Inhalten. Indem diese Modelle Wahrscheinlichkeiten anstelle von Prosa zurückgeben, bieten sie ein messbares Konfidenzniveau für jede Entscheidung.

Derzeit stehen zwei Modelle für diese spezifische Funktionalität zur Verfügung:

  • Nimble, entwickelt von Bespoke Labs.
  • Tev1, entwickelt von Together AI.

Implementierung der SystemOne-API

Der operative Arbeitsablauf für Entscheidungsmodelle umfasst die Bereitstellung eines bestimmten Zustands (des Kontexts) und einer oder mehrerer strukturierter Fragen an die API. In einem Szenario des technischen Supports wäre der Zustand beispielsweise der Inhalt eines Support-Tickets, und die Frage würde das Modell auffordern, das Ticket in vordefinierte Kategorien wie Abrechnung, Fehler oder Kontozugriff einzustufen. Die Antwort der API enthält die ausgewählte Option, die individuellen Wahrscheinlichkeiten für jede verfügbare Option sowie einen Gesamtkonfidenzwert. Dieses strukturierte Format ermöglicht es Entwicklern, Schwellenwerte für automatisierte Aktionen festzulegen; so kann ein Ticket beispielsweise nur dann automatisch zugewiesen werden, wenn der Konfidenzwert einen bestimmten Prozentsatz überschreitet.

Die API unterstützt drei verschiedene Fragetypen, um unterschiedlichen Analyseanforderungen gerecht zu werden:

  • 1.Auswahl: Das Modell wählt eine Option aus einer vorgegebenen Liste aus und gibt die Wahrscheinlichkeit für jede Option zurück.
  • 2.Noul: Das Modell gibt einen Wahrscheinlichkeitswert zurück, der angibt, ob eine bestimmte Bedingung wahr ist.
  • 3.Score: Das Modell liefert eine numerische Bewertung auf der Grundlage einer geordneten Reihe von Kriterien.

Systemverbesserungen und Fehlerbehebungen

Version 0.35 enthält mehrere Optimierungen hinsichtlich der Benutzererfahrung und der Systemstabilität:

  • Optimierung des Einstellungsmenüs: Die Einstellungsoberfläche öffnet sich nun sofort, ohne dass auf den Abschluss des Modellerkennungsprozesses gewartet werden muss.
  • Korrekturen an der macOS-Benutzeroberfläche: Es wurden Korrekturen am macOS-Update-Menü und am Anwendungssymbol vorgenommen, um sicherzustellen, dass verfügbare Updates beim Start korrekt angezeigt werden.
  • Stabilität beim MLX-Download: Ein kritisches Problem, das dazu führte, dass der Download von MLX-Modellen auf unbestimmte Zeit hängen blieb, wurde behoben.
  • Veralteter Parameter: Der typical_p-Parameter ist nun veraltet. Um Systemabstürze zu verhindern, generieren Anfragen, die diesen Parameter enthalten, nun ein Warnprotokoll, anstatt vollständig fehlzuschlagen.