Core ML Vision Neural Engine On-Device
Maschinelles Lernen, das vollständig auf dem Gerät läuft — keine Daten verlassen das iPhone. Bildklassifizierung mit dem Vision-Framework, NLP-basierte Textanalyse und personalisierte Empfehlungsmodelle, kompiliert für die Apple Neural Engine. Datenschutzfreundlich by Design, offline-fähig und nicht von nativer iOS-Performance zu unterscheiden.
Wir integrieren Core-ML-Modelle in iOS- und iPadOS-Apps für Kunden aus den Bereichen Gesundheit, Fitness, Recht und Consumer — Inferenz, die auf der Neural Engine mit Sub-Millisekunden-Latenz und ohne Netzwerk-Roundtrip läuft. Wir konvertieren PyTorch- und TensorFlow-Modelle mit coremltools ins Core-ML-Format, quantisieren für Größe und Geschwindigkeit und validieren die Genauigkeits-Übereinstimmung vor dem Release. Wenn ein Modell kontinuierliche Verbesserung erfordert, implementieren wir On-Device-Feedbackschleifen für das Fine-Tuning, ohne Rohdaten an einen Server zu senden.
Herausforderungen
Die Quantisierung verringert die Modellgröße um das 4-Fache, kann die Genauigkeit jedoch um 3–8 % senken. Wir benchmarken quantisierte gegen vollpräzise Modelle auf der Ziel-Geräteklasse und wählen je Use Case die richtige Abwägung.
Für die iOS-17-Neural-Engine kompilierte Modelle können sich unter iOS 15 anders verhalten. Wir testen über den gesamten Zielbereich und steuern Funktionen explizit über Versions-Gating.
Die A14 Neural Engine ist 5-mal schneller als die A11. Wir profilieren auf der mindestens unterstützten Hardware und greifen auf CPU-Ausführung zurück, wo die Latenz nicht akzeptabel ist.
Von coremltools nicht unterstützte benutzerdefinierte Layer erfordern eigene MIL-Operationen. Wir bilden nicht unterstützte Ops auf äquivalente Core-ML-Primitive ab und validieren sie numerisch.
Auch On-Device-ML darf biometrische Daten nicht ohne ausdrückliche Einwilligung gemäß DSGVO und HIPAA verarbeiten. Wir konzipieren die Inferenz-Pipeline rund um Datenminimierung.
Das Aktualisieren eines mitgelieferten Modells erfordert ein vollständiges App-Release. Wir implementieren Hintergrund-Modell-Download mit Versions-Gating für unkritische Updates und eine App-Store-Einreichung für Modelländerungen, die Datenschutzangaben betreffen.
Lösungen
Vision-Framework-Pipelines für medizinische Bildgebung, Produkterkennung im Handel, Dokumentenscan und Augmented-Reality-Überlagerungen.
On-Device-NLP für Content-Moderation, Stimmungsanalyse, automatisches Tagging und intelligente Suche — kein Text verlässt das Gerät.
Nutzerverhaltensmodelle, die sich auf dem Gerät anpassen — für Inhalts-, Produkt- und Aktivitätsempfehlungen ohne Server-Roundtrip.
HealthKit-integrierte Modelle für Aktivitätserkennung, Kalorienschätzung und Anomalieerkennung — HIPAA-fähig by Design.
Konvertierung von PyTorch- und TensorFlow-Modellen ins Core-ML-Format, INT8/FP16-Quantisierung und Neural-Engine-Kompilierung.
Feedbackschleifen, die das Modell aus Nutzerinteraktionen verbessern, ohne dass Rohdaten das Gerät verlassen — datenschutzfreundliches Training.
Stack
Core ML, Create ML, coremltools, Vision, Natural Language, CoreMotion, HealthKit, Swift, Python (Modellkonvertierung), PyTorch, TensorFlow.
Compliance
DSGVO-konform · HIPAA-fähig · Apple Privacy Manifest · On-Device-Verarbeitung
Fallstudien
Patienten-App für ein Labornetzwerk in 40 Städten — Terminbuchung, digitale Befunde, über 2.500 Tests, Integrationen für Terminplanung und Buchhaltung.
Native iOS- & Android-App für Fitness-Marathons und Challenges — Programme, Statistiken und Bestenlisten auf einem Laravel-Backend, für die USA & EU.
Produktive Social-Plattform — App Store + Google Play, live in den USA und der EU — mit Geo-Radar, verschlüsseltem Messaging und einer virtuellen Ökonomie.
Warum YuSMP
Wir übernehmen den gesamten Weg: Modelltraining, coremltools-Konvertierung, Neural-Engine-Optimierung und iOS-Integration — ein Team, keine Übergabelücken.
On-Device-Inferenz bedeutet, dass Nutzerdaten das Gerät nie verlassen. Wir konzipieren die Pipeline ab dem ersten Sprint auf DSGVO und HIPAA hin.
Wir liefern erst aus, wenn die Genauigkeit des quantisierten Modells innerhalb der vereinbarten Toleranz mit der Python-Baseline auf der realen Geräteklasse übereinstimmt, für die Sie ausliefern.
FAQ
Ja. Wir verwenden coremltools, um PyTorch- (über TorchScript) und TensorFlow/Keras-Modelle zu konvertieren, bilden benutzerdefinierte Layer auf MIL-Operationen ab und validieren die numerische Übereinstimmung zwischen Quell- und konvertiertem Modell.
INT8-Quantisierung reduziert die Genauigkeit bei Vision-Aufgaben in der Regel um 1–5 % und bei NLP um 2–8 %, während sich die Modellgröße um das 4-Fache und die Inferenzzeit um das 2- bis 3-Fache verringert. Wir benchmarken auf Ihrer Ziel-Geräteklasse und wählen das Quantisierungsniveau, das Ihr Genauigkeits-SLA erfüllt.
Bei Modellen, die keine Datenschutzangaben betreffen, ja — wir implementieren Hintergrund-Download mit Versions-Gating. Modelländerungen, die eine neue API-Nutzung einführen, erfordern ein App-Store-Update mit aktualisierter PrivacyInfo.xcprivacy.
Eine A14 Neural Engine führt eine MobileNet-V3-Inferenz in ~0,4 ms aus. Eine A11 (iPhone 8) benötigt ~3 ms. Wir profilieren auf der von Ihnen mindestens unterstützten Hardware und konzipieren CPU-Fallback-Pfade, wo die Latenz nicht akzeptabel ist.
Ja — das ist der zentrale Vorteil. Die Modelle werden mit der App ausgeliefert oder einmalig heruntergeladen und zwischengespeichert. Die Inferenz benötigt keine Netzwerkverbindung.
On-Device-Verarbeitung bedeutet, dass Rohdaten das Gerät nicht verlassen. Für die Erfassung abgeleiteter Ergebnisse benötigen wir dennoch eine Rechtsgrundlage (in der Regel berechtigtes Interesse oder Einwilligung) und dokumentieren die Datenflüsse in der PrivacyInfo.xcprivacy.
Create ML für gängige Klassifizierungs- und Tabellen-Aufgaben, bei denen Apples Trainings-UX ausreicht. Eigenes PyTorch-Training für komplexe Architekturen, das Fine-Tuning vortrainierter Modelle oder Aufgaben, bei denen die Trainingsdaten besondere Behandlung erfordern.
Antwort innerhalb von 1 Werktag. NDA auf Anfrage.
