@@ -1,14 +1,13 @@
|
||||
# ML Training- und Evaluations-Workflow
|
||||
|
||||
Dieser Workflow beschreibt den aktuellen Platzhalter für Modell-Metadaten,
|
||||
Evaluation und Serving. Er trainiert in Version 0.1.0 noch kein statistisches
|
||||
Modell.
|
||||
SillyHome Next trainiert ein lokales statistisches Baseline-Modell pro Sensor
|
||||
und Merkmal. Es benötigt keine Cloud und keine externe ML-Laufzeit.
|
||||
|
||||
## 1. Daten sammeln
|
||||
|
||||
Alle Trainingsvektoren werden über `FeatureStore.add(...)` oder `add_batch(...)` eingepflegt. Jeder Vektor enthält eine Sensor-ID sowie ein Dictionary mit Merkmalen.
|
||||
|
||||
## 2. Artefakt-Metadaten erzeugen
|
||||
## 2. Statistisches Artefakt erzeugen
|
||||
|
||||
```python
|
||||
store = FeatureStore()
|
||||
@@ -18,21 +17,30 @@ artifact = pipeline.run("my_artifact")
|
||||
pipeline.export("my_artifact")
|
||||
```
|
||||
|
||||
`TrainingPipeline.run(...)` erzeugt ein `TrainedArtifact` mit den unterstützten
|
||||
Sensor-IDs. Gewichte, Parameter oder ein echtes Modell werden noch nicht
|
||||
berechnet.
|
||||
`TrainingPipeline.run(...)` berechnet für jedes numerische Merkmal:
|
||||
|
||||
- Stichprobenzahl
|
||||
- Mittelwert und Standardabweichung
|
||||
- Minimum und Maximum
|
||||
- linearen Trend mit Steigung und Achsenabschnitt
|
||||
|
||||
Die nächste Vorhersage kombiniert den letzten beobachteten Wert mit der
|
||||
trainierten Trendsteigung. Die Confidence berücksichtigt Datenmenge und
|
||||
Stabilität.
|
||||
|
||||
## 3. Modell evaluieren
|
||||
|
||||
```python
|
||||
evaluator = Evaluator(pipeline)
|
||||
report = evaluator.evaluate(artifact.artifact_id, predictions)
|
||||
report = evaluator.evaluate(artifact.artifact_id, validation_samples)
|
||||
```
|
||||
|
||||
Der Report enthält:
|
||||
Der Report enthält echte numerische Vergleichsmetriken:
|
||||
- `artifact_id`
|
||||
- `sample_size`
|
||||
- Metriken wie `coverage` und `unknown_rate` mit Default-Schwellenwerten
|
||||
- `mae` (Mean Absolute Error)
|
||||
- `rmse` (Root Mean Squared Error)
|
||||
- `coverage` für den Anteil auswertbarer Merkmale
|
||||
|
||||
## 4. Modell registrieren
|
||||
|
||||
@@ -56,4 +64,5 @@ Der Service startet bewusst keinen eigenen Hintergrundprozess. Über
|
||||
## Hinweise
|
||||
- Für reproduzierbare Sensor-Reihenfolgen wird in `TrainingPipeline.run(...)` eine sortierte Sensor-Liste verwendet.
|
||||
- Fehlende Trainingsdaten lösen `ValueError` aus; nicht registrierte Artefakte lösen `KeyError` aus.
|
||||
- `coverage` zählt nur exakte Sensor-Referenzen und bleibt im Bereich 0 bis 1.
|
||||
- Nur endliche numerische Werte werden trainiert.
|
||||
- `coverage` bleibt im Bereich 0 bis 1.
|
||||
|
||||
Reference in New Issue
Block a user