Feature (Maschinelles Lernen)

Ein Feature ist beim maschinellen Lernen und bei der Mustererkennung ein Merkmal in Form einer individuell messbaren Eigenschaft oder Charakteristik eines beobachteten Phänomens.[1] Der Vorgang der Festlegung von Features wird Feature Engineering (deutsch: Merkmalskonstruktion) genannt und erfolgt als Vorbereitung für die entsprechende Datenverarbeitung.[2] Merkmalskonstruktion ist ein entscheidender Schritt zur Verbesserung der Modellleistung. Es beinhaltet die Auswahl und Transformation von Rohdaten in ein Format, das von Algorithmen effektiver genutzt werden kann.[3][4]

Feature Extraction verarbeitet die Attribute, die durch eine Merkmalskonstruktion entstanden sind, und kreiert neue Merkmale daraus. Dabei zielt auch Feature Extraction auf die Reduktion der Rechenkomplexität ab und versucht, alle Information in eine Kombination von neuen Merkmalen zu transformieren.[5]

Die Festlegung von Merkmalen für eine bestimmte Aufgabe kann durch Experten oder durch ein Modell während seines Lernvorgangs selbständig erfolgen.

Merkmalsarten

Direkt zahlenmäßig erfasste Merkmale

Numerische Merkmale, welche auf einer Skala definiert werden können, wie Alter, Körpergröße, das Einkommen von Personen oder Kennzahlen aus einem Geschäftsbericht.

Kategorien als Merkmale

Strukturmerkmale, welche Eigenschaften einer Gruppe in Kategorien zusammenfassen, wie das Geschlecht von Personen, Postleitzahlen oder Buchstabenfolgen und Graphen als zueinander in Beziehung stehende Objekte. Für die meisten KI-Algorithmen müssen solche Kategorien vor der Verarbeitung in numerische Merkmale umgewandelt werden.[6] Beispiel: Die sechs in Österreich gesetzlich zugelassenen Geschlechterdefinitionen könnten mit sechs Bits dargestellt werden.

Auswahl von Merkmalen

Falls sehr viele Merkmale zur Lösung einer Aufgabe wie beispielsweise einer Bildanalyse bekannt sind, kann das Training eines Lernmodells auf eine Auswahl von Merkmalen beschränkt werden.[7]

Darstellung von Merkmalen

Ein numerisches Merkmal kann als Vektor in einem mehrdimensionalen Raum dargestellt werden. Zur Anwendung in Deep-Learning-Modellen werden solche Merkmalsvektoren mit entsprechenden Gewichten von Verbindungen zwischen Netzknoten (künstlichen Neuronen) nach der Methode der Linearen Vorhersage in Beziehung gesetzt.[8]

Interpretation vorhandener Merkmale

Bei bereits bestehenden komplexen KI-Modellen versucht man, vorgängig während des Lernprozesses autonom durch das Modell erzeugte Merkmale durch Interpretation nachträglich zu finden.[9] Dazu werden in Deep-Learning-Modellen Datensubsets gesucht, welche bestimmte abstrakte Merkmale am besten repräsentieren (Mechanistic Interpretability). Solche Merkmale können in der Folge bei neuen Aufgabenstellungen (Prompts) mit ähnlichen Eigenschaften aktiviert werden.[10] Bei einfachen Modellen wurde diese Technik schon 2023 angewandt. Beim komplexeren Large-Language-Model Claude-3 Sonnet von Anthropic wurden 2024 bereits Millionen solcher Merkmale detektiert.[11]

Siehe auch

Einzelnachweise

  1. ↑ Christopher Bishop: Pattern recognition and machine learning. Springer, Berlin 2006, ISBN 0-387-31073-8
  2. ↑ Andrea Grgic: Merkmalskonstruktion (Feature Engineering) für das maschinelle Lernen einfach erklärt. minitab.com, 23. Juni 2021. Abgerufen am 6. Juni 2024
  3. ↑ Rudolf Kruse et al.: Computational Intelligence: Eine methodische Einführung in Künstliche Neuronale Netze, Evolutionäre Algorithmen, Fuzzy-Systeme und Bayes-Netze. Springer Vieweg, 2. Auflage 2015, ISBN 978-3-658-10903-5
  4. ↑ Alice Zheng et al.: Merkmalskonstruktion für Machine Learning: Prinzipien und Techniken der Datenaufbereitung. O’Reilly 2019. Abgerufen am 6. Juni 2024.
  5. ↑ Kilian: Feature Engineering: Erklärung, Methoden und Beispiele. Data Driven Company, 7. Juli 2020. Abgerufen am 6. Juni 2024.
  6. ↑ Andrew Engel: Categorical Variables for Machine Learning Algorithms. Towards Data Science, 16. März 2022. Abgerufen am 5. Juni 2024.
  7. ↑ Supervised learning: 1.13. Feature selection. scikit-learn.org. Abgerufen am 6. Juni 2024.
  8. ↑ Trevor Hastie et al.: The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Springer 2009, ISBN 978-0-387-84884-6
  9. ↑ Kevin Roose: A.I.’s Black Boxes Just Got a Little Less Mysterious. In: New York Times, 21. Mai 2024. Abgerufen am 6. Juni 2024.
  10. ↑ Charles Q. Choi: 200-Year-Old Math Opens Up AI’s Mysterious Black Box. In: IEEE Spectrum, 25. Februar 2023. Abgerufen am 6. Juni 2024.
  11. ↑ Adly Templeton et al.: Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet. anthropic, 21. Mai 2024. Abgerufen am 5. Juni 2024.