Nutzung von Transfer-Learning basierten Ansatzen zur Textanalyse

Studienarbeit aus dem Jahr 2020 im Fachbereich Informatik - Sonstiges, Note: 1,1, Hochschule Munchen, Veranstaltung: Datenbanken, Sprache: Deutsch, Abstract: Transfer Learning schafft es durch vortrainierte Modelle komplexe neuronale Zusammenhange abzubilden. Aus einem bereits fertig trainierten Korpus konnen Ergebnisse auf neue Themengebiete ubertragen werden. Anfangs wurde diese Technologie hauptsachlich zur Bildanalyse eingesetzt, doch in den letzten Jahren gewann Transfer Learning auch im Bereich der Textverarbeitung immer mehr an Bedeutung. Das Ziel dieser Forschungsarbeit ist es, eine detaillierte Vermittlung des aktuellen Stands der Wissenschaft zu liefern. Hierbei wird neben einem grundlegenden Uberblick uber kunstliche neuronale Netzwerke zunachst ein Verstandnis fur Transfer Learning vermittelt, in dem die Einsatzgebiete, Herausforderungen und Risiken unterschiedlicher Transfer Learning Strategien aufgezeigt werden. Insbesondere wird die spezielle Anwendung BERT ausfuhrlich evaluiert und nicht nur deren Entwicklung, sondern auch die Funktionsweise erortert. BERT, Bidirectional Encoder Representations from Transformers, wurde 2018 von Google veroffentlicht und gilt als Fundament fur eine neue Art der Textverarbeitung. Damit BERT im Kontext der Textanalyse eine objektive Einordnung erfahrt, werden differenzierte Modelle wie Doc2Vec und GloVe unter die Lupe genommen, um zusatzliche Blickwinkel auf Transfer Learning zu erschlie en. Diese einzelnen Modelle konnen mit Hilfe von Benchmark-Methoden untereinander verglichen werden. Dabei werden neben dem General Language Understanding Evaluation (GLUE) Benchmark, ebenfalls Analyseaufgaben, wie SQuAD und SWAG erlautert und die einzelnen Modelle auf deren Rangliste miteinander in Konkurrenz gesetzt. Diese Benchmark-Methoden sind ein Zusammenschluss von einzelnen Ressourcen, die zum trainieren, analysieren und bewerten von Systemen zum Verstandnis naturlicher Sprachen, wie BERT, dienen. Abgerundet wird die Studienarbeit mit einem Ausblick in die Zukunft in der klar Stellung bezogen werden kann, dass Transfer Learning auch in den nachsten Jahren einen hohen Stellenwert im Bereich der Verbesserung und Verbreitung von KI einnimmt. Abschlie end wird eine neue Technologie erwahnt, die eventuell die das Zusammenspiel mit Transfer Learning revolutionieren konnte.