ontolux bei der Mind Mastering Machines 2022

ontolux bei der Mind Mastering Machines 2022

Die Minds Mastering Machines (M3) Konferenz wendet sich an Softwareentwickler, Data Scientists und Forschende, die Machine Learning und KI-Anwendungen entwickeln. Qi Wu von der KI-Agentur ontolux stellt Methoden zur Ressourceneinsparung von KI-Modellen mittels Knowledge Destillation in einem Vortrag vor.

Vom 01. bis 03. Juni 2022 findet die M3 zum insgesamt bisher fünften Mal in Karlsruhe statt. In Workshops und Vorträgen werden in diesem Jahr hauptsächlich Themen rund um das Potenzial von Machine Learning, künstliche neuronale Netze, dem praktischen Einsatz von Natural Language Processing und Predictive Analytics vorgestellt.

Der Vortrag „Methoden zur Ressourceneinsparung von KI-Modellen mittels Knowledge Destillation“ von Qi Wu – Machine Learning Engineer bei ontolux – findet am 02.06.2022 um 14:15 bis 15:00 Uhr statt.

Inhalt ihres Vortrags:

Über die letzten Jahre hat sich die Forschung im Bereich Natural Language Processing (NLP) zunehmend Sprachmodellen zugewandt. Trotz ihrer kurzen Geschichte werden sie erfolgreich eingesetzt und liefern erstaunliche Ergebnisse bei ganz verschiedenen textbezogenen Aufgaben wie zum Beispiel Übersetzungen, Question Answering, Information Extraction und intelligenter Suche.

Trotz all ihrer erstaunlichen Fähigkeiten vergessen wir jedoch gern, dass Sprachmodelle nicht nur daten- sondern auch energiehungrig sind. Hochmoderne Sprachmodelle wie BERT, RoBERTa und XLNet verarbeiten innerhalb der Trainingsphase Millionen von Parametern, was nur mithilfe von Dutzenden hochentwickelter Chips möglich wird. Das dadurch erzeugte CO2 ist dabei um ein Vielfaches höher als der durchschnittliche Verbrauch eines Autos über seine gesamte, durchschnittliche Lebensdauer hinweg. Solch einen hohen Energieverbrauch zu verantworten, fällt in Zeiten des Klimawandels nicht leicht. 

Damit Unternehmen von der Leistung aktueller Modelle profitieren, ohne ihre Rechenkosten zu stark zu strapazieren, gilt es die verwendeten Modelle auf ein Minimum zu reduzieren. Die Leistungsfähigkeit soll darunter natürlich nicht leiden. Ein mögliches Mittel dafür ist die sogenannte Knowledge Destillation, eine gängige Methode unter verschiedenen Komprimierungsmethoden für Sprachmodelle. Im Vortrag zeigen Qi Wu verschiedene Optionen, wie Modelle komprimiert und beschleunigt werden können. Unser Fokus liegt insbesondere darauf, wie Sie Sprachmodelle mithilfe von gezielter Knowledge Destillation so komprimieren können, dass sie ressourcensparend eingesetzt werden können, ohne dass die Modellleistung signifikant sinkt.

Programm zur Veranstaltung M3

Mehr zum Thema Methoden zur Ressourceneinsparung von KI-Modellen

Teilen auf

Veröffentlichung am 05.05.2022
Bildquelle: Pietro Jeng-unsplash

Das könnte Sie interessieren
Arzt mit einem Mobiltelefon in den Händen

Herausforderungen für Innovatoren im komplexen E-Health-Markt

Der E-Health-Markt bietet viele Möglichkeiten für digitale Medizinprodukte, ist jedoch anspruchsvoll. Welche Herausforderungen gibt es für Unternehmen?

Portrait von Poppe Poppe

Wandern zwischen den Welten – von den USA nach Berlin

Es ist der Traum vieler Deutscher in die USA auszuwandern. Poppe wanderte nach Deutschland aus und ging nach Berlin. Ein Interview über ganz persönliche Erfahrungen.

Neofonie erhält Deep Tech Award 2023

Neofonie erhält Deep Tech Award 2023 in der Kategorie IT-Security von der Berliner Senatsverwaltung für Wirtschaft, Energie und Betriebe. Bei dem eingereichten Projekt kommt TXTWerk zur Anwendung.

EHealth_news

Zertifizierung nach ISO 13485 – Gesundheit braucht Qualität

Neofonie ist zertifiziert nach ISO 13485. Erfahren Sie, was die Zertifizierung nach der Norm beinhaltet und welche Vorteile sie bringt.

ontolux bei der Berlin Buzzwords 2023

Bei der Berlin Buzzwords stellen Qi Wu, Bertram Sändig von ontolux am 19.06.23 in ihrem Vortrag domänenspezifische Ontologien in der IT-Sicherheitsbranche im Bereich ML vor.

Carolin Meyer Senior Projektmanagerin steht vor einer Wand mit Bemalung, modern mit Robotern, Linien usw.

Women in Tech – Projektmanagement in der IT

Frauen im IT-Projektmanagement sind selten. Carolin Meyer, Senior Projektmanagerin bei Neofonie, beschreibt ihren Weg in die IT-Branche und ihren Berufsalltag.

Thomas_Interview

Qualitätssicherung im Healthcare Markt

Was Qualitätssicherung im Healthcare Markt für die Softwareentwicklung bedeutet, erklärt Thomas Kitlitschko, CEO der Digitalagentur Neofonie.

Neofonie_25th_adjustments_Header

Neofonie feiert 25 Jahre

Neofonie hat sich mit der ersten deutschen Internetsuchmaschine hin zur führenden Digitalagentur entwickelt, wie das aktuelle Internetagenturranking des BVDW zeigt.

Cert_ISO13485_neofonie

Neofonie ist ISO 13485 zertifiziert

Zur Erfüllung der neuen europäischen Standards (Medical Device Regulation) hat die Neofonie Gruppe ihr Qualitätsmanagement nach ISO 13485 zertifiziert.

ontolux bei der Minds Mastering Machines 2023

Auf der M3 Konferenz stellt Bertram Sändig von ontolux am 11.05.23 in seinem Vortrag domänenspezifische Ontologien in der IT-Sicherheitsbranche im Bereich ML vor.

typo3-1200_650px-onblack

Neofonie ist TYPO3 Gold Member

Neofonie baut die Zusammenarbeit mit der TYPO3-Association aus und zertifiziert sich als Gold Member.

AI4SCM untersucht Supply Chain Risiken

Das AI4SCM Forschungsprojekt hat zum Ziel, Methoden für die Beobachtung und Erkennung von Supply-Chain Risiken zu entwickeln.

Unser Newsletter „Neo Report“ vermittelt konkretes Praxiswissen, Trends und Know-how für Ihr digitales Business – quartalsweise und kompakt. Jetzt anmelden.