ontolux bei der Mind Mastering Machines 2022

ontolux bei der Mind Mastering Machines 2022

Die Minds Mastering Machines (M3) Konferenz wendet sich an Softwareentwickler, Data Scientists und Forschende, die Machine Learning und KI-Anwendungen entwickeln. Qi Wu von der KI-Agentur ontolux stellt Methoden zur Ressourceneinsparung von KI-Modellen mittels Knowledge Destillation in einem Vortrag vor.

Vom 01. bis 03. Juni 2022 findet die M3 zum insgesamt bisher fünften Mal in Karlsruhe statt. In Workshops und Vorträgen werden in diesem Jahr hauptsächlich Themen rund um das Potenzial von Machine Learning, künstliche neuronale Netze, dem praktischen Einsatz von Natural Language Processing und Predictive Analytics vorgestellt.

Der Vortrag „Methoden zur Ressourceneinsparung von KI-Modellen mittels Knowledge Destillation“ von Qi Wu – Machine Learning Engineer bei ontolux – findet am 02.06.2022 um 14:15 bis 15:00 Uhr statt.

Inhalt ihres Vortrags:

Über die letzten Jahre hat sich die Forschung im Bereich Natural Language Processing (NLP) zunehmend Sprachmodellen zugewandt. Trotz ihrer kurzen Geschichte werden sie erfolgreich eingesetzt und liefern erstaunliche Ergebnisse bei ganz verschiedenen textbezogenen Aufgaben wie zum Beispiel Übersetzungen, Question Answering, Information Extraction und intelligenter Suche.

Trotz all ihrer erstaunlichen Fähigkeiten vergessen wir jedoch gern, dass Sprachmodelle nicht nur daten- sondern auch energiehungrig sind. Hochmoderne Sprachmodelle wie BERT, RoBERTa und XLNet verarbeiten innerhalb der Trainingsphase Millionen von Parametern, was nur mithilfe von Dutzenden hochentwickelter Chips möglich wird. Das dadurch erzeugte CO2 ist dabei um ein Vielfaches höher als der durchschnittliche Verbrauch eines Autos über seine gesamte, durchschnittliche Lebensdauer hinweg. Solch einen hohen Energieverbrauch zu verantworten, fällt in Zeiten des Klimawandels nicht leicht. 

Damit Unternehmen von der Leistung aktueller Modelle profitieren, ohne ihre Rechenkosten zu stark zu strapazieren, gilt es die verwendeten Modelle auf ein Minimum zu reduzieren. Die Leistungsfähigkeit soll darunter natürlich nicht leiden. Ein mögliches Mittel dafür ist die sogenannte Knowledge Destillation, eine gängige Methode unter verschiedenen Komprimierungsmethoden für Sprachmodelle. Im Vortrag zeigen Qi Wu verschiedene Optionen, wie Modelle komprimiert und beschleunigt werden können. Unser Fokus liegt insbesondere darauf, wie Sie Sprachmodelle mithilfe von gezielter Knowledge Destillation so komprimieren können, dass sie ressourcensparend eingesetzt werden können, ohne dass die Modellleistung signifikant sinkt.

Programm zur Veranstaltung M3

Mehr zum Thema Methoden zur Ressourceneinsparung von KI-Modellen

Teilen auf

Veröffentlichung am 05.05.2022
Bildquelle: Pietro Jeng-unsplash

Das könnte Sie interessieren

Zurück ins Büro

Die Büros von Neofonie waren zur Hochzeit der Pandemie dünn besetzt. Jetzt kehrt wieder mehr Leben ein. Wir haben Suyin Diaz zur Situation „Zurück ins Büro“ befragt.

AI-Tools auf dem Prüfstand

Immer neue AI-Tools werden auf dem Markt geschwemmt. Doch was leisten diese Tools und vor allem wie korrekt arbeiten sie? Mehr Informationen in der aktuellen Ausgabe von „KI & Forschung“.

Customer Experience – nur Kundenerfahrung zählt

Customer Experience – Schlüssel zur Kundenbindung. Wie dies gelingt, zeigen wir im Whitepaper ”Wie Versicherer von Nutzerzentrierung profitieren”.

Header_KI_Forschung_ontolux_christopher-burns-Kj2SaNHG-hg-unsplash_10_22

Autonomes Fahren auf dem Rückzug?

Ist die angekündigte Schließung von Argo AI der Tod des autonomen Fahrens? Dieses und andere Themen beleuchtet Dr. Till Plumbaum in der aktuellen Ausgabe von „KI & Forschung“.

Dastan_sexuelle_Vielfalt_Neo

Vielfalt als Stärke bei Neofonie

Vielfalt in Unternehmen ist eine Stärke. Ein Aspekt ist die sexuelle Orientierung. Wir haben Dastan Kasmamytov zu seinem ganz persönlichen Weg interviewt.

ontolux_Glossar_Header_girl-with-red-hat-OG9NZVNCnFo-unsplash_blue

Was ist Natural Language Processing

Natural Language Processing (NLP) bezeichnet die maschinelle Verwertung natürlichsprachiger Texte. ontolux stellt das Thema im KI-Blog näher vor.

KI & Forschung 09-2022

Wo steht Deutschland in Sachen Künstlicher Intelligenz made in Germany? Dr. Till Plumbaum gibt Einblicke in der aktuellen „KI & Forschung“ Ausgabe.

Anja_Unterberger-Schneck_Pflanzen

Markenwerte und Branding bei Neofonie

Was bedeutet der Slogan „Digitales in guten Händen“? Anja Unterberger-Schneck, Teamlead Marketing bei Neofonie, gibt Einblicke ins Branding.

Neofonie beim BVDVA-Kongress 2022

Axel Hillebrand, UX Consultant stellt im Vortrag Methoden zur Gewinn- und Imageoptimierung mittels User Experience beim BVDVA-Kongress 2022 online vor.

ontolux auf der Qurator-Konferenz in Berlin

Auf der Qurator-Konferenz in Berlin versammeln sich KI-Experten, um über digitale Kuratierungsmethoden im Einsatz für Unternehmen zu diskutieren.

newsbox-shopwareLizenzen

Neue Lizenzmodelle bei Shopware

Shopware ändert seine Lizenzmodelle. Mit Rise, Evolve und Beyond werden die bisherigen Professional- und Enterprise-Pakete abgelöst. Mehr… 

ION ONE bei der CX1 World Conference

Grant McGillivray und Björn Andresen von ION ONE richten einen Roundtable zum Thema Nutzerzentrierung für KMUs bei der CX1 World Conference 2022 aus.

Unser Newsletter „Neo Report“ vermittelt konkretes Praxiswissen, Trends und Know-how für Ihr digitales Business – quartalsweise und kompakt. Jetzt anmelden.