ontolux bei der Buzzwords 2022

ontolux bei der Buzzwords 2022

Die Buzzwords Berlin konzentriert sich auf Themen wie Open-Source-Softwareprojekte, Suche, Speicherung, Streaming und Verarbeitung von großen Datenmengen. Qi Wu von der KI-Agentur ontolux stellt in ihrem Vortrag Methoden zur Ressourceneinsparung von KI-Modellen mittels Knowledge Destillation vor.

Vom 12. bis 14. Juni 2022 findet die Buzzwords wieder live in Berlin statt.
Die Konferenz versteht sich als eine Art Plattform für Entwickler, Ingenieure, IT-Architekten, Analysten und Datenwissenschaftler, die sich mit Information Retrieval, der Durchsuchbarkeit großer Datenmengen, NoSQL und Big Data Processing beschäftigen. In vier parallelen Slots werden mehr als 60 Vorträge in Englisch gehalten.  

Qi Wu – Machine Learning Engineer bei ontolux eröffnet am 13.06.2022 um 11:00 Uhr den Tag im Maschinenhaus der Kulturbrauerei mit ihrem Vortrag “Compress giant language models to effective and resource-saving models using knowledge distillation”.

Inhalt des Vortrags:

Über die letzten Jahre hat sich die Forschung im Bereich Natural Language Processing (NLP) zunehmend Sprachmodellen zugewandt. Trotz ihrer kurzen Geschichte werden sie erfolgreich eingesetzt und liefern erstaunliche Ergebnisse bei ganz verschiedenen textbezogenen Aufgaben wie zum Beispiel Übersetzungen, Question Answering, Information Extraction und intelligenter Suche.

Trotz all ihrer erstaunlichen Fähigkeiten vergessen wir jedoch gern, dass Sprachmodelle nicht nur daten- sondern auch energiehungrig sind. Hochmoderne Sprachmodelle wie BERT, RoBERTa und XLNet verarbeiten innerhalb der Trainingsphase Millionen von Parametern, was nur mithilfe von Dutzenden hochentwickelter Chips möglich wird. Das dadurch erzeugte CO2 ist dabei um ein Vielfaches höher als der durchschnittliche Verbrauch eines Autos über seine gesamte, durchschnittliche Lebensdauer hinweg. Solch einen hohen Energieverbrauch zu verantworten, fällt in Zeiten des Klimawandels nicht leicht. 

Damit Unternehmen von der Leistung aktueller Modelle profitieren, ohne ihre Rechenkosten zu stark zu strapazieren, gilt es die verwendeten Modelle auf ein Minimum zu reduzieren. Die Leistungsfähigkeit soll darunter natürlich nicht leiden. Ein mögliches Mittel dafür ist die sogenannte Knowledge Destillation, eine gängige Methode unter verschiedenen Komprimierungsmethoden für Sprachmodelle. Im Vortrag zeigen Qi Wu verschiedene Optionen, wie Modelle komprimiert und beschleunigt werden können. Unser Fokus liegt insbesondere darauf, wie Sie Sprachmodelle mithilfe von gezielter Knowledge Destillation so komprimieren können, dass sie ressourcensparend eingesetzt werden können, ohne dass die Modellleistung signifikant sinkt.

Programm der Buzzwords 2022

Mehr zum Thema Methoden zur Ressourceneinsparung von KI-Modellen

Teilen auf

Veröffentlichung am 17.05.2022

Das könnte Sie interessieren
TextMining_Illustration

Neues Forschungsprojekt Text2Tech

Ziel ist die Erforschung und Entwicklung automatisierter Methoden zur Technologiebeobachtung am Beispiel der Automobilbranche.

Work-Life-Balance-Maßnahme Sabbatical bei Neofonie

Sabbatical als ein Work-Life-Balance-Instrument kann eine Auszeit vom Job ermöglichen und Träume erfüllen. Markus von Neofonie schildert seine ganz persönlichen Erfahrungen zum Thema.

Header_Fuechse

Neofonie Mobile ist offizieller Partner der Füchse Berlin 

Der Handball-Bundesligist Füchse Berlin erneuert sein digitales Angebot und holt sich Neofonie Mobil als offizieller App-Partner der Füchse Berlin an Board.

Google Analytics 4 kommt – Was jetzt zu tun ist

Das Webanalyse-Tool Google Analytics, Universal Analytics (GA3) wird am 01. Juli 2023 komplett auf Google Analytics 4 (GA4) umgestellt. Ivo Stechow – SEO-Experte bei Neofonie sagt wie die Umstellung gelingt.

Header_KI_Forschung_ontolux_christopher-burns-Kj2SaNHG-hg-unsplash_05_22

KI & Forschung 05-2022

Wie kann künstliche Intelligenz in der Justiz unterstützen? Diese und weitere Themen stellt Dr. Till Plumbaum in der aktuellen „KI und Forschung“- Reihe vor.

Sofia Lisiza im Interview bei Neofonie_betriebliche Weiterbildung

Betriebliche Weiterbildung bei Neofonie – ein Erfahrungsbericht

Lebenslanges Lernen ist der Schlüssel zum beruflichen Erfolg und dem persönlichen Karriereweg. Sofia Lisiza berichtet im Interview von ihren ganz persönlichen Erfahrungen mit dem Thema betriebliche Weiterbildung bei Neofonie.

ontolux bei der Buzzwords 2022

Qi Wu von der KI-Agentur ontolux stellt Methoden zur Ressourceneinsparung von KI-Modellen mittels Knowledge Destillation in ihrem Vortrag bei der Buzzwords 2022 in Berlin vor. Die Buzzwords Berlin konzentriert sich auf Themen wie Open-Source-Softwareprojekte, Suche, Speicherung, Streaming und Verarbeitung von großen Datenmengen.

Header_Vortrag_Qi Wu_ontolux_pietro Jeng-n6B49lTx7NM-unsplash_06_21

ontolux bei der Mind Mastering Machines 2022

Die Minds Mastering Machines (M3) Konferenz wendet sich an Softwareentwickler, Data Scientists und Forschende, die Machine Learning und KI-Anwendungen entwickeln. Qi Wu von der KI-Agentur ontolux stellt Methoden zur Ressourceneinsparung von KI-Modellen mittels Knowledge Destillation in einem Vortrag vor.

KIFE_042022

KI & Forschung 04-2022

Die nächste Runde der großen Machine Learning-Modelle ist eingeleitet und GPT-3 und T5 sollen in Rente geschickt werden. In der ontolux „KI und Forschung“- Reihe gibt Dr. Till Plumbaum wieder Einblicke in aktuelle KI-Themen.

Rennfahrer

Wie es B2B Webseiten gelingt, mehr Service zu bieten

Ein durchdachtes UX-Design verwandelt B2B-Websites in ein effizientes Service-Instrument. In der Marconomy gibt UX-Experte Axel Hillebrand Tipps, worauf B2B-Marketer achten sollten.

Kind und Karriere – Vereinbarkeit von Familie und Beruf bei Neofonie

Vereinbarkeit von Familie und Beruf ist für viele Eltern eine Herausforderung und erfordert familienfreundliche Unternehmenskulturen. Wie familienfreundlich ist Neofonie ? Wir haben Khayrat Glende, Head of Quality Management dazu befragt.

Entity Linking mit Doccano und TXTWerk

Zum Labeling von Entitäten hat ontolux das Open Source-Annotationstool Doccano mit der Anbindung an das hauseigene Textanalyse-Framework TXTWerk in einem Fork eingebunden, um eigene Entity Linking Annotationen zu erstellen.

Unser Newsletter „Neo Report“ vermittelt konkretes Praxiswissen, Trends und Know-how für Ihr digitales Business – quartalsweise und kompakt. Jetzt anmelden.