ontolux bei der Buzzwords 2022
Vom 12. bis 14. Juni 2022 findet die Buzzwords wieder live in Berlin statt.
Die Konferenz versteht sich als eine Art Plattform für Entwickler, Ingenieure, IT-Architekten, Analysten und Datenwissenschaftler, die sich mit Information Retrieval, der Durchsuchbarkeit großer Datenmengen, NoSQL und Big Data Processing beschäftigen. In vier parallelen Slots werden mehr als 60 Vorträge in Englisch gehalten.
Qi Wu – Machine Learning Engineer bei ontolux eröffnet am 13.06.2022 um 11:00 Uhr den Tag im Maschinenhaus der Kulturbrauerei mit ihrem Vortrag “Compress giant language models to effective and resource-saving models using knowledge distillation”.
Inhalt des Vortrags:
Über die letzten Jahre hat sich die Forschung im Bereich Natural Language Processing (NLP) zunehmend Sprachmodellen zugewandt. Trotz ihrer kurzen Geschichte werden sie erfolgreich eingesetzt und liefern erstaunliche Ergebnisse bei ganz verschiedenen textbezogenen Aufgaben wie zum Beispiel Übersetzungen, Question Answering, Information Extraction und intelligenter Suche.
Trotz all ihrer erstaunlichen Fähigkeiten vergessen wir jedoch gern, dass Sprachmodelle nicht nur daten- sondern auch energiehungrig sind. Hochmoderne Sprachmodelle wie BERT, RoBERTa und XLNet verarbeiten innerhalb der Trainingsphase Millionen von Parametern, was nur mithilfe von Dutzenden hochentwickelter Chips möglich wird. Das dadurch erzeugte CO2 ist dabei um ein Vielfaches höher als der durchschnittliche Verbrauch eines Autos über seine gesamte, durchschnittliche Lebensdauer hinweg. Solch einen hohen Energieverbrauch zu verantworten, fällt in Zeiten des Klimawandels nicht leicht.
Damit Unternehmen von der Leistung aktueller Modelle profitieren, ohne ihre Rechenkosten zu stark zu strapazieren, gilt es die verwendeten Modelle auf ein Minimum zu reduzieren. Die Leistungsfähigkeit soll darunter natürlich nicht leiden. Ein mögliches Mittel dafür ist die sogenannte Knowledge Destillation, eine gängige Methode unter verschiedenen Komprimierungsmethoden für Sprachmodelle. Im Vortrag zeigen Qi Wu verschiedene Optionen, wie Modelle komprimiert und beschleunigt werden können. Unser Fokus liegt insbesondere darauf, wie Sie Sprachmodelle mithilfe von gezielter Knowledge Destillation so komprimieren können, dass sie ressourcensparend eingesetzt werden können, ohne dass die Modellleistung signifikant sinkt.
Mehr zum Thema Methoden zur Ressourceneinsparung von KI-Modellen
Veröffentlichung am 17.05.2022
Wissenswertes
Das neue Forschungsprojekt AI4SCM von Neofonie hat zum Ziel, Methoden für die Beobachtung und Erkennung von Supply-Chain Risiken zu entwickeln.
Menschen mit chronischen Krankheiten können leistungsfähig im Job sein, es braucht individuelle Lösungen. Wir sprachen zum Thema mit Marvin Krüger.
Digital Insurance Podcast: Wie Versicherer die interne Informationsflut bewältigen und von einer ausgefeilte Intranetsuche profitieren.
ChatGPT ist ein Meilenstein in der KI-Entwicklung. Doch wie können Unternehmen die Technologie einsetzen? ontolux geht der Frage nach.
Software Testing unterstützt Firmen, qualitativ hochwertige Software auf den Markt zu bringen. Was ein Testkonzept braucht, verrät Khayrat Glende von Neofonie.
Die Büros von Neofonie waren zur Hochzeit der Pandemie dünn besetzt. Jetzt kehrt wieder mehr Leben ein. Wir haben Suyin Diaz zur Situation „Zurück ins Büro“ befragt.
Immer neue AI-Tools werden auf dem Markt geschwemmt. Doch was leisten diese Tools und vor allem wie korrekt arbeiten sie? Mehr Informationen in der aktuellen Ausgabe von „KI & Forschung“.
Customer Experience – Schlüssel zur Kundenbindung. Wie dies gelingt, zeigen wir im Whitepaper ”Wie Versicherer von Nutzerzentrierung profitieren”.
Ist die angekündigte Schließung von Argo AI der Tod des autonomen Fahrens? Dieses und andere Themen beleuchtet Dr. Till Plumbaum in der aktuellen Ausgabe von „KI & Forschung“.
Vielfalt in Unternehmen ist eine Stärke. Ein Aspekt ist die sexuelle Orientierung. Wir haben Dastan Kasmamytov zu seinem ganz persönlichen Weg interviewt.
Natural Language Processing (NLP) bezeichnet die maschinelle Verwertung natürlichsprachiger Texte. ontolux stellt das Thema im KI-Blog näher vor.
Wo steht Deutschland in Sachen Künstlicher Intelligenz made in Germany? Dr. Till Plumbaum gibt Einblicke in der aktuellen „KI & Forschung“ Ausgabe.
Newsletter
Unser Newsletter „Neo Report“ vermittelt konkretes Praxiswissen, Trends und Know-how für Ihr digitales Business – quartalsweise und kompakt. Jetzt anmelden.
