Künstliche neuronale Netze und Ihre Rechenleistung

Künstliche neuronale Netze und Ihre Rechenleistung

Erfolgreiche künstliche neuronale Netze (ANN) haben in der Regel eine enorme Größe mit unzähligen Parametern, um komplexe Probleme zu lösen. Dies erzeugt jedoch hohe Rechenleistungen. Unsere KI-Agentur ontolux stellt einige der bekanntesten neuronalen Netze für NLP hinsichtlich ihrer Leistung, Größe und Energieeffizienz vor.

2017 veröffentlichte Google Attention is all you need und revolutionierte die neuronale NLP-Gemeinschaft. Google schlug eine neuartige Modellarchitektur vor, die vollständig auf einem sogenannten Attention Mechanismus basiert, dem sogenannten Transformer. Seitdem basieren die meisten erfolgreichsten NLP-Modelle auf einer Transformer-Architektur. Bereits 2018 veröffentlichte Google BERT (Bidirectional Encoder Representations from Transformers). Seither sind viele andere erfolgreiche Modelle entwickelt worden, die mit wachsender Anzahl von Parametern auch die Rechenkapazitäten erhöhen.

Mit dem Switch Transformer von Google und dem chinesischen Wu Dao 2.0 sind 2021 zwei Modelle erschienen, die bei steigender Parameterzahl die Anzahl der mathematischen Operationen beibehalten.

Mehr zu Neuronalen Netzen für NLP Anwendungen

Teilen auf

Veröffentlichung am 07.12.2021
Bildquelle: Photo by Moritz Kindler on Unsplash 

Das könnte Sie interessieren

Qualitätssicherung im Healthcare Markt

Was Qualitätssicherung im Healthcare Markt für die Softwareentwicklung bedeutet, erklärt Thomas Kitlitschko, CEO der Digitalagentur Neofonie.

Neofonie_25th_adjustments_Header

Neofonie feiert 25 Jahre

Neofonie hat sich mit der ersten deutschen Internetsuchmaschine hin zur führenden Digitalagentur entwickelt, wie das aktuelle Internetagenturranking des BVDW zeigt.

Cert_ISO13485_neofonie

Neofonie ist ISO 13485 zertifiziert

Zur Erfüllung der neuen europäischen Standards (Medical Device Regulation) hat die Neofonie Gruppe ihr Qualitätsmanagement nach ISO 13485 zertifiziert.

ontolux bei der Minds Mastering Machines 2023

Auf der M3 Konferenz stellt Bertram Sändig von ontolux am 11.05.23 in seinem Vortrag domänenspezifische Ontologien in der IT-Sicherheitsbranche im Bereich ML vor.

typo3-1200_650px-onblack

Neofonie ist TYPO3 Gold Member

Neofonie baut die Zusammenarbeit mit der TYPO3-Association aus und zertifiziert sich als Gold Member.

Logo_AI4SCM_News

AI4SCM untersucht Supply Chain Risiken

Das AI4SCM Forschungsprojekt hat zum Ziel, Methoden für die Beobachtung und Erkennung von Supply-Chain Risiken zu entwickeln.

Portrait von Marvin Krüger bei Neofonie GmbH

Arbeiten mit chronischer Erkrankung

Menschen mit chronischen Krankheiten können leistungsfähig im Job sein, es braucht individuelle Lösungen. Wir sprachen zum Thema mit Marvin Krüger.

Schwarzes Mikrofon

Neofonie im Digital Insurance Podcast

Digital Insurance Podcast: Wie Versicherer die interne Informationsflut bewältigen und von einer ausgefeilte Intranetsuche profitieren.

ChatGPT im Realitätscheck

ChatGPT ist ein Meilenstein in der KI-Entwicklung. Doch wie können Unternehmen die Technologie einsetzen? ontolux geht der Frage nach.

Testkonzepte im Software Testing einfach erklärt

Software Testing unterstützt Firmen, qualitativ hochwertige Software auf den Markt zu bringen. Was ein Testkonzept braucht, verrät Khayrat Glende von Neofonie.

Zurück ins Büro

Die Büros von Neofonie waren zur Hochzeit der Pandemie dünn besetzt. Jetzt kehrt wieder mehr Leben ein. Wir haben Suyin Diaz zur Situation „Zurück ins Büro“ befragt.

AI-Tools auf dem Prüfstand

Immer neue AI-Tools werden auf dem Markt geschwemmt. Doch was leisten diese Tools und vor allem wie korrekt arbeiten sie? Mehr Informationen in der aktuellen Ausgabe von „KI & Forschung“.

Unser Newsletter „Neo Report“ vermittelt konkretes Praxiswissen, Trends und Know-how für Ihr digitales Business – quartalsweise und kompakt. Jetzt anmelden.