Künstliche neuronale Netze und Ihre Rechenleistung

Künstliche neuronale Netze und Ihre Rechenleistung

Erfolgreiche künstliche neuronale Netze (ANN) haben in der Regel eine enorme Größe mit unzähligen Parametern, um komplexe Probleme zu lösen. Dies erzeugt jedoch hohe Rechenleistungen. Unsere KI-Agentur ontolux stellt einige der bekanntesten neuronalen Netze für NLP hinsichtlich ihrer Leistung, Größe und Energieeffizienz vor.

2017 veröffentlichte Google Attention is all you need und revolutionierte die neuronale NLP-Gemeinschaft. Google schlug eine neuartige Modellarchitektur vor, die vollständig auf einem sogenannten Attention Mechanismus basiert, dem sogenannten Transformer. Seitdem basieren die meisten erfolgreichsten NLP-Modelle auf einer Transformer-Architektur. Bereits 2018 veröffentlichte Google BERT (Bidirectional Encoder Representations from Transformers). Seither sind viele andere erfolgreiche Modelle entwickelt worden, die mit wachsender Anzahl von Parametern auch die Rechenkapazitäten erhöhen.

Mit dem Switch Transformer von Google und dem chinesischen Wu Dao 2.0 sind 2021 zwei Modelle erschienen, die bei steigender Parameterzahl die Anzahl der mathematischen Operationen beibehalten.

Mehr zu Neuronalen Netzen für NLP Anwendungen

Teilen auf

Veröffentlichung am 07.12.2021
Bildquelle: Photo by Moritz Kindler on Unsplash 

Das könnte Sie interessieren
newsbox-GWA_Win

Neofonie zählt zu den besten Web- und Online Agenturen 2022

Neofonie ist offizieller Preisträger der German Web Awards. Der Award kürt jährlich die besten Web- und Online Agenturen und zählt zu einer der wichtigsten Auszeichnungen in der DACH-Region.

Modellkomimierung_News

KI-Modelle komprimieren und Ressourcen sparen

Viele KI-Modelle haben hohe Trainings- und Betriebskosten und damit sowohl wirtschaftliche als auch ökologische Folgen. Qi Wu von ontolux stellt einige Methoden der Modellkomprimierung vor, die helfen, den CO₂-Fußabdruck, der durch die Verwendung neuronaler Netze entsteht, zu verringern. 

BSI_Grafik_kl

Analyse von Lageinformationen für das BSI

ontolux entwickelt für das Bundesamt für Sicherheit in der Informationstechnik (BSI) eine NLP-Anwendung zur Analyse von Lageinformationen und der Erkennung von Gefahrenmeldungen.

Header_KI_Forschung_ontolux

KI & Forschung 12-2021

Das Jahr 2021 war geprägt von Language Models, aber generell war eine gewisse Stagnation im Bereich KI und NLP zu erkennen. In der aktuellen Dezember-Ausgabe von „KI und Forschung“ stellt Dr. Till Plumbaum erneut die wichtigsten Ereignisse im KI-Umfeld vor.

Kuchenbuch_Michaela

Mobiles Arbeiten bei Neofonie

Seit 2020 arbeitet die Mehrheit der Neofonie Mitarbeiter remote aufgrund der aktuellen Situation – Pandemie. Wie hat sich das Miteinander und das gemeinsame Arbeiten verändert? Wir haben Michaela Kuchenbuch, HR Recruiting, gefragt, was die neue Arbeitskultur bei Neofonie ausmacht und wie sie sich umsetzen lässt.

Künstliche neuronale Netze und Ihre Rechenleistung

Künstliche neuronale Netze (ANN) haben in der Regel eine enorme Größe mit unzähligen Parametern, um komplexe Probleme zu lösen. Dies erzeugt jedoch hohe Rechenleistungen. Unsere KI-Agentur ontolux stellt einige der bekanntesten neuronalen Netze für NLP hinsichtlich ihrer Leistung, Größe und Energieeffizienz vor.

KI & Forschung 11-2021

In der aktuellen November-Ausgabe von „KI und Forschung“ geht es um die Fortschritte in der Informatik, Mathematik und Computertechnik, den freien Zugang zu GPT-3 und um die Ethik von Künstlicher Intelligenz.

Whitepaper zu Text Mining und NLP-Frameworks im Vergleich

ontolux – KI-Agentur der Neofonie gibt im aktualisierten Whitepaper “Die wichtigsten deutschsprachigen NLP-Whitepaper unter der Lupe” einen detaillierten Überblick über Anforderungen, Anbieter-Tests sowie Ergebnisse.

Reibungslose CMS Einführung bei R+V

Auf der Suche nach einer sicheren und einheitlichen technologische Content Plattform für die gesamte R+V, hat sich die R+V Versicherung für Einführung des neuen Content Management Systems Magnolia entschieden. Die Implementierung erfolgte durch Neofonie.

scalye_News_Logo

Neofonie ist Partner für die ABOUT YOU SCAYLE Commerce Engine

Neofonie gehört zu den ersten 14 ausgewählten deutschlandweiten Partnern für das Enterprise Shop Software SCAYLE. Als Partner unterstützt Neofonie vor allem in der Beratung, UX, im Frontend und der Implementierung.

In der aktuellen Oktober-Ausgabe von "KI und Forschung" geht auf das neu erschienene Language Model – MT-NLG von Microsoft und NVIDIA ein, beschäftigt sich mit der neuesten Version der Machine Learning Library PyTorch und der Zukunft der Suche.

KI & Forschung 10-2021

In der aktuellen Oktober-Ausgabe von „KI und Forschung“ geht es um das neu erschienene Language Model – MT-NLG von Microsoft und NVIDIA sowie um die neueste Version der Machine Learning Library PyTorch und die Zukunft der Suche.

Gratis Usability Check mit Grant McGillivray

Ein digitales Produkt, sei es eine Website, ein Onlineshop oder eine digitale Anwendung, soll Usern ein positives Nutzererlebnis verschaffen. Wie kann dieses wichtige Ziel erreicht werden? Wie gut ist das Nutzererlebnis der eigenen Website? ION ONE gibt darauf Antworten mit einem kostenfreien Usability Check.

Unser Newsletter „Neo Report“ vermittelt konkretes Praxiswissen, Trends und Know-how für Ihr digitales Business – quartalsweise und kompakt. Jetzt anmelden.