Künstliche neuronale Netze und Ihre Rechenleistung

Künstliche neuronale Netze und Ihre Rechenleistung

Erfolgreiche künstliche neuronale Netze (ANN) haben in der Regel eine enorme Größe mit unzähligen Parametern, um komplexe Probleme zu lösen. Dies erzeugt jedoch hohe Rechenleistungen. Unsere KI-Agentur ontolux stellt einige der bekanntesten neuronalen Netze für NLP hinsichtlich ihrer Leistung, Größe und Energieeffizienz vor.

2017 veröffentlichte Google Attention is all you need und revolutionierte die neuronale NLP-Gemeinschaft. Google schlug eine neuartige Modellarchitektur vor, die vollständig auf einem sogenannten Attention Mechanismus basiert, dem sogenannten Transformer. Seitdem basieren die meisten erfolgreichsten NLP-Modelle auf einer Transformer-Architektur. Bereits 2018 veröffentlichte Google BERT (Bidirectional Encoder Representations from Transformers). Seither sind viele andere erfolgreiche Modelle entwickelt worden, die mit wachsender Anzahl von Parametern auch die Rechenkapazitäten erhöhen.

Mit dem Switch Transformer von Google und dem chinesischen Wu Dao 2.0 sind 2021 zwei Modelle erschienen, die bei steigender Parameterzahl die Anzahl der mathematischen Operationen beibehalten.

Mehr zu Neuronalen Netzen für NLP Anwendungen

Teilen auf

Veröffentlichung am 07.12.2021
Bildquelle: Photo by Moritz Kindler on Unsplash 

Das könnte Sie interessieren
TextMining_Illustration

Neues Forschungsprojekt Text2Tech

Ziel ist die Erforschung und Entwicklung automatisierter Methoden zur Technologiebeobachtung am Beispiel der Automobilbranche.

Work-Life-Balance-Maßnahme Sabbatical bei Neofonie

Sabbatical als ein Work-Life-Balance-Instrument kann eine Auszeit vom Job ermöglichen und Träume erfüllen. Markus von Neofonie schildert seine ganz persönlichen Erfahrungen zum Thema.

Header_Fuechse

Neofonie Mobile ist offizieller Partner der Füchse Berlin 

Der Handball-Bundesligist Füchse Berlin erneuert sein digitales Angebot und holt sich Neofonie Mobil als offizieller App-Partner der Füchse Berlin an Board.

Google Analytics 4 kommt – Was jetzt zu tun ist

Das Webanalyse-Tool Google Analytics, Universal Analytics (GA3) wird am 01. Juli 2023 komplett auf Google Analytics 4 (GA4) umgestellt. Ivo Stechow – SEO-Experte bei Neofonie sagt wie die Umstellung gelingt.

Header_KI_Forschung_ontolux_christopher-burns-Kj2SaNHG-hg-unsplash_05_22

KI & Forschung 05-2022

Wie kann künstliche Intelligenz in der Justiz unterstützen? Diese und weitere Themen stellt Dr. Till Plumbaum in der aktuellen „KI und Forschung“- Reihe vor.

Sofia Lisiza im Interview bei Neofonie_betriebliche Weiterbildung

Betriebliche Weiterbildung bei Neofonie – ein Erfahrungsbericht

Lebenslanges Lernen ist der Schlüssel zum beruflichen Erfolg und dem persönlichen Karriereweg. Sofia Lisiza berichtet im Interview von ihren ganz persönlichen Erfahrungen mit dem Thema betriebliche Weiterbildung bei Neofonie.

ontolux bei der Buzzwords 2022

Qi Wu von der KI-Agentur ontolux stellt Methoden zur Ressourceneinsparung von KI-Modellen mittels Knowledge Destillation in ihrem Vortrag bei der Buzzwords 2022 in Berlin vor. Die Buzzwords Berlin konzentriert sich auf Themen wie Open-Source-Softwareprojekte, Suche, Speicherung, Streaming und Verarbeitung von großen Datenmengen.

Header_Vortrag_Qi Wu_ontolux_pietro Jeng-n6B49lTx7NM-unsplash_06_21

ontolux bei der Mind Mastering Machines 2022

Die Minds Mastering Machines (M3) Konferenz wendet sich an Softwareentwickler, Data Scientists und Forschende, die Machine Learning und KI-Anwendungen entwickeln. Qi Wu von der KI-Agentur ontolux stellt Methoden zur Ressourceneinsparung von KI-Modellen mittels Knowledge Destillation in einem Vortrag vor.

KIFE_042022

KI & Forschung 04-2022

Die nächste Runde der großen Machine Learning-Modelle ist eingeleitet und GPT-3 und T5 sollen in Rente geschickt werden. In der ontolux „KI und Forschung“- Reihe gibt Dr. Till Plumbaum wieder Einblicke in aktuelle KI-Themen.

Rennfahrer

Wie es B2B Webseiten gelingt, mehr Service zu bieten

Ein durchdachtes UX-Design verwandelt B2B-Websites in ein effizientes Service-Instrument. In der Marconomy gibt UX-Experte Axel Hillebrand Tipps, worauf B2B-Marketer achten sollten.

Kind und Karriere – Vereinbarkeit von Familie und Beruf bei Neofonie

Vereinbarkeit von Familie und Beruf ist für viele Eltern eine Herausforderung und erfordert familienfreundliche Unternehmenskulturen. Wie familienfreundlich ist Neofonie ? Wir haben Khayrat Glende, Head of Quality Management dazu befragt.

Entity Linking mit Doccano und TXTWerk

Zum Labeling von Entitäten hat ontolux das Open Source-Annotationstool Doccano mit der Anbindung an das hauseigene Textanalyse-Framework TXTWerk in einem Fork eingebunden, um eigene Entity Linking Annotationen zu erstellen.

Unser Newsletter „Neo Report“ vermittelt konkretes Praxiswissen, Trends und Know-how für Ihr digitales Business – quartalsweise und kompakt. Jetzt anmelden.