Künstliche neuronale Netze und Ihre Rechenleistung
2017 veröffentlichte Google Attention is all you need und revolutionierte die neuronale NLP-Gemeinschaft. Google schlug eine neuartige Modellarchitektur vor, die vollständig auf einem sogenannten Attention Mechanismus basiert, dem sogenannten Transformer. Seitdem basieren die meisten erfolgreichsten NLP-Modelle auf einer Transformer-Architektur. Bereits 2018 veröffentlichte Google BERT (Bidirectional Encoder Representations from Transformers). Seither sind viele andere erfolgreiche Modelle entwickelt worden, die mit wachsender Anzahl von Parametern auch die Rechenkapazitäten erhöhen.
Mit dem Switch Transformer von Google und dem chinesischen Wu Dao 2.0 sind 2021 zwei Modelle erschienen, die bei steigender Parameterzahl die Anzahl der mathematischen Operationen beibehalten.
Veröffentlichung am 07.12.2021
Bildquelle: Photo by Moritz Kindler on Unsplash
Wissenswertes
Newsletter
Unser Newsletter „Neo Report“ vermittelt konkretes Praxiswissen, Trends und Know-how für Ihr digitales Business – quartalsweise und kompakt. Jetzt anmelden.