Warum die „Mixture of Experts“-Architektur das ultimative Argument für den Speicherbedarf ist

Die Wall Street schläft völlig darüber, wie der jüngste Wandel in der KI-Architektur das Verhältnis von Speicher zu Rechenleistung stark zugunsten von RAM verzerrt. Jeder denkt, dass es bei KI nur um Nvidia-GPUs und pure Rechenleistung geht, aber die neuesten Modelle werden mit einer Architektur namens Mixture of Experts (MoE) gebaut. Anstatt ein riesiges Gehirn zu sein, das umfangreiche Berechnungen für jedes einzelne Wort durchführt, ist ein MoE-Modell in Hunderte spezialisierter „Mini-Gehirne“ aufgeteilt. Wenn Sie ihm eine Frage stellen, ertönt ein digitaler Verkehrspolizist o