Conform informațiilor din rețea, următorul model de limbaj (LLM) dezvoltat de OpenAI nu va aduce o schimbare semnificativă comparativ cu predecesorii săi. Pe acest fundal, OpenAI a format o echipă de specialiști care se ocupă cu analiza posibilelor direcții de dezvoltare și îmbunătățire a rețelelor neuronale.
Noua LLM a companiei este cunoscută sub numele de cod Orion. Angajații implicați în testarea acestui algoritm au observat că performanța sa este superioară modelelor existente, însă îmbunătățirile nu sunt la fel de remarcabile ca în tranziția de la GPT-3 la GPT-4. Se pare că ritmul de progres în dezvoltarea LLM-urilor a început să se diminueze, iar în anumite domenii, cum ar fi programarea, Orion depășește doar ușor modelele anterioare.
Pentru a aborda această situație, OpenAI a creat o echipă de dezvoltatori cu scopul de a identifica strategii ce pot permite continuarea îmbunătățirii LLM-ului, chiar și în condițiile reducerii volumului de date necesar pentru antrenament. Conform surselor, noile strategii includ antrenarea lui Orion pe date sintetice generate de rețele neuronale, precum și o îmbunătățire mai activă a modelului după finalizarea etapei inițiale de antrenament. Reprezentanții OpenAI au refuzat să ofere comentarii suplimentare pe această temă.