Apple X Nvidia
Ma egy blogbejegyzésben az Apple mérnökei új részleteket osztottak meg az NVIDIA-val való együttműködésük kapcsán, amelynek célja a gyorsabb szöveggenerálási teljesítmény elérése nagy nyelvi modellekkel (LLM).
Az Apple idén korábban publikálta és nyílt forráskódúvá tette a Recurrent Drafter (ReDrafter) technikát, amely egy új módszert képvisel a szövegek generálására LLM-ekkel, és jelentősen gyorsabb, mint a korábbi megoldások, miközben „világszínvonalú teljesítményt ér el”. A ReDrafter két technikát kombinál: a beam search-t (amely lehetővé teszi több lehetőség feltérképezését) és a dinamikus fafigyelmet (amely hatékonyan kezeli a választásokat).
Bár a kutatás erős eredményeket mutatott, az Apple az NVIDIA-val együtt dolgozott, hogy a ReDrafter-t a gyakorlatban is alkalmazza. Az együttműködés részeként a ReDrafter integrálásra került az NVIDIA TensorRT-LLM-be, amely egy olyan eszköz, amely segít gyorsabban futtatni az LLM-eket NVIDIA GPU-kon.
„Az LLM-ek egyre inkább az ipari alkalmazások hajtómotorjává válnak, és a következtetések hatékonyságának javítása mind a számítási költségeket, mind a felhasználók számára a késleltetést csökkentheti” – vonják le a következtetést az Apple gépi tanulási kutatói. „A ReDrafter új megközelítése a spekulatív dekódoláshoz, amely az NVIDIA TensorRT-LLM keretrendszerébe van integrálva, lehetővé teszi a fejlesztők számára, hogy gyorsabb token generálást érjenek el az NVIDIA GPU-ikon a gyártási LLM alkalmazásaikhoz.”
//
Olvass tovább:
Az 5 legnépszerűbb termék a magyarok szerint!
Nem a méret a lényeg, kicsi vagy nagy a jobb?
2026-ban érkezhet az első hajlítható iPhone?
