Průlom v AI: Malé, výkonné jazykové modely od PrismML mění pravidla hry

V dnešní době jsou velké jazykové modely (LLM) často spojovány s obrovskými nároky na výpočetní výkon a paměť, což omezuje jejich použití na specializovaných serverech a cloudových službách. Startup PrismML však přichází s inovativním řešením, které dokáže výrazně zmenšit velikost těchto modelů, aniž by došlo k podstatné ztrátě jejich schopností. Díky tomu je možné spouštět pokročilé AI modely i na běžných počítačích – a dokonce i na high-end smartphonech.

PrismML nedávno představil model Bonsai 2 27B, který komprimuje známý open source model Qwen3.8 27B od Alibaba z původních přibližně 60 GB na pouhých 5,9 GB. To znamená až desetinásobné snížení velikosti, což otevírá cestu k lokálnímu běhu AI modelů bez nutnosti neustálého připojení k internetu a závislosti na cloudu.

Inovace v kompresi modelů – jak to funguje?

Úspěch PrismML spočívá v unikátním přístupu ke kompresi tzv. "váh" modelu. Váhy jsou základními informacemi, které model získává během tréninku a které určují jeho schopnost rozpoznávat vzory a generovat odpovědi. Zatímco běžné modely používají pro každou váhu 16 bitů, PrismML využívá tzv. ternární váhy, které mohou nabývat pouze tří hodnot: +1, -1 nebo 0. Tato redukce výrazně snižuje množství uložených dat, aniž by tím model výrazně ztratil na schopnostech.

Tento přístup není jen technický trik – výkonnost modelu Bonsai 2 dosahuje 98 % výkonu originálního Qwen modelu na standardních benchmarkových testech. Zlepšení oproti první verzi Bonsai 1, která dosahovala 95 %, ukazuje, že kompresní technologie se rychle vyvíjí a zlepšuje.

Praktické dopady a budoucnost malých LLM

Díky kompresním technikám jako je ta od PrismML by mohly pokročilé AI modely brzy běžet přímo na zařízeních uživatelů, což přináší několik zásadních výhod. Za prvé, taková AI by mohla fungovat bez nutnosti odesílání dat do cloudu, což výrazně zvyšuje soukromí a bezpečnost uživatelů. Za druhé, provoz AI přímo na zařízení by mohl snížit náklady na cloudové služby a zrychlit odezvu.

V neziskovém sektoru by tato technologie mohla znamenat zásadní posun. Organizace, které často pracují s omezeným rozpočtem a infrastrukturou, by mohly využívat výkonné AI nástroje bez vysokých nákladů na cloud a bez obav o ochranu citlivých dat. To by mohlo podpořit efektivitu projektů v oblasti vzdělávání, zdravotnictví nebo sociálních služeb.

PrismML má v plánu rozšířit tuto kompresní technologii i na ještě větší modely s tisíci miliardami parametrů, které by mohly být ještě inteligentnější a přitom stále relativně malé. Podle zakladatelů je u větších modelů snazší zachovat jejich výkonnost během komprese, což naznačuje skvělou perspektivu pro budoucnost AI.

„Budete mít inteligenci na dosah ruky, která bude zdarma, protože poběží na zařízení, které už vlastníte,“ říká Babak Hassibi, CEO PrismML. „Navíc bude soukromá, protože data nemusíte posílat do cloudu.“

Pokročilé, kompaktní modely jako Bonsai 2 představují významný krok k tomu, aby se AI stala dostupnější a bezpečnější pro každého uživatele. Tento trend koresponduje s dalšími inovacemi v oblasti AI nástrojů, které se zaměřují na lokální běh a zvyšování soukromí, jak jsme již mohli zaznamenat u dalších startupů i technologických gigantů.

Pokud vás zajímá, jak AI mění neziskový sektor a přináší nové možnosti, doporučujeme také náš článek Jak umělá inteligence mění neziskový sektor: příležitosti, výzvy a praktické příklady.

Závěr: Malé modely – velká revoluce?

Vývoj malých, ale přitom výkonných jazykových modelů je jedním z klíčových směrů, jakým se bude ubírat budoucnost umělé inteligence. PrismML a podobné startupy dokazují, že cesta ke skutečně uživatelsky přívětivé a dostupné AI vede přes optimalizaci a kompresi, nikoli jen přes zvyšování velikosti a složitosti modelů.

Tento posun může znamenat nejen větší soukromí a rychlejší odezvu, ale i širší dostupnost AI pro různé segmenty společnosti včetně neziskového sektoru, kde jsou náklady a bezpečnost často zásadními faktory. Výzvou zůstává zachovat inteligenci a přesnost modelů i po jejich zmenšení, což však podle aktuálních výsledků nemusí být překážkou.

Sledujme tedy, jak se bude oblast kompresních technik vyvíjet a jaký dopad to bude mít na každodenní používání umělé inteligence – ať už v byznysu, vzdělávání, či neziskovém sektoru.