Udowadniają, że wystarczy 27-letni komputer i tylko 128 MB pamięci RAM, aby uruchomić potężny model AI; to magia BitNet

Grupie badaczy udało się uruchomić zaawansowany model językowy AI oparty na Llama na PC z systemem Windows 98. Komputer wyposażony był w procesor Pentium II i jedynie 128 MB pamięci RAM.

Wiekowy komputer vs. sztuczna inteligencja

Wymagania sprzętowe stale rosną i aż trudno uwierzyć, że z modelem AI poradzi sobie sprzęt sprzed 26 lat. EXO Labs, czyli grupa składająca się z pasjonatów-inżynierów z Uniwersytetu Oksfordzkiego udowodniła jednak, że to możliwe.

Film opublikowany na X ukazuje, jak Panowie uruchomili model językowy na pececie z procesorem Elonex Pentium II o częstotliwości 350 MHz, systemem operacyjnym Windows 98 i z zaledwie 128 MB pamięci RAM. Model został oparty na kodzie Llama2.c Andreja Karpathy'ego, analityka danych związanego z OpenAI i Teslą.

BitNet, czyli AI niezależnie od parametrów

Eksperyment wykazał, że Panom udało się osiągnąć przepustowość 39,31 tokenów na sekundę w modelu o ok. 260 tysiącach parametrów, dzięki czemu maszyna była w stanie szybko i sprawnie generować historie.

Aby to osiągnąć, wykorzystano BitNet, czyli architekturę, która bazuje na procesorach i wykorzystując techniki kompresji danych, zmniejsza rozmiar modeli AI. To pozwala na znaczną redukcję wymagań sprzętowych. Po uruchomieniu modelu przeprowadzono szereg testów, aby upewnić się, że działa on poprawnie i efektywnie wykorzystuje dostępne zasoby. Zdaniem badaczy, przy tej architekturze model z 7 miliardami parametrów potrzebowałby jedynie 1,38 GB pamięci, co byłoby możliwe do wykonania na większości skromnych pecetów.

Model był wstanie wygenerować spójne historyjki. Źródło: EXOLabs

Proces uruchamiania modelu został szczegółowo opisany na blogu EXO Labs.

Powiązane:Prawie 50 tys. utraconych etatów przypisanych AI - branża tech przechodzi przyspieszoną transformację

Ich ambitną misją jest „demokratyzacja dostępu do AI” i zapobieganie monopolizacji sztucznej inteligencji w miejscach, gdzie dostęp do zaawansowanych sprzętowo komputerów jest ograniczony.

Więcej:Deweloper Valve broni oznaczania na Steam gier stworzonych z pomocą AI. „To tak, jakby powiedzieć, że produkty spożywcze nie powinny mieć listy składników”

• komputery
• tech
• AI / sztuczna inteligencja