Udowadniają, że wystarczy 27-letni komputer i tylko 128 MB pamięci RAM, aby uruchomić potężny model AI; to magia BitNet
Pasjonatom udało się uruchomić model językowy na starym komputerze PC. Pomogła w tym architektura BitNet.
Grupie badaczy udało się uruchomić zaawansowany model językowy AI oparty na Llama na PC z systemem Windows 98. Komputer wyposażony był w procesor Pentium II i jedynie 128 MB pamięci RAM.
Wiekowy komputer vs. sztuczna inteligencja
Wymagania sprzętowe stale rosną i aż trudno uwierzyć, że z modelem AI poradzi sobie sprzęt sprzed 26 lat. EXO Labs, czyli grupa składająca się z pasjonatów-inżynierów z Uniwersytetu Oksfordzkiego udowodniła jednak, że to możliwe.
Film opublikowany na X ukazuje, jak Panowie uruchomili model językowy na pececie z procesorem Elonex Pentium II o częstotliwości 350 MHz, systemem operacyjnym Windows 98 i z zaledwie 128 MB pamięci RAM. Model został oparty na kodzie Llama2.c Andreja Karpathy'ego, analityka danych związanego z OpenAI i Teslą.
BitNet, czyli AI niezależnie od parametrów
Eksperyment wykazał, że Panom udało się osiągnąć przepustowość 39,31 tokenów na sekundę w modelu o ok. 260 tysiącach parametrów, dzięki czemu maszyna była w stanie szybko i sprawnie generować historie.
Aby to osiągnąć, wykorzystano BitNet, czyli architekturę, która bazuje na procesorach i wykorzystując techniki kompresji danych, zmniejsza rozmiar modeli AI. To pozwala na znaczną redukcję wymagań sprzętowych. Po uruchomieniu modelu przeprowadzono szereg testów, aby upewnić się, że działa on poprawnie i efektywnie wykorzystuje dostępne zasoby. Zdaniem badaczy, przy tej architekturze model z 7 miliardami parametrów potrzebowałby jedynie 1,38 GB pamięci, co byłoby możliwe do wykonania na większości skromnych pecetów.
Proces uruchamiania modelu został szczegółowo opisany na blogu EXO Labs.
Ich ambitną misją jest „demokratyzacja dostępu do AI” i zapobieganie monopolizacji sztucznej inteligencji w miejscach, gdzie dostęp do zaawansowanych sprzętowo komputerów jest ograniczony.
Komentarze czytelników
GRYOnline.pl:
tvgry.pl:
