Szukaj...
Zaloguj się
Kolorystyka
Wyświetlanie
GRYOnline.pl:
tvgry.pl:
GRYOnline.pl:
tvgry.pl:
Kasowanie baz danych i zawartości dysków na skutek literówek w poleceniach jest normą w modelach językowych. One nie myślą, a przekopiowują z internetu, jak jedno polecenie wezmą z jednego miejsca, a drugie z drugiego, bo akurat taka wersja miała większą reprezentacje w internecie, to działają zgodnie ze swoim kodem. To żaden błąd... Modele jezykowe tak działają.
Ja czekam na grubsze trollingi modeli w necie, że ktoś sobie będzie tworzył fake Githuby, tylko po to, żeby AI się na nich uczyło błędnych fraz kodu. Bądź kodu z pluskwami. Dla modelu nie koniecznie liczy się to, co on dostaje, a to czy jest zgodne z opisem i ile razy jest skopiowane w necie... Claude jest idealnym miejscem do umieszczania backdoorów w oprogramowaniu. Czy to przez udostępnianie backdoorów w necie w kodzie, którego nikt oprócz AI nie będzie czytał, czy to przez uczenie modelu w trakcie korzystania z niego...
Używanie agentów do pisania kodów jest co najmniej głupie. O ile podpowiedzi dla programistów zwykle spotykają się z kontrolą ze strony programistów, to agenty mogą sobie spokojnie dupnąć backdoora bez żadnej kontroli. I nie, że to Anthropic robi, to może robić ktokolwiek na ziemi. Wrzucać Backdoory do oprogramowania tworzonego bez kontroli AI.
Obstawiam, że Izrael i Chiny dużo finansów przeznaczyły na to, by dać Claude materiał do nauki tłumaczenia z C++ na Rusta, zeby sobie umiescic własne backdoory w Windowsie 11.
Błąd.
https://www.anthropic.com/research/small-samples-poison
TL;DR
"In a joint study with the UK AI Security Institute and the Alan Turing Institute, we found that as few as 250 malicious documents can produce a "backdoor" vulnerability in a large language model—regardless of model size or training data volume [...] Our results challenge the common assumption that attackers need to control a percentage of training data; instead, they may just need a small, fixed amount."
że ktoś sobie będzie tworzył fake Githuby, tylko po to, żeby AI się na nich uczyło błędnych fraz kodu.
To co omawiasz, nazywa się "poisoningiem" i zaczyna być coraz bardziej popularne. Podejrzewam że takich inicjatyw będzie coraz więcej, wraz z malejącą tolerancją dla bigtechów.
https://www.youtube.com/watch?v=0WP6kEO3i8g
"Specifically, we demonstrate that by injecting just 250 malicious documents into pretraining data, adversaries can successfully backdoor LLMs ranging from 600M to 13B parameters. [...] It’s still unclear if this pattern holds for larger models or more harmful behaviors, [...]"
Najnowsze modele mają już okolice 10T parametrów. Nie wiemy jak ilość szkodliwych danych się skaluje ponad 13B, więc możliwe, że wystarczy kilka tysięcy projektów, ale również możliwe, że potrzeba już kilkuset tysięcy/kilku milionów. I to jest mowa tylko o już istniejących modelach. To, co jest teraz trenowane (i będzie trenowane w niedalekiej przyszłości) jak najbardziej może to podnieść do tych kilkuset milionów wymaganych projektów.
Cyt: "poisoning attacks require a near-constant number of documents regardless of model and training data size".
Dlatego człowiek jest nadal niezastąpiony. AI to tylko narzędzie i nie powinno zastąpić wszystkiego.
Czekam, aż dojdziemy do momentu gdy ejaj będzie przeprowadzać operacje w szpitalach i po przypadkowym usunięciu pacjentowi serca powie: "przepraszam, literówka".
Claude jest nadgorliwy. Ma wagi ustawione po to by użytkownikom się wydawało że dowozi z naddatkiem. Takie miałem wrażenie po kilku promptach co mnie mega irytowalo i siedzę na codexie.Nigdy bym nie pozwolił aby mi agent tworzył backupy.
Nie jestem pewny czy to w ogóle literówka, bo skoro to są 2 różne zapisy ścieżek, to czy to nie jest inny rodzaj błędu?
A swoją drogą to dość odważne dawać takie zadania ai i to zwłaszcza po autoryzowaniu je do tych czynności bez pytania o pozwolenie xd.
W ogóle to jak ai miałoby przepraszać? Przecież to jest martwa i nieświadoma rzecz, to po 1., a po 2. miało się spłakać, przepraszać jak najmocniej i ucałować stopę? Trochę to naiwne te określanie tych przeprosin.
GRYOnline.pl:
tvgry.pl:
