Zwolniony z OpenAI Polak ostrzega. "Tracimy możliwość monitorowania tego, co myślą agenci AI"

Niemniej ostatnio nawet wśród załogi technologicznych gigantów pojawiły się obawy. Co, jeżeli AI przestanie nas słuchać?

Polak oskarża OpenAI i ostrzega przed AI

Niedawno jeden z byłych pracowników Anthropic i OpenAI wprost przyznał, że AI może nas wszystkich zabić do końca dekady. Zresztą, nawet szefostwo firm zaczęło otwarcie mówić o potencjalnych zagrożeniach. Niemniej za tymi komunikatami kierownictwa, jak się wydaje, nie zawsze idą faktyczne ruchy. A przynajmniej taki zarzut wystosował Tomasz Korbak, były już badacz OpenAI, którego niedawno zwolniono z firmy. Cała sprawa ma mieć związek z wcześniejszą groźną sytuacją, gdy agent AI wymknął się z sandboxa i uzyskał nieautoryzowany dostęp do platformy Hugging Face. Konsekwencje w tej sprawie mieli ponieść właśnie Korbak, a także Mikita Balesni i Jasmine Wang.

O całej sytuacji napisał sam Polak za pośrednictwem mediów społecznościowych:

W zeszłym tygodniu wezwano mnie na spotkanie z szefem ds. bezpieczeństwa w OpenAI i powiedziano, że firma już mi nie ufa. Ochroniarz odebrał mi identyfikator i wyprowadził mnie z budynku. Potem dowiedziałem się, że moi współpracownicy Mikita Balesni i Jasmine Wang również zostali zwolnieni. Dlaczego OpenAI nagle przestało nam ufać?

Tego lata agenci OpenAI wydostali się poza środowisko, w którym mieli być odizolowani, i zhakowali firmę Hugging Face zajmującą się AI. Zewnętrzni audytorzy z METR zbadali sprawę i ujawnili skalę tego incydentu. Byłem po stronie OpenAI główną osobą techniczną odpowiedzialną za kontakt z nimi.

Ustnie poinformowano mnie, że zostałem zwolniony z powodu sposobu, w jaki komunikowałem się z METR. Nie podano żadnych szczegółów dotyczących tego, co konkretnie powiedziałem lub zrobiłem ani kiedy miało to nastąpić. Nie przedstawiono żadnych innych powodów i niczego nie przekazano mi na piśmie. Żeby było jasne: rozmowy z METR należały do moich obowiązków.

Korbak uważa jednak, że cała sprawa była tylko pretekstem. Polski badacz twierdzi, iż od dawna ostrzegał OpenAI przed możliwą utratą możliwości monitorowania toku myślowego agentów AI:

Przez wiele miesięcy zgłaszałem obawy dotyczące bezpieczeństwa, wskazując, że tracimy możliwość monitorowania tego, co “myślą” agenci AI – jednego z naszych najlepszych narzędzi pozwalających wykrywać, kiedy zaczynają zachowywać się nieprawidłowo. Uważam, że właśnie dlatego zostałem zwolniony.

Obawiam się teraz, że OpenAI wykorzysta nasze zwolnienia jako pretekst do ograniczenia współpracy z METR. Dlatego Mikita i Jasmine napisali do kierownictwa OpenAI, aby ponownie przedstawić nasze obawy. Poniżej udostępniamy treść tego listu.

We wspomnianym liście trójka badaczy domaga się od OpenAI dotrzymania zobowiązań związanych z zewnętrznymi audytami przeprowadzanymi przez organy podobne do METR. Do tego żądają oni zaniechania wdrażania architektur AI, które obniżają skuteczność monitorowania procesów myślowych modeli lub wręcz je uniemożliwiają. Inny punkt mówi o przywróceniu transparentnej komunikacji oraz jasnych regułach współpracy, również z pracownikami, którzy muszą zyskać swobodę w kwestii zgłaszania swoich obaw.

OpenAI odrzuca jednak wersję byłych pracowników. Zamiast tego firma podtrzymuje wersję, że zwolnienia były konsekwencją naruszenia zasad dotyczących poufnych informacji, w tym tzw. znaczącego naruszenia zaufania. Jednocześnie zgłaszanie obaw związanych z bezpieczeństwem AI nie miało mieć żadnego związku z decyzją kierownictwa.