Start z polskim AI – od pomysłu do wdrożenia #PLLuM

Start z polskim AI to cykl rozmów, którego celem jest przedstawienie doświadczeń związanych z polskimi modelami językowymi AI oraz praktykami firm i instytucji we wdrażaniu tych rozwiązań. Zapraszamy do rozmowy z Dominiką Grajewską z zespołu PLLuM, polskiego modelu językowego tworzonego w NASK, który wspiera rozwój bezpiecznej i suwerennej AI w Polsce.

Skąd wziął się pomysł na stworzenie PLLuM i jaką lukę na rynku ma wypełnić ten model?

Przede wszystkim PLLuM jest dedykowany administracji publicznej. Modele, z którymi stykamy się na co dzień, czyli rozwiązania komercyjne, takie jak ChatGPT czy modele dostępne w chmurze, zazwyczaj działają na serwerach znajdujących się poza Polską, często w Stanach Zjednoczonych. Oznacza to, że kiedy korzystamy z takich narzędzi, nasze zapytania, dokumenty i inne dane mogą trafiać poza Europejski Obszar Gospodarczy.

Dlatego uznano, że najlepszą ścieżką będzie stworzenie bezpiecznego narzędzia AI, które można wykorzystywać w administracji publicznej. Chodzi nie tylko o bezpieczeństwo i kontrolę nad danymi, ale również o możliwość dostosowania modelu do specyfiki polskiej administracji, lokalnych uwarunkowań, potrzeb i informacji. Dzięki temu mamy większą kontrolę nad tym, co model wie, jak działa i jakie zadania potrafi realizować.

Jest też trzecia, bardzo ważna kwestia, czyli rozwój kompetencji w Polsce. Mowa o naukowcach i inżynierach, którzy zdobywają doświadczenie w budowaniu dużych modeli językowych. Poza Bielikiem to właśnie PLLuM jest jednym z projektów, w ramach których w Polsce można rozwijać tego rodzaju kompetencje. To niezwykle ważna i ceniona na rynku umiejętność. Gdyby nie ten projekt, możliwości zdobywania w Polsce doświadczenia w tworzeniu dużych modeli językowych byłyby znacznie bardziej ograniczone. 

Czyli PLLuM jest przede wszystkim rozwijany z myślą o administracji publicznej. Czy widzicie jednak również perspektywę jego wykorzystania w biznesie? Czy w przyszłości model mógłby być wdrażany także przez firmy?

Tak, oczywiście. Modele PLLuM są dostępne w sieci i można z nich korzystać bezpłatnie. Wiemy, że już teraz korzystają z nich również duże korporacje, w tym banki, co oczywiście bardzo nas cieszy.

Jednocześnie nasze kompetencje związane z PLLuM rozwijamy przede wszystkim z myślą o potrzebach administracji publicznej. Jeśli jednak jakaś firma potrzebuje modelu, który dobrze rozumie polski kontekst, naszą kulturę i język, a te elementy są istotne dla jej działalności, to PLLuM jak najbardziej może być dla niej dobrym wyborem.

Jakie są najmocniejsze strony modelu?

Na pewno dużą zaletą jest to, że uczymy model zarówno naszego kontekstu kulturowego, jak i specyfiki polskiej administracji publicznej. Do trenowania wykorzystujemy również dokumenty dostępne w przestrzeni publicznej, które zawierają informacje potrzebne do tego, aby model jak najlepiej rozumiał polski kontekst.

Cały czas rozwijamy też jego kompetencje w zakresie języka polskiego. Na co dzień spotykam się z przedstawicielami urzędów i pytam, jakich funkcjonalności i kompetencji potrzebowaliby w takim modelu. Słuchamy również informacji zwrotnych o tym, co obecnie nie działa jeszcze idealnie i na tej podstawie wprowadzamy kolejne usprawnienia. Można więc powiedzieć, że rozwijamy PLLuM w dużej mierze z myślą o administracji publicznej, tak aby był dla niej jak najbardziej użyteczny i pomocny.

To są, moim zdaniem, główne zalety tego projektu. Bardzo mocno skupiamy się również na bezpieczeństwie, które można rozumieć na dwa sposoby.

Po pierwsze, model można zainstalować lokalnie, w danej instytucji. Dzięki temu zapytania i dane nie opuszczają jej infrastruktury i nie trafiają do zewnętrznych dostawców. To jest pierwszy wymiar bezpieczeństwa.

Druga kwestia to bezpieczeństwo związane z tym, jakie treści model generuje. Zależy nam na tym, żeby nie tworzył szkodliwych treści, nie używał obraźliwego czy wulgarnego języka, a także nie pomagał w działaniach, które mogłyby być niebezpieczne lub niezgodne z prawem, takich jak podrabianie dokumentów tożsamości. To również jest bardzo ważna warstwa bezpieczeństwa, o którą dbamy w PLLuM.

Jakie były największe wyzwania związane z trenowaniem modelu dla języka polskiego?

To było i nadal jest dla nas ogromne wyzwanie. Jeśli pomyślimy o twórcach modeli takich jak GPT i o tym, skąd mogli pozyskiwać dane treningowe, to w języku angielskim dostępnych jest ich po prostu bardzo dużo. Można więc założyć, że mieli pod tym względem znacznie większe zasoby.

My, działając na polskim rynku i chcąc nauczyć PLLuM przede wszystkim języka polskiego, mamy zupełnie inną sytuację. Okazuje się, że wartościowych materiałów w języku polskim nie ma aż tak dużo. To jest pierwsza kwestia.

Po drugie, w PLLuM bardzo dbamy o kwestie licencyjne i prawa autorskie. Nie chcemy wykorzystywać danych, do których nie mamy odpowiednich praw. Dlatego dokładnie sprawdzamy, czy konkretne materiały mogą zostać wykorzystane do treningu modelu. Jeżeli dodatkowo uwzględnimy kryteria jakości, rzetelności i wartości merytorycznej danych, okazuje się, że zbiór materiałów, które rzeczywiście możemy wykorzystać, jest stosunkowo niewielki.

Cały czas bardzo dbamy o etykę i legalność procesu pozyskiwania danych. Szukamy też różnych sposobów na zwiększenie ich ilości. Jednym z nich jest wykorzystanie innych modeli sztucznej inteligencji do tłumaczenia materiałów z języka angielskiego na polski. To jednak również nie jest rozwiązanie idealne, ponieważ nie wszystkie modele bardzo dobrze radzą sobie z językiem polskim i zdarzają im się błędy.

Dlatego NASK w proces zaangażował również lingwistów. Czytają oni materiały wygenerowane przez sztuczną inteligencję, poprawiają je i oceniają ich jakość. Można sobie wyobrazić, jak bardzo pracochłonny jest to proces, szczególnie że mówimy o tysiącach, a nawet milionach takich próbek.

Dobrym przykładem pokazującym skalę tego wyzwania są działania firm rozwijających modele w języku angielskim. Wokół firmy Anthropic, twórcy Claude'a, pojawiły się informacje dotyczące pozyskiwania dużych ilości książek na potrzeby treningu modeli. Według opisywanych doniesień książki były skanowane, a następnie wykorzystywane do tworzenia cyfrowych zbiorów danych. To oczywiście budzi ogromne kontrowersje, między innymi ze względu na prawa autorskie.

W NASK podchodzimy do tego inaczej. Zależy nam na tym, żeby dane wykorzystywane do treningu PLLuM były pozyskiwane w sposób legalny, etyczny i odpowiedzialny. To sprawia, że cały proces jest bardziej wymagający i czasochłonny, ale jednocześnie jest dla nas bardzo ważnym elementem budowania modelu.

W jaki sposób dbacie o jakość, wiarygodność i bezpieczeństwo odpowiedzi generowanych przez PLLuM?

Jeżeli chodzi o jakość, to na pewno wyróżnia nas to, że mamy w zespole zatrudnionych lingwistów, którzy cały czas audytują dane trafiające do treningu i sprawdzają czy są one poprawne pod względem językowym. To jest niewyobrażalnie trudna i pracochłonna praca. Można sobie wyobrazić, że ktoś przez cały dzień czyta kolejne próbki i ocenia czy są poprawne, naturalne i odpowiedniej jakości.

Oczywiście jeden lingwista nie jest w stanie przeczytać wszystkiego, bo zasoby ludzkie są ograniczone. Dlatego czasami wykorzystujemy również inne modele AI – z odpowiednią licencją - do oceny poszczególnych próbek. W ten sposób próbujemy zwiększyć skalę tego procesu i radzić sobie z ogromną ilością danych. To jest po prostu konieczne, szczególnie że zasoby ludzkie dostępne w Stanach Zjednoczonych są zupełnie inne niż w Polsce, więc musimy szukać własnych rozwiązań.

Jeżeli chodzi natomiast o bezpieczeństwo i generowanie toksycznych treści, tutaj również mamy bardzo dużo pracy. Jest to szczególnie istotne, dlatego że administracja publiczna wykorzystuje PLLuM także w bezpośrednim kontakcie z obywatelami. Model może pełnić funkcję wirtualnego urzędnika. Przykładowo, Urząd Miasta Gdyni udostępnił PLLuM na swojej stronie internetowej, żeby odpowiadał na pytania mieszkańców.

Jeżeli więc administracja publiczna wystawia taki model bezpośrednio na zewnątrz, musi mieć pewność, że będzie on odpowiadał w bezpieczny sposób. Gdyby ktoś zapytał na przykład, jak podrobić dowód osobisty, dużym problemem byłoby, gdyby model zaczął udzielać szczegółowych instrukcji.

Dlatego bardzo mocno pracujemy w NASK również nad tym aspektem bezpieczeństwa. Model musi wiedzieć, kiedy powinien odmówić odpowiedzi. Uczymy go tego między innymi poprzez pokazywanie mu zarówno właściwych, jak i niewłaściwych odpowiedzi. W ten sposób model uczy się rozpoznawać treści toksyczne czy niebezpieczne oraz tego, jaka powinna być prawidłowa reakcja, czyli na przykład odmowa udzielenia odpowiedzi.

To również jest ogromna ilość pracy, którą wkładamy w odpowiednie zabezpieczenie modeli i przygotowanie ich do bezpiecznego wykorzystania przez administrację publiczną.

Jakie zastosowania PLLuM najbardziej Państwa zaskoczyły lub okazały się szczególnie wartościowe dla użytkowników? 

Tak, największym wdrożeniem, które ma chyba największy wpływ na nasze społeczeństwo, jest wdrożenie PLLuM do aplikacji mObywatel. W aplikacji znajdziemy specjalną ikonkę, pod którą działa PLLuM. Możemy za jego pośrednictwem zadawać pytania dotyczące administracji publicznej czy samego mObywatela. To zdecydowanie nasze najbardziej widoczne i szeroko dostępne wdrożenie.

Jeżeli chodzi o administrację publiczną, PLLuM jest wykorzystywany przede wszystkim jako wirtualny urzędnik. Model można udostępnić na stronie internetowej urzędu, żeby odpowiadał na pytania mieszkańców i pomagał im znaleźć potrzebne informacje.

Drugim ważnym zastosowaniem jest pomocnik urzędnika. W tym przypadku model instaluje się wewnątrz urzędu, gdzie wspiera pracowników w codziennej pracy. Może pomóc napisać pismo czy wiadomość e mail, sprawdzić informacje albo przygotować odpowiedź.

Do PLLuM można również podłączyć wewnętrzne bazy wiedzy i dokumenty. Dzięki temu urzędnik nie musi ręcznie przeszukiwać wielu dokumentów, żeby znaleźć konkretny regulamin czy potrzebną informację. Może po prostu zapytać model, na przykład o to, co znajduje się w danym regulaminie, a PLLuM wyszuka odpowiednie informacje i przedstawi je w przystępnej formie.

To są obecnie jedne z najważniejszych zastosowań i kierunków rozwoju PLLuM w administracji publicznej.

Jak dziś wygląda współpraca między nauką, administracją publiczną i biznesem przy rozwoju polskich modeli AI?

Jeżeli chodzi o sferę naukową, to właściwie z niej się wywodzimy. W zeszłym roku NASK objął kierowanie projektem, a ponieważ jest instytutem badawczym, mamy w zespole również naukowców. Samo tworzenie modeli językowych nie jest zresztą wyłącznie kwestią inżynierii. To również obszar badawczy, w którym wciąż jest wiele ciekawych i nieodkrytych zagadnień. Dlatego w ramach projektu prowadzimy również dużo badań.

W współtworzeniu modeli uczestniczyły również uniwersytety, politechniki i instytuty PAN angażując swoje wysokie kompetencje w obszarze przetwarzania języka naturalnego

Jeżeli chodzi o administrację publiczną, regularnie spotykamy się z jej przedstawicielami i pytamy, jakich rozwiązań i kompetencji potrzebują. W pewnym sensie to właśnie administracja wyznacza nam kierunek rozwoju. Jest dla nas inspiracją, ale też głównym odbiorcą projektu, dlatego chcemy przede wszystkim odpowiadać na jej realne potrzeby.

Jeżeli natomiast chodzi o biznes, to tutaj nie mamy jeszcze aż tak wielu bezpośrednich kontaktów. Docierają do nas jednak informacje, że kolejne firmy wdrażają i wykorzystują modele PLLuM, co oczywiście bardzo nas cieszy.

Jakie nowe funkcjonalności lub kierunki rozwoju PLLuM są obecnie priorytetem dla zespołu?

Cyklicznie wypuszczamy nowe modele. Na ten moment mamy ich już ponad trzydzieści. To nie jest więc jeden model PLLuM, tylko cała rodzina modeli o różnych możliwościach i zastosowaniach.

Po pierwsze, regularnie publikujemy nowe wersje, ponieważ cały czas je dotrenowujemy i uzupełniamy o nowe dane. Modele mają tak zwane odcięcie wiedzy, czyli ich wiedza obejmuje informacje dostępne do momentu zakończenia danego procesu treningowego. Kiedy model zostanie już wytrenowany i udostępniony, jego wiedza nie aktualizuje się automatycznie. Dlatego musimy stale pracować nad kolejnymi wersjami i aktualizować modele.

Cały czas rozwijamy też nowe kompetencje. Jedną z ciekawszych nowości, które planujemy udostępnić do końca roku, jest możliwość pracy z obrazami. PLLuM będzie miał zdolność rozumienia treści wizualnych, czyli będzie można przesłać mu zdjęcie i zapytać na przykład, co się na nim znajduje.

Mamy już w zespole specjalną grupę, która zajmuje się tym obszarem i rozwija tak zwany model wizyjny. To kolejny ważny kierunek rozwoju PLLuM.

Co, Pani zdaniem, mogłoby najbardziej przyspieszyć wdrażanie polskich modeli językowych w biznesie?

Obecnie największą barierą we wdrażaniu modeli językowych jest ograniczony dostęp do odpowiedniej infrastruktury obliczeniowej. Wynika to przede wszystkim z wysokich cen kart graficznych, bez których trudno uruchomić model w firmie na własnym sprzęcie.

Druga kwestia to kompetencje. Pobierając otwarty model językowy, firma otrzymuje w gruncie rzeczy sam silnik. Żeby jednak samochód ruszył z miejsca, ten silnik trzeba obudować: zintegrować go z firmowymi danymi i systemami, zadbać o bezpieczeństwo, przetestować jakość odpowiedzi. To wymaga specjalistycznej wiedzy i doświadczonego zespołu technicznego, którego wiele organizacji po prostu nie ma.

Rozwiązaniem są gotowe produkty zbudowane na modelach językowych, które znacząco skracają drogę do wdrożenia. W dłuższej perspektywie liczę też na dwa zjawiska: spadek cen kart graficznych oraz rozwój mniejszych, wyspecjalizowanych modeli, które poradzą sobie z konkretnymi zadaniami na znacznie tańszym sprzęcie.

Dziękuję za rozmowę! 

Cykl rozmów „Start z polskim AI – od pomysłu do wdrożenia” jest realizowany w ramach programu Centrum Kompetencji AI.