Start z polskim AI – od pomysłu do wdrożenia #Czympojadę.pl

Start z polskim AI to cykl rozmów, którego celem jest przedstawienie doświadczeń związanych z polskimi modelami językowymi AI oraz praktykami firm i instytucji we wdrażaniu tych rozwiązań. Zapraszamy do rozmowy z Pawłem Mamcarzem, twórcą serwisów opartych o LLM. W swoich projektach wykorzystuje model Bielik do tworzenia i analizy treści, łącząc AI z metodami analitycznymi i uczeniem maszynowym.

Dlaczego zdecydowałeś się wdrożyć model Bielik i jakie były Twoje główne motywacje biznesowe?

Decyzja o wyborze Bielika nie była dla mnie oczywista ani natychmiastowa. Początkowo traktowałem go raczej z dystansem - gdzieś obiło mi się o uszy, że powstał polski model językowy, ale byłem sceptyczny co do jego jakości. Dziś mogę powiedzieć, że te obawy zupełnie się nie potwierdziły.

Żeby lepiej to wyjaśnić, warto najpierw powiedzieć, do czego w ogóle potrzebowałem modelu. Prowadzę kilka serwisów internetowych, z których najważniejsze to czympojade.pl, akrobacja.com i przypominamy.com - platforma pomagająca użytkownikom podejmować decyzje dotyczące zakupu i użytkowania samochodów na podstawie całkowitych kosztów. System opiera się na zaawansowanych modelach matematycznych i jest całkowicie niezależny - nie promuje konkretnych marek czy dealerów.

W praktyce oznacza to pracę na bardzo dużych zbiorach danych - z rynku polskiego, niemieckiego i brytyjskiego. Dane pochodzą z wielu źródeł: regulacji, ofert rynkowych, opinii użytkowników. Duża część tych treści jest po polsku i to właśnie tutaj pojawił się kluczowy problem.

Modele globalne radzą sobie dobrze z językiem angielskim czy niemieckim, ale ich zrozumienie języka polskiego jest ograniczone. Udział języka polskiego w danych treningowych globalnych modeli to ułamek procenta - i to czuć w jakości. Bielik natomiast jest modelem tworzonym z myślą o polskich realiach i danych, co w moim przypadku miało ogromne znaczenie.

Drugim istotnym czynnikiem były koszty. Przy większej skali - setkach zapytań tygodniowo, korzystanie z komercyjnych modeli zaczyna być odczuwalnym wydatkiem. W początkowej fazie biznesu trudno uzasadnić przeznaczanie dużej części przychodu na przetwarzanie zapytań. Wdrożenie modelu lokalnego pozwoliło mi znacząco ograniczyć te koszty.

Jaką konkretną potrzebę Bielik rozwiązał w Twoim narzędziu?

Ta potrzeba jest wielowarstwowa. Po pierwsze ekonomiczna, o której już wspomniałem. Po drugie funkcjonalna.

Tworzę w swoich serwisach treści na podstawie wielu źródeł. Muszą być one wysokiej jakości, ponieważ zakładam maksymalną automatyzację procesów - od komunikacji marketingowej, przez obsługę użytkowników, po analizę danych wejściowych.

Model musi rozumieć kontekst, np. zmiany w przepisach - i przetwarzać je na zrozumiałe komunikaty. W praktyce wygląda to tak, że globalny model generuje odpowiedź poprawną językowo, ale często ogólną lub niedokładną. Bielik natomiast potrafi przełożyć te informacje na język bliższy lokalnym realiom, na przykład taki, jakiego używałaby księgowa czy doradca podatkowy.

Wykorzystuję go zarówno do generowania treści, jak i ich analizy. Działa jako narzędzie typu RAG - dostarczam mu konkretne dane, a on je interpretuje i przekształca w użyteczne informacje.

Dodatkowo, dzięki pracy na własnym zestawie danych i przykładów, udało się osiągnąć bardziej naturalny styl wypowiedzi. Unikam typowych „AI-owych” konstrukcji i powtarzalności treści są bliższe temu, jak pisze człowiek.

Jak wyglądał proces wdrożenia – od pomysłu do uruchomienia?

W moim przypadku wdrożenie było relatywnie proste, ponieważ dysponowałem już odpowiednią infrastrukturą. Wykorzystałem sprzęt, który wcześniej służył m.in. do innych zastosowań. Po niewielkiej modernizacji był w stanie obsługiwać model lokalnie.

Proces wyboru poprzedziłem testami kilku różnych modeli, m.in. Mistral czy innych rozwiązań open source. Ostatecznie Bielik okazał się najlepiej dopasowany - zarówno pod względem jakości pracy z językiem polskim, jak i wydajności na dostępnym sprzęcie.

Architektonicznie oparłem rozwiązanie o własny „router LLM”, który pozwala mi podłączać różne modele i skalować system w przyszłości - np. poprzez dodanie kolejnych maszyn bez konieczności przebudowy całej infrastruktury.

Czy podczas wdrożenia pojawiły się wyzwania?

Największym wyzwaniem nie była sama integracja, ale jakość generowanych treści.

W przypadku modeli globalnych szybko zauważyłem powtarzalne schematy i charakterystyczny styl, który jest łatwy do rozpoznania. Dla mnie było kluczowe, aby tworzone treści były naturalne i nie zdradzały automatycznego pochodzenia.

Osiągnąłem to poprzez odpowiednie przygotowanie danych wejściowych i kontrolę nad tym, jak model pracuje - zamiast polegać na ogólnych promptach, operuję na konkretnych, dostarczanych danych.

Pewnym ograniczeniem pozostaje długość generowanych tekstów - przy bardzo długich formach jakość nadal potrafi spadać, ale w większości zastosowań nie jest to krytyczne.

Jak widzisz dalszy rozwój tego rozwiązania w najbliższej przyszłości?

Widzę trzy główne kierunki dalszego rozwoju, które chcę konsekwentnie rozwijać w kolejnych etapach projektu. Pierwszym z nich jest rozszerzenie zastosowania modelu, zarówno poprzez jego wdrażanie w innych serwisach, które już prowadzę, jak i rozwijanie nowych funkcjonalności, które pozwolą jeszcze szerzej wykorzystać jego możliwości w codziennym działaniu systemów.

Drugim obszarem jest lepsze dopasowanie rozwiązań do użytkownika. Zależy mi na tym, aby model nie opierał się wyłącznie na twardych danych i algorytmach, ale potrafił uwzględniać również bardziej subtelne aspekty, takie jak indywidualne preferencje czy sposób podejmowania decyzji przez użytkownika. To kierunek bardziej zaawansowany, ale jednocześnie bardzo istotny z punktu widzenia realnej wartości dla odbiorcy.

Trzeci kierunek dotyczy rozwoju multimodalności oraz automatyzacji tworzenia dokumentów. Chodzi m.in. o generowanie spersonalizowanych ofert, analiz czy zestawień w formie PDF lub innych formatów, dostosowanych do konkretnego przypadku. W dłuższej perspektywie widzę tu duży potencjał do budowania bardziej złożonych, ale jednocześnie w pełni zautomatyzowanych procesów obsługi użytkownika.

Co Twoim zdaniem najbardziej przyspieszyłoby adopcję polskich modeli językowych w biznesie?

Moim zdaniem kluczowym czynnikiem jest dostępność mocy obliczeniowej udostępnionej np. w formie dotacji na uruchomienie serwisów bazujących na local content. Same modele są już dostępne i coraz bardziej dopracowane, natomiast realną barierą pozostaje infrastruktura niezbędna do ich efektywnego wykorzystania. W praktyce wiele firm, szczególnie mniejszych, nie ma możliwości swobodnego eksperymentowania z tymi rozwiązaniami właśnie ze względu na ograniczony dostęp do odpowiednich zasobów technologicznych.

Gdyby dostęp do mocy obliczeniowej był prostszy, na przykład w formie współdzielonych środowisk lub infrastruktury oferowanej w modelu usługowym, to wdrożenia stałyby się znacznie łatwiejsze, szybsze i bardziej opłacalne. To mogłoby istotnie obniżyć próg wejścia dla firm, które dziś widzą potencjał w wykorzystaniu modeli językowych, ale nie są w stanie go w pełni wykorzystać operacyjnie.

Drugim istotnym aspektem jest kwestia kosztów i niezależności biznesowej. Wiele organizacji nie chce uzależniać kluczowych procesów od zewnętrznych dostawców, szczególnie jeśli wiąże się to z rosnącymi i trudnymi do przewidzenia opłatami. Lokalne modele, takie jak Bielik, pozwalają na większą kontrolę nad kosztami oraz sposobem ich wykorzystania, co z perspektywy biznesu ma bardzo duże znaczenie.

Oczywiście istotną rolę odgrywa również edukacja rynku - zwiększanie świadomości tego, jak te modele działają i w jaki sposób można je praktycznie wdrażać. Jednak z mojego punktu widzenia dostępność infrastruktury i możliwość realnego przetestowania rozwiązań na własnych danych są czynnikami, które mogą najszybciej przełożyć się na ich szerszą adopcję w biznesie.

Dziękujemy za rozmowę! 

Cykl rozmów „Start z polskim AI – od pomysłu do wdrożenia” jest realizowany w ramach programu Centrum Kompetencji AI.