Start z polskim AI. Od pomysłu do wdrożenia #CUI Wrocław

Start z polskim AI to cykl rozmów, którego celem jest przedstawienie doświadczeń związanych z polskimi modelami językowymi AI oraz praktykami firm i instytucji we wdrażaniu tych rozwiązań. Zapraszamy do rozmowy z Łukaszem Piwnickiem, Koordynatorem Zespołu ds. Rozwoju Usług Cyfrowych w Centrum Usług Informatycznych we Wrocławiu.

Czym zajmuje się Centrum Usług Informatycznych i jaką rolę odgrywa w rozwoju technologii cyfrowych w administracji publicznej? Czy w obszarze sztucznej inteligencji CUI koncentruje się na tworzeniu własnych, autorskich rozwiązań, czy raczej stawia na współpracę z polskimi modelami językowymi, takimi jak PLLuM czy Bielik? Jak ważna jest dla Państwa ta współpraca z krajowym ekosystemem AI?

Centrum Usług Informatycznych we Wrocławiu zapewnia obsługę Urzędu Miejskiego Wrocławia w obszarze IT, zarówno po stronie sprzętowej jak i oprogramowania. Pełnimy również rolę centrum usług wspólnych dla obszaru edukacji, gdzie obecnie obsługujemy około 250 jednostek oświatowych.

Współpracujemy również ze spółkami miejskimi, choć ta współpraca ma raczej charakter wymiany doświadczeń i pojedynczych projektów realizowanych w ograniczonym zakresie.

Jeśli chodzi o sztuczną inteligencję, zajmujemy się tym tematem od dłuższego czasu.

Momentem, który realnie zapoczątkował myślenie o budowie własnych rozwiązań, był kwiecień 2024 roku. Jako członek społeczności SpeakLeash zostałem zaproszony do współpracy przy raporcie „Użyteczność biznesowa dużych modeli językowych (LLM)” i przy okazji urodził się pomysł, aby wykorzystać LLM Bielik w jakimś rozwiązaniu w mieście. Z pomysłem poszedłem do Dyrektora Centrum Usług Informatycznych we Wrocławiu – Tymoteusza Przybylskiego i tak urodził się projekt. Zorganizowaliśmy spotkanie z Sebastianem Kondrackim i zespołem Fundacji SpeakLeash.  W efekcie powstał projekt realizowany w formule trójstronnej. Z jednej strony było Centrum Usług Informatycznych we Wrocławiu (CUI), z drugiej Fundacja SpeakLeash odpowiedzialna za model językowy Bielik, a z trzeciej zewnętrzny wykonawca komercyjny, który realizował znaczną część prac technicznych.

Takie podejście było celowe. Chcieliśmy, żeby to był nasz pierwszy, startowy projekt, na którym będziemy mogli się nauczyć, zrozumieć ograniczenia technologii, popełnić błędy i wyciągnąć z nich wnioski. Mieliśmy na to przestrzeń i świadomie z niej skorzystaliśmy.

Prace trwały ponad pół roku, a największym wyzwaniem okazało się znalezienie właściwego biznes case’u, który realnie odpowiadałby na potrzeby biznesowe, a jednocześnie pozwalał sensownie wykorzystać potencjał polskiego modelu językowego.

Czy w tym projekcie mieliście już konkretnego klienta, czy był to projekt realizowany wewnętrznie? Czy odbiorcą był Urząd Miasta, czy raczej traktowaliście to jako inicjatywę pilotażową po stronie CUI?

Centrum Usług Informatycznych działa jak już wspominałem jako centrum usług wspólnych i w tej roli mamy między innymi własny zespół Radców Prawnych.

W praktyce wygląda to tak, że jeżeli dyrektor szkoły chce zawrzeć jakąkolwiek umowę, na przykład na wynajem sali, dostęp do Internetu, sprzątanie, ochronę, transport, wycieczkę czy dowolną inną usługę, musi uzyskać opinię radcy prawnego. To generowało bardzo dużą liczbę wymian mailowych, takiego klasycznego ping ponga i mocno obciążało zespół prawny. W efekcie prowadziło to do przestojów, wydłużenia procesów, a czasem także do problemów jakościowych w samych umowach.

Podeszliśmy do tego w taki sposób, że założyliśmy, iż przy wykorzystaniu sztucznej inteligencji jesteśmy w stanie jednocześnie odciążyć radców prawnych i poprawić jakość dokumentów. W tym kontekście naturalnie pojawił się temat polskiego modelu językowego Bielik. W momencie, gdy rozpoczynaliśmy prace, dostępna była wersja 2.2, a wcześniej wersja 2.0, i na tamten czas wydawało się, że właśnie pod kątem analizy i wsparcia pracy na umowach będzie to najlepszy wybór. Docelowo tak się okazało, jednak nie obyło się bez wcześniejszej dużej ilości pracy, którą wykonali przede wszystkim Radcy Prawni oraz zespół. Model dobrze radził sobie z językiem prawnym, z kontekstem administracyjnym i ze specyfiką dokumentów wynikającą z charakteru pracy jednostek oświatowych. Na tej podstawie rozpoczęliśmy prace nad rozwiązaniem, traktując je jako bardzo konkretny przypadek użycia, który wynikał bezpośrednio z realnych potrzeb operacyjnych.

Czyli na początku szukaliście biznes case’ów? Bo to zazwyczaj jest jeden z najdłuższych i najtrudniejszych etapów w organizacji.

Tak, to faktycznie trwało około pół roku i wartość biznesowa była jednym z kluczowych aspektów, na który zwracaliśmy uwagę. Istotne było to, żeby nie robić projektu tylko po to, żeby powiedzieć, że zrobiliśmy kolejny projekt z AI. Zależało nam na realnej wartości biznesowej, takiej, która faktycznie coś zmienia, a nie tylko dobrze wygląda w prezentacji. Przez dłuższy czas szukaliśmy odpowiedniego biznes case’u. Analizowaliśmy różne możliwości i uczciwie mówiąc, było sporo wątpliwości. Nie chcieliśmy sytuacji, w której ktoś powie: dobrze, fajnie, ale przecież wcześniej też jakoś to robiliśmy i w sumie nic się nie zmieniło. W końcu podjęliśmy decyzję, że zaczniemy od problemu, który może nie był najprostszy, ale na tamten moment był najbardziej uzasadniony i rzeczywiście dotykał realnego bólu organizacji. Istotnym aspektem było również kwestia naszego podejścia, że jeśli coś da się rozwiązać bez użycia sztucznej inteligencji, to po prostu to robimy. Jest to związane z faktem, iż dysponujemy zespołem IT liczącym blisko 100 osób. Mamy testerów, deweloperów, zespół cyberbezpieczeństwa, UX, dostępności, własną infrastrukturę, administratorów systemów. Jesteśmy w zasadzie samowystarczalni end to end. AI miała być kolejną cegiełką do budowania kompetencji, a nie celem samym w sobie. Chcieliśmy się nauczyć, jak takie projekty robić, żeby w przyszłości móc realizować je samodzielnie.

Kiedy już wybraliśmy biznes case, bardzo szybko zderzyliśmy się z klasycznymi problemami projektów AI. Podzieliłbym je na cztery główne obszary. Pierwszy to infrastruktura. Od początku założyliśmy, że rozwiązanie musi być on premise. Dane muszą zostać u nas, musimy mieć pełną kontrolę nad systemem i infrastrukturą. To oznaczało konieczność zakupu GPU, bo model językowy bez tego po prostu nie ma racji bytu. Mieliśmy dobre zasoby serwerowe, ale musieliśmy je dodatkowo rozbudować.

Drugi obszar to dane. I to okazało się jednym z większych wyzwań. Oczywiście mamy hurtownię danych, mamy otwarte dane, różne repozytoria, ale ten konkretny biznes case wymagał bardzo specyficznych danych, których nie da się po prostu pobrać z dnia na dzień. Zbudowaliśmy więc bazę wzorcowych umów. Radcy prawni wykonali ogromną pracę. Przejrzeli kilka lat swojej pracy, wyciągnęli wzorce umów, wyczyścili je z danych wrażliwych, uzupełnili danymi syntetycznymi i w ten sposób powstał data set z prawdziwego zdarzenia.

Trzeci obszar to jakość działania samego modelu językowego. Doszliśmy do wniosku, że potrzebujemy bazy zasad, która będzie wyznacznikiem dla dyrektorów jednostek oświatowych analizujących swoje umowy. Postawiliśmy warunek, że model językowy sam zbuduje te zasady, a następnie zostaną one subiektywnie ocenione przez zespół radców prawnych. Ustaliliśmy minimalny próg jakości na poziomie 60 procent, czyli 6 na 10 w subiektywnej skali.

Po analizie kilkuset umów okazało się, że średnia ocena wyniosła około 50 procent. Były zasady bardzo słabe, ale były też takie oceniane bardzo wysoko. Stanęliśmy przed decyzją biznesową, czy projekt w ogóle ma sens w tej formie. Zdecydowaliśmy się podejść do tego kreatywnie. Wprowadziliśmy ręczny fine tuning zasad przy wsparciu radców prawnych i po ponownej ocenie przekroczyliśmy założony próg jakości.

Czwarty obszar to kompetencje i współpraca zespołów. Projekt realizowały trzy strony, każda z własnym zespołem, własnymi priorytetami i sposobem pracy. Wszyscy uczyliśmy się, jak prowadzić takie projekty w praktyce. Były momenty trudne, były też zabawne sytuacje, ale ostatecznie została satysfakcja, realnie zdobyte kompetencje i bardzo dobra współpraca z zespołem Fundacji Spichlerz odpowiedzialnym za Bielika oraz wykonawcą zewnętrznym.

Dzięki temu możemy dziś powiedzieć, że było to pierwsze wdrożenie modelu Bielik w administracji samorządowej. To był projekt startowy, który otworzył nam drogę do kolejnych inicjatyw. W międzyczasie pojawiło się bardzo dużo nowych pomysłów i możliwości wykorzystania sztucznej inteligencji w administracji publicznej, a samo poszukiwanie właściwych biznes case’ów przestało być największym problemem.

Czy ten projekt miał jasno zdefiniowany business case i czy po wdrożeniu udało się potwierdzić jego opłacalność, na przykład w postaci mniejszej liczby zapytań lub odciążenia pracowników?

Można powiedzieć, że tak. Istotne jest to, że projekt przeszedł w kolejne fazy i obecnie pracujemy nad kolejnymi funkcjonalnościami. Jednocześnie do CUI trafiają też różne inicjatywy z miasta, gdzie planuje się wykorzystać AI.

Dla przykładu jedna z większych firm IT w Polsce dostarcza system rekrutacyjny i pojawił się pomysł, żeby uruchomić chatbota, który odpowiadałby na najczęściej zadawane pytania, takie klasyczne FAQ. We Wrocławiu lubimy testować nowe rozwiązania i robić pewne rzeczy jako pierwsi, dlatego właściciel biznesowy systemu po stronie departamentu bardzo szybko podjął wyzwanie. W ramach tego projektu został wdrożony model językowy i co ciekawe, był to po prostu ChatGPT. Jako Centrum Usług Informatycznych byliśmy wtedy trochę z boku tego projektu. Nie byliśmy bezpośrednim wykonawcą, ale pełniliśmy rolę doradczą, wspierając zespół merytorycznie przy podejmowaniu decyzji dotyczących takiego wykorzystania sztucznej inteligencji.

W przypadku prawników mówimy raczej o asystencie dopasowanym do konkretnych potrzeb i kontekstu pracy, natomiast w obszarze przedszkoli czy rekrutacji chatbot z odpowiedziami na najczęstsze pytania wydaje się rozwiązaniem idealnym do szerokiego skalowania. Jak do tego podchodzicie?

Tak, to rozwiązanie jest zdecydowanie skalowalne. Jeśli chodzi o losy samego projektu, to w tym przypadku nie mam pełnej wiedzy operacyjnej, natomiast pojawił się tam bardzo ciekawy i mocny wskaźnik. Liczba zapytań kierowanych przez rodziców w obszarze tych najbardziej typowych pytań spadła o około 70 procent. To jest ogromna zmiana i bardzo wyraźny efekt biznesowy.

Moim zdaniem to jeden z lepszych projektów, jakie udało się zrealizować w tym obszarze, właśnie dlatego, że przyniósł bardzo konkretne korzyści. Departament edukacji poszedł za ciosem i realizuje obecnie kolejne inicjatywy, natomiast nie jestem upoważniony, żeby mówić o nich szczegółowo. One wkrótce pojawią się w przestrzeni publicznej i są naprawdę bardzo ciekawe.

Wracając do projektu dla Radców Prawnych, od którego wszystko się zaczęło, on formalnie się zakończył, ale zrealizowaliśmy go w bardzo krótkim czasie. Od startu do wdrożenia minęło około sześciu do ośmiu tygodni. Nie nazwałbym tego POC, raczej Proof of Value. Po pierwszych testach i po zobaczeniu, jak to rozwiązanie działa w praktyce, podjęliśmy decyzję, że zaczynamy je skalować. Końcówka 2024 roku i cały 2025 rok upłynęły nam na tym, żeby to rozwiązanie odpowiednio dopracować, ustabilizować i przygotować do większej skali. Dodaliśmy nowe funkcjonalności i równolegle inwestowaliśmy w infrastrukturę, co było konieczne, ale też w pewnym momencie trochę nas spowolniło. Dziś jesteśmy już na etapie skalowania tego rozwiązania na większą liczbę jednostek oświatowych.

Równolegle pojawiają się kolejne pomysły i biznes case’y. Myślimy o wewnętrznych knowledge botach, pracujemy nad voice botami i chatbotami dla naszych klientów, a także nad bardziej złożonymi przypadkami użycia. Za każdym razem podchodzimy do tego w ten sam sposób. Powołujemy wewnętrzny zespół, analizujemy potrzeby i dopiero wtedy dobieramy model, który najlepiej pasuje do danego przypadku. Nie zamykamy się na jedno rozwiązanie ani na jeden model. Liczy się skuteczność, bezpieczeństwo i realna wartość dla organizacji.

Czy te potrzeby i projekty dotyczą głównie rozwiązań skierowanych na zewnątrz, do użytkowników i klientów administracji publicznej, czy równie mocno rozwijacie wewnętrzne rozwiązania AI i technologiczne wspierające pracę urzędu i jednostek? Jak wygląda ten podział w praktyce?

To może zacznę od tego, co się w ogóle wydarzyło. Obserwując wysyp przeróżnych rozwiązań opartych o sztuczną inteligencję oraz propozycje, z którymi przychodzą firmy technologiczne do administracji publicznej, także do Wrocławia, doszliśmy do wniosku, że potrzebny jest mechanizm, który pozwoli te pomysły w sposób uporządkowany oceniać. Nie mam absolutnie nic przeciwko firmom, które przychodzą i obiecują różne rzeczy. To jest naturalne. Natomiast administracja musi mieć zdolność do chłodnej, merytorycznej oceny takich inicjatyw.

W związku z tym, decyzją Prezydenta Miasta Wrocławia, został powołany zespół odpowiedzialny za wdrożenia rozwiązań opartych o komponent AI. Jestem jednym z członków tego zespołu. Przewodniczącym jest dyrektor Centrum Usług Informatycznych – Tymoteusz Przybylski. W skład zespołu wchodzą osoby z urzędu, ze spółek miejskich oraz z CUI. Kluczową rolę odgrywa w nim również Inspektor Ochrony Danych Osobowych Urzędu Miejskiego we Wrocławiu. Zwracam na to uwagę celowo, bo do kwestii danych osobowych i cyberbezpieczeństwa podchodzimy bardzo poważnie.

To jest przestrzeń, do której trafiają tzw. karty inicjatyw AI. To nie są wyłącznie projekty technologiczne, ale również pomysły, koncepcje, szkolenia czy tematy do przedyskutowania. Mamy zdefiniowaną ścieżkę analizy takich inicjatyw. Oceniamy realną wartość biznesową, ryzyka, zgodność z regulacjami, w tym z AI Actem, oraz dojrzałość organizacyjną. Czasami decyzja jest pozytywna, a czasami mówimy wprost, że to nie jest ten moment, bo wartość biznesowa nie jest jeszcze wystarczająca, aby angażować zasoby. To jest dla nas bardzo ważne.

Jak w praktyce wygląda dalszy los takich inicjatyw? Co decyduje o tym, że projekt przechodzi do realizacji?

Równolegle dużo rozmawiamy z innymi samorządami. Zorganizowaliśmy we Wrocławiu konferencję poświęconą przyszłości AI w samorządzie i na bazie tych rozmów zaczęliśmy budować wspólne podejście. Widzimy, że ta ścieżka bardzo interesuje inne miasta i coraz częściej słyszymy pytania, jak to u nas działa.

Jeśli chodzi o same wdrożenia, mamy kilka modeli działania. Czasami realizujemy projekty samodzielnie jako CUI. Czasami robimy je wspólnie z partnerem zewnętrznym, firmą technologiczną. Innym razem wspieramy departament lub biuro, które samo wychodzi z inicjatywą i chce coś wdrożyć. Wtedy jesteśmy obok, doradzamy, pomagamy merytorycznie lub infrastrukturalnie.

Trzeba pamiętać, że jesteśmy in house’owym software house’em miasta. Dostarczamy rozwiązania zarówno dla klienta rozumianego jako urząd czy jednostki miejskie, jak i dla siebie samych. Budujemy rozwiązania po to, żeby je przetestować, sprawdzić ich sensowność i dopiero potem ewentualnie skalować na urząd lub inne jednostki.

Dobrym przykładem będzie budowany przez nas knowledge bot, który będzie działał na naszej infrastrukturze i na wybranym przez nas modelu językowym. Mamy tu pełną swobodę wyboru. Testujemy różne modele open source, takie jak Bielik czy Plum, ale też inne dostępne rozwiązania. Wszystko, co jesteśmy w stanie uruchomić u siebie, testujemy w praktyce. Mamy też doświadczenia, w których projekt został zamrożony, bo jakość odpowiedzi modelu była niewystarczająca i nie dostarczała nawet wartości good enough. To się zdarza i traktujemy to jako element procesu uczenia się.

Widzimy też dużą przestrzeń do budowy bardziej zaawansowanych rozwiązań, na przykład opartych o agentów. Jednocześnie działamy w sektorze silnie regulowanym i mamy bardzo jasną zasadę human in the loop. Nie ma możliwości, żeby sztuczna inteligencja samodzielnie podejmowała decyzje czy generowała oficjalne pisma bez weryfikacji.

Równolegle pracujemy nad miejską polityką AI. To dokument, który powstaje w ramach prac zespołu i jesteśmy już na ostatniej prostej. Dokument będzie podlegał konsultacjom, zarówno wewnętrznym jak i zewnętrznym.

Są jeszcze trzy rzeczy, na które chciałbym zwrócić uwagę. Po pierwsze, bardzo mocno wierzymy we współpracę między samorządami. Nie ma sensu wymyślać koła od nowa. Stąd cykl spotkań i konferencji poświęconych AI w samorządach, które odbyły się już w Warszawie, Wrocławiu i Krakowie, a kolejne są planowane cyklicznie, co najmniej raz na kwartał.

Po drugie, budując lub kupując rozwiązania, zakładamy, że licencje powinny umożliwiać dzielenie się nimi z innymi samorządami, na przykład w formule licencji niewyłącznej. Już dziś rozmawiamy o tym z innymi samorządami. Chodzi o synergię i wspólne budowanie lepszych rozwiązań.

Po trzecie, wypracowaliśmy coś, co nazywamy Mapą Kompetencji AI. To narzędzie, które pozwala miastom samodzielnie zaznaczać, nad jakimi rozwiązaniami pracują. To daje obraz dojrzałości AI w samorządach i ułatwia współpracę. To rozwiązanie jest już prawie gotowe i traktujemy je jako kolejny element budowania wspólnego ekosystemu wiedzy o wdrożeniach AI w administracji publicznej.

Dlaczego zdecydowaliście się postawić na Bielika? Czy kluczowe były kwestie bezpieczeństwa, jakości języka polskiego i zgodności z regulacjami? Czy Bielik pozostanie dla was ważnym kierunkiem także w kolejnych projektach AI?

Postawiliśmy na Bielika, bo po pierwsze mieliśmy pełną transparentność i wsparcie ze strony Fundacji SpeakLeash. Mieliśmy pewność, że jesteśmy w stanie dowiedzieć się wszystkiego o modelu, zadać każde pytanie i zrozumieć, jak on działa. To było dla nas bardzo ważne z perspektywy administracji publicznej.

Po drugie, Bielik był na tyle przystępny technologicznie, że mogliśmy bezpiecznie uruchomić go na własnej infrastrukturze. Nie wymagał ogromnych inwestycji sprzętowych, a to miało realne znaczenie przy pierwszym projekcie. Byliśmy w stanie to udźwignąć organizacyjnie i infrastrukturalnie.

Oczywiście analizowaliśmy i analizujemy także inne modele. Rozmawiamy o kolejnych projektach realizowanych we współpracy z administracją centralną, między innymi w oparciu o PLLuMa i te rozmowy są bardzo zaawansowane.

Wspieranie polskich modeli językowych jest dla nas ważne, ale nie jest celem samym w sobie. Za każdym razem podchodzimy do tego wielowymiarowo. Najważniejsza jest jakość i realna użyteczność rozwiązania. Jeżeli polski model odpowiada poprawnie na 95 procent zapytań, a zagraniczny na 90 procent, to wybór jest oczywisty. Jeżeli jednak jakość spada, szukamy dalej, niezależnie od pochodzenia modelu.

Dla nas kluczowe jest to, żeby rozwiązanie działało, było bezpieczne, zgodne z regulacjami i dawało realną wartość użytkownikom. Model jest środkiem do celu, nie celem samym w sobie.

Jakie największe wyzwania pojawiły się podczas realizacji tych projektów AI, zarówno po stronie technologicznej, jak i „miękkiej”, związanej ze zmianą kultury organizacyjnej w samorządzie?

To cały czas trwa, bo te wyzwania nie skończyły się wraz z pierwszym projektem. Na początku poszliśmy trochę pod prąd. Chcieliśmy po prostu sprawdzić, czy potrafimy robić takie projekty i czego się przy tym nauczymy. Bardzo szybko okazało się, że na każdym etapie trafialiśmy na klasyczne problemy wdrażania nowych technologii.

I tutaj kluczowa okazała się kwestia przywództwa. Musi być ktoś, kto ma wizję i daje zielone światło nie po to, żeby zdobywać laury, ale po to, żeby organizacja się nauczyła. W naszym przypadku taką rolę odegrał dyrektor CUI. Jak już wspominałem, kiedy pojawił się pomysł na pierwszy projekt, odpowiedź była prosta. Robimy. Bez długich analiz, bez szukania powodów, żeby się wycofać. To dało nam przestrzeń na popełnianie błędów i wyciąganie wniosków.

Ta otwartość i zgoda na eksperymentowanie były absolutnie kluczowe. W takich projektach problemy pojawiają się zawsze. Trzeba mieć odwagę, żeby się z nimi mierzyć, zamiast czekać na idealne warunki. Trochę zaczęliśmy działać, zanim wszyscy zdążyli się zastanowić, czy to na pewno ma sens. I paradoksalnie to nas zaprowadziło do miejsca, w którym jesteśmy dziś.

Dzisiaj przyjeżdżają do nas inne samorządy, regularnie dostaję pytania o to, jak zaczęliśmy, od czego wyszliśmy i co było kluczowe w pierwszym projekcie. To jest bardzo miłe, ale prawda jest taka, że my jesteśmy już kilka kroków dalej. Chętnie dzielimy się wiedzą, bo uważamy, że na tym etapie to ma największą wartość.

Jednocześnie mamy świadomość, że jako duży samorząd mamy inne możliwości niż mniejsze gminy. W rozmowach z administracja centralną i innymi samorządami bardzo wyraźnie widać, że mniejsze samorządy potrzebują wsparcia, nie tylko technologicznego, ale też organizacyjnego i kompetencyjnego. Często nie chodzi o to, żeby od razu wdrażać zaawansowane rozwiązania AI, tylko żeby wiedzieć, od czego zacząć i czego tak naprawdę na danym etapie się nie potrzebuje.

I to jest chyba największe wyzwanie miękkie. Zmiana myślenia. Przejście od lęku i niepewności do podejścia, w którym AI jest narzędziem do nauki i poprawy jakości pracy, a nie celem samym w sobie.

Technologia to nie tylko AI.

Dokładnie tak. Bardzo często tłumaczymy, że jeśli jakieś rozwiązanie ma po prostu „palić tokeny” na zewnętrznym serwerze, to trzeba się chwilę zatrzymać i zadać sobie pytanie, czy to w ogóle ma sens. Czasem zamiast zaawansowanego rozwiązania opartego o generatywną AI, lepiej sprawdzi się prostsze narzędzie, oparte na klasycznym machine learningu albo RPA, które obsłuży powtarzalne, cykliczne pytania.

Jeżeli dana jednostka ma dziesięć zapytań dziennie, to naprawdę nie ma sensu inwestować kilkuset tysięcy złotych w zaawansowanego chatbota. Wystarczy prosty formularz kontaktowy i jedna osoba do obsługi. My jako duży samorząd, taki jak Wrocław, mamy skalę rzędu nawet tysiąca zapytań dziennie i wtedy rozmowa wygląda zupełnie inaczej. Skala robi różnicę i to ona powinna determinować wybór technologii.

Bardzo często nasze rozmowy polegają na pokazaniu, że to, że inni mają AI nie znaczy, że my też musimy iść tą drogą. Naszą rolą jest pokazywać, że technologia ma sens tylko wtedy, gdy rozwiązuje realny problem, a nie wtedy, gdy jest modna.

Traktujemy to trochę jako naszą misję edukacyjną. Dużo o tym mówimy, tłumaczymy i pokazujemy przykłady. Równolegle rozwijamy współpracę w ramach aglomeracji wrocławskiej. Chodzi o to, żeby wspólnie się uczyć, dzielić doświadczeniami i budować kompetencje.

Duże miasta poradzą sobie z tym szybciej. Warszawa, Wrocław, Poznań, Gdańsk, Kraków czy Katowice mają skalę, zasoby i pracują nad kompetencjami. Mniejsze gminy będą potrzebowały więcej czasu i wsparcia. Ich problemy są bardzo podobne do naszych, ale budżety i tempo decyzyjne są inne, więc często muszą dwa razy dłużej zastanawiać się nad każdym wdrożeniem.

Po naszej stronie widzimy jednak jasno, że rozwiązania oparte o AI to będzie ważna część projektów IT w samorządach. To się nie zmieni w najbliższych latach. Kluczowe jest tylko to, żeby robić to rozsądnie, proporcjonalnie do potrzeb i bez ulegania chwilowej modzie.

Jakie przykłady zastosowań AI, o których możesz dziś mówić, dają według Was największą wartość?

Część tych rozwiązań jest jeszcze w trakcie realizacji, część już działa, a o części na razie nie mogę mówić. Natomiast jeśli miałbym wskazać obszary, w których dziś widzimy największą wartość, to na pierwszym miejscu jest zarządzanie wiedzą w organizacji. To jest temat, z którym praktycznie każda duża instytucja ma problem i tutaj AI daje bardzo realne korzyści.

Drugi obszar to przyspieszanie i automatyzacja powtarzalnych procesów. Co ważne, nie zawsze robimy to przy użyciu generatywnej AI. Bardzo często sięgamy po klasyczne RPA, czasem wzbogacane o elementy AI, żeby zwiększyć elastyczność takich rozwiązań. Kluczowe są tu kwestie bezpieczeństwa danych, zwłaszcza wtedy, gdy w grę wchodzą dokumenty wrażliwe.

Mieliśmy na przykład projekt związany z obsługą procesu, w którym pojawiały się pisma odręczne. Bardzo szybko okazało się, że nie możemy pozwolić sobie na przetwarzanie takich danych w chmurze czy na zewnętrznych serwerach. W efekcie podjęliśmy decyzję o zmianie kierunku i przeniesieniu całego rozwiązania na naszą własną infrastrukturę. To była decyzja stricte biznesowa, ale oparta przede wszystkim na bezpieczeństwie.

Widzimy ogromny potencjał w automatyzacji czasochłonnych procesów, które dziś obciążają pracowników. Tych projektów jest jednak bardzo dużo, portfel się mocno rozrósł i musimy je sensownie priorytetyzować. Dlatego nie chcemy opowiadać o inicjatywach, które są jeszcze w trakcie rozpoznania lub prac projektowych, bo wiemy, jak różnie potrafią się one zakończyć.

Czy mógłbyś opowiedzieć, na przykładzie jednego z ostatnich wdrożeń, jak wyglądał cały proces od pomysłu do uruchomienia? Ile to trwało i jakie kluczowe etapy obejmował taki projekt?

Trudno jednoznacznie wskazać, ile będzie trwał taki projekt – to jest bardzo zmienna kwestia. Jednak można próbować wyestymować jakieś przykładowe czasy na podstawie historycznych danych. Całe przejście procesu end to end może trwać od kilku miesięcy do nawet roku. Wszystko zależy od tego jaką specyfikę posiada projekt i jakie procesy biznesowe dotyka. Każdy z projektów jest inny, lecz można powiedzieć, że średni cykl dla projektu AI to dziś około 6 miesięcy do roku. Moim zdaniem to zdecydowanie za długo. Idealnie takie projekty powinny zamykać się w trzech do sześciu miesięcy, tak aby szybko przechodzić do realnego użycia i reagować na zmiany technologiczne. Tempo rozwoju modeli jest dziś tak duże, że rozwiązania projektowane przez wiele miesięcy mogą się zdezaktualizować jeszcze przed wdrożeniem.

Dlatego właśnie pracujemy nad powołaniem AI Lab. Jego celem będzie skrócenie time to market, szybsze testowanie pomysłów i sprawniejsze przechodzenie od idei do działania. Chodzi o to, żebyśmy nadążali za zmianami i nie budzili się w momencie, gdy technologia już odjechała, a my zostaliśmy z rozwiązaniem zaprojektowanym pod wczorajszą rzeczywistość.

Z Twojego opisu wynika, że sama implementacja techniczna to tylko część całego wysiłku. Co w praktyce pochłania najwięcej czasu i energii w takich projektach AI?

To jest w ogóle bardzo ciekawa obserwacja, że znaczną część całego procesu wdrożeniowego nie zajmuje sama implementacja techniczna, tylko wszystko to, co dzieje się wokół niej. Mam na myśli zgodność z przepisami, kwestie regulacyjne, bezpieczeństwo danych, ale też bardzo klasyczne pytania biznesowe, czyli czy to rozwiązanie ma sens i czy nam się to po prostu opłaca. W samorządzie, który jest mocno regulowanym środowiskiem, te aspekty są szczególnie istotne.

Dobrym przykładem jest jeden z projektów, w którym budowaliśmy chatbota. Nasi analitycy biznesowi bardzo dużo czasu poświęcili na przygotowanie całego kontekstu merytorycznego, w tym listy pytań i scenariuszy, na które model językowy powinien odpowiadać. Samo to przygotowanie zajęło sporo czasu, ale kluczowe było coś innego.

Po zebraniu tych wymagań okazało się, że wybór odpowiedniego modelu językowego wcale nie jest oczywisty. Testowaliśmy różne opcje i finalnie sam proces dojścia do decyzji, który model najlepiej, najszybciej i najbardziej stabilnie odpowiada na tego typu pytania, zajął nam około dwóch miesięcy. To bardzo dobrze pokazuje, że w projektach AI największym wyzwaniem nie jest samo „postawienie” rozwiązania, tylko cała praca koncepcyjna, analityczna i decyzyjna, która musi wydarzyć się wcześniej.

Czy mierzycie efektywność wdrożeń AI? Jakie wskaźniki są dla Was najważniejsze, na przykład oszczędność czasu, poprawa jakości obsługi czy odciążenie pracowników?

Patrzymy na to trochę od innej strony. Samorządy w praktyce konkurują między sobą głównie jednym obszarem i jest nim jakość życia mieszkańców. To jest dla nas kluczowy punkt odniesienia. Jeżeli dzięki technologii jesteśmy w stanie przyspieszyć obsługę mieszkańców, poprawić jej jakość i sprawić, że komunikacja z urzędem jest prostsza i bardziej zrozumiała, to jest realna wartość.

Dlatego mierzymy efekty bardzo konkretnie. Patrzymy na czas obsługi przed wdrożeniem i po wdrożeniu, na liczbę spraw, które jesteśmy w stanie obsłużyć, oraz na koszt po stronie urzędu. Jeśli mieszkaniec szybciej dostaje odpowiedź, jest ona napisana prostszym językiem i trafia do niego bez zbędnych przestojów, to dla nas jest to sukces.

Podobnie jest w procesach wewnętrznych. Jeżeli wcześniej obsługa jednej faktury w szkole zajmowała pracownikowi cztery do sześciu minut, a po wdrożeniu rozwiązania trwa dwie minuty, to mamy jasny i mierzalny efekt. Możemy przetworzyć więcej spraw w tym samym czasie, szybciej obsłużyć jednostki i poprawić płynność całego procesu.

Dla nas najważniejsze wskaźniki to czas, koszt i jakość. Jeśli te trzy elementy idą w dobrą stronę, wiemy, że wdrożenie miało sens.

Patrząc w przyszłość, jakie macie dalsze plany rozwoju wykorzystania modeli językowych? Jakie nowe obszary lub funkcjonalności planujecie wdrażać, o których możesz już dziś opowiedzieć?

Cały czas zbieramy doświadczenia z rynku. Rozmawiamy z naszymi pracownikami, z innymi samorządami i uważnie obserwujemy rozwój sztucznej inteligencji. I powiem przewrotnie, że nie mamy sztywnych ograniczeń co do kierunków rozwoju. Jedynym realnym kryterium jest dla nas to, czy dane rozwiązanie przynosi wartość biznesową dla pracowników urzędu, dla klientów administracji i przede wszystkim dla mieszkańców.

Jeżeli pojawiają się nowe możliwości, na przykład w obszarze cyfrowego bliźniaka miasta, czy szeroko rozumianego zarządzania miastem, to są to dla nas naturalne obszary zainteresowania. Jako Centrum Usług Informatycznych działamy w ekosystemie silnych partnerów, spółek miejskich i instytucji, które dają przestrzeń do testowania i pilotaży. To już się dzieje.

Niedawno rozmawialiśmy choćby o kierunkach rozwoju AI w miastach z partnerami technologicznymi i tych pomysłów jest bardzo dużo. Wśród obszarów, które dziś widzimy jako najbardziej perspektywiczne, są między innymi zarządzanie kryzysowe, cyberbezpieczeństwo, cyfrowy bliźniak miasta, planowanie przestrzenne i obsługa klientów. W części z nich zaczynają się już pierwsze projekty, choć to nadal jest raczej perspektywa najbliższych lat niż gotowe wdrożenia.

Podsumowując, nie zamykamy się na żaden kierunek. Patrzymy na wartość, bezpieczeństwo i sens biznesowy. Jeśli te trzy elementy się zgadzają, to jesteśmy gotowi wchodzić w nowe obszary.

Co Twoim zdaniem najbardziej przyspieszyłoby adopcję polskich modeli językowych w biznesie? Czy kluczowa jest edukacja, regulacje, dostępność technologii, a może coś jeszcze innego?

Jeśli chodzi o samą dostępność polskich modeli językowych, to moim zdaniem nie jest to dziś największy problem. One są dostępne. Kluczowe jest coś innego, czyli poziom wiedzy i zrozumienia, czym te rozwiązania są i do czego faktycznie można je wykorzystywać.

Bardzo często spotykamy się z uproszczeniem, że sztuczna inteligencja to po prostu ChatGPT. To jest przekonanie dość powszechne i my realnie się z nim mierzymy, również wewnątrz organizacji. Dlatego edukacja jest absolutnie kluczowa. Dobrym przykładem jest inicjatywa realizowana w ramach Grupy Roboczej ds. Sztucznej Inteligencji przy Ministerstwie Cyfryzacji, w której działam w jednej z sekcji. Tam pojawił się pomysł organizacji webinarów tłumaczących podstawy sztucznej inteligencji, jej możliwości i ograniczenia.

Zainteresowanie tymi webinarami przerosło oczekiwania – na samym webinarze było ponad 2000 samorządowców. To bardzo wyraźnie pokazuje, że w samorządach jest ogromna potrzeba zdobywania kompetencji w tym obszarze. Bez tej wiedzy trudno mówić o świadomej adopcji jakichkolwiek modeli, w tym polskich.

Dlatego wszystkie nasze działania, rozmowy z innymi samorządami, spotkania, konferencje i inicjatywy edukacyjne idą właśnie w tym kierunku. Chodzi o to, żebyśmy uczyli się od siebie nawzajem, benchmarkowali rozwiązania i wspólnie podnosili poziom dojrzałości w tym obszarze. W efekcie adopcja polskich modeli będzie szybsza, mądrzejsza i bardziej efektywna.

Na końcu i tak chodzi o jedno. Robimy to za publiczne pieniądze, dla mieszkańców. Skoro możemy robić to razem, lepiej i rozsądniej, to naprawdę nie ma sensu wymyślać koła na nowo.

Dziękujemy za rozmowę!

Cykl rozmów „Start z polskim AI – od pomysłu do wdrożenia” jest realizowany w ramach programu Centrum Kompetencji AI.