AI na egzaminie do KIO. Co eksperyment UZP mówi zamawiającym

Na początku 2026 roku UZP pokazał wyniki eksperymentu, w którym trzy modele, GPT-4.1, Claude 4 Sonnet i Bielik-11B, przystąpiły do egzaminu na członka KIO. Wyniki omawiał między innymi Robert Król, dyrektor Departamentu Danych i Informatyzacji UZP, na konferencji „Sztuczna Inteligencja (AI) a Zamówienia Publiczne” 15 stycznia 2026 roku, a potem na PRIMO Forum w czerwcu

Teoria tak, uzasadnienie nie

W części teoretycznej modele poradziły sobie dobrze, choć nie bezbłędnie, zwłaszcza gdy korzystały z własnej pamięci, a nie z szerszej bazy. W części praktycznej, czyli przy pisaniu uzasadnienia rozstrzygnięcia, nie zdały: rozumowanie było niespójne, pojawiały się fałszywe informacje i odwołania do nieistniejących orzeczeń i przepisów. Takie błędy trudno zauważyć na pierwszy rzut oka

Wnioski UZP

Przedstawiciele UZP wyciągnęli z eksperymentu trzy wnioski:

• AI ma być pomocą, a jej wynik zawsze sprawdza człowiek
• administracja powinna budować własne narzędzia do obsługi rosnącej liczby dokumentów
• potrzebne są wspólne standardy danych i komunikacji elektronicznej, czytelne dla ludzi i systemów

Co to znaczy dla zamawiającego

Po pierwsze, wrażenie z rozmowy z modelem niczego nie dowodzi. Jakość trzeba sprawdzić testem na własnych dokumentach i z miarami ustalonymi z góry, tak jak opisaliśmy w części o teście jakości serii „OPZ na AI krok po kroku”. Po drugie, odpowiedź bez wskazanego źródła to ryzyko: system do pracy z przepisami i dokumentami zamówień powinien pokazywać, z którego dokumentu korzysta. Po trzecie, zamawiający, który używa AI przy ocenie ofert albo przy odpowiedzi na odwołanie, musi sprawdzać każdy wynik, bo błąd w piśmie do KIO trudno potem naprawić

Wymaganie „Odpowiedzi ze źródłem” znajdą Państwo na stronie Czego wymagać od systemu AI i jego dostawcy

Hasła ze Słownika zakupów AI: Krajowa Izba Odwoławcza (KIO)

Andrzej Albera

Od ponad 30 lat w projektach IT, także o znaczeniu krytycznym dla państwa. Doradza zarządom i zamawiającym, jak mądrze kupować, wdrażać i rozwijać AI