OPZ na AI, część 3. Jakość po polsku: test na dokumentach zamawiającego

W zakupach AI słaba odpowiedź może kosztować więcej niż licencja. Deklaracja wykonawcy, że model „dobrze radzi sobie z językiem polskim”, niczego nie dowodzi. Dowodem jest wynik na pytaniach i dokumentach, z którymi system będzie pracował u zamawiającego

Test na pytaniach i dokumentach zamawiającego

Przed wyborem oferty system odpowiada na zbiór pytań przygotowany przez zamawiającego, na jego dokumentach i po polsku. W zamówieniu publicznym taki test opisuje się jako przedmiotowy środek dowodowy, proporcjonalny i związany z przedmiotem zamówienia (art. 106 Pzp). Trzy zasady chronią postępowanie:

• test jest taki sam dla wszystkich wykonawców, bo zamawiający musi ich traktować równo (art. 16 Pzp)
• dokumenty z danymi osobowymi albo tajemnicami trzeba zanonimizować albo przygotować osobno do testu
• jeśli wynik testu jest kryterium oceny, wykonawca nie uzupełni go po terminie składania ofert (art. 107 ust. 3 Pzp)

Miary ustalone z góry

Tylko zmierzoną jakość da się porównać, odebrać i egzekwować w umowie. Warto mierzyć odsetek poprawnych odpowiedzi, odsetek odpowiedzi ze wskazanym źródłem, uczciwe „nie wiem” zamiast zmyślenia i czas odpowiedzi. Sposób liczenia każdej miary powinien być opisany w dokumentach zamówienia, zanim wykonawcy zobaczą pytania

Jakość w kryteriach oceny ofert

Prawo zamówień publicznych pozwala wybrać ofertę na podstawie kryteriów jakościowych oraz ceny albo kosztu (art. 242), a koszt można liczyć w całym cyklu życia (art. 245). Jednostki sektora finansów publicznych i inne państwowe jednostki bez osobowości prawnej nie mogą stosować ceny jako jedynego kryterium ani nadać jej wagi wyższej niż 60 procent (art. 246 ust. 1). Wyjątek wymaga opisania wymagań jakościowych dla głównych elementów zamówienia (art. 246 ust. 2). W zakupach AI najprościej wpisać wynik testu jako kryterium z wagą i opisem punktacji

Jak to zapisać

• test jako przedmiotowy środek dowodowy, z tym samym zbiorem pytań dla wszystkich
• miary jakości i sposób ich liczenia w opisie przedmiotu zamówienia
• wynik testu jako kryterium oceny z wagą i punktacją

To część 3 z 9 serii „OPZ na AI krok po kroku”. Każde wymaganie z tego wpisu, z podpowiedzią, jak je sprawdzić w ofercie, znajdą Państwo na stronie Czego wymagać od systemu AI i jego dostawcy. Poprzednia część: dane i jurysdykcja

Hasła ze Słownika zakupów AI: kryteria pozacenowe, opis przedmiotu zamówienia (OPZ)

Andrzej Albera

Od ponad 30 lat w projektach IT, także o znaczeniu krytycznym dla państwa. Doradza zarządom i zamawiającym, jak mądrze kupować, wdrażać i rozwijać AI