OPZ na AI, część 8. SLA na jakość odpowiedzi: system dostępny przez cały czas może źle odpowiadać

Od dziś Komisja Rozwoju i Bezpieczeństwa Sztucznej Inteligencji może prowadzić kontrole przestrzegania AI Act i ustawy o systemach sztucznej inteligencji. Organizacja, która korzysta z AI, będzie musiała pokazać nie tylko, że system działa, ale też, że wie, jak działa. Najlepszym dowodem jest regularny pomiar jakości zapisany w umowie

Jakość w umowie o poziomie usług

SLA obejmuje miary jakości odpowiedzi, zbiór testowy uzgodniony z zamawiającym oraz sposób i częstotliwość pomiaru, a nie tylko dostępność. Dostępność mówi, że system działa, a jakość, że działa dobrze. Zbiór testowy warto przygotować razem z testem przed wyborem oferty, bo te same pytania posłużą potem do pomiaru w trakcie umowy

Test po każdej zmianie

Każda zmiana modelu, konfiguracji albo bazy wiedzy przechodzi test na zbiorze testowym, zanim trafi do użytkowników. Zmiany po stronie dostawcy modelu potrafią obniżyć jakość bez żadnego komunikatu, więc procedura zmian i raport z testu powinny być częścią odbioru

Raport i konsekwencje

Wykonawca co miesiąc raportuje jakość i koszty, a niedotrzymanie progów oznacza obniżenie wynagrodzenia albo plan naprawczy. Miara bez konsekwencji nie zmienia jakości. W zamówieniu publicznym umowa musi przy tym określać łączną maksymalną wysokość kar umownych (art. 436 pkt 3 Pzp), a kary mogą dotyczyć tylko zachowań związanych z przedmiotem umowy (art. 433 pkt 2 Pzp)

Klasyczne parametry usługi

Jakość odpowiedzi nie zastępuje podstaw: dostępności, czasu odpowiedzi systemu oraz czasów reakcji i naprawy, z opisanym sposobem pomiaru. Bez nich nawet najlepszy model nie przyniesie efektu

Jak to zapisać

• wzór SLA z miarami jakości i zbiorem testowym w dokumentach zamówienia
• procedura zmian z testem przed wdrożeniem
• progi, skutki ich niedotrzymania i łączny limit kar umownych
• klasyczne parametry usługi i sposób ich pomiaru

To część 8 z 9 serii „OPZ na AI krok po kroku”. Każde wymaganie z tego wpisu, z podpowiedzią, jak je sprawdzić w ofercie, znajdą Państwo na stronie Czego wymagać od systemu AI i jego dostawcy. Poprzednia część: stanowisko pracy z AI

Hasła ze Słownika zakupów AI: ustawa o systemach sztucznej inteligencji, plan naprawczy projektu, AI Act

Andrzej Albera

Od ponad 30 lat w projektach IT, także o znaczeniu krytycznym dla państwa. Doradza zarządom i zamawiającym, jak mądrze kupować, wdrażać i rozwijać AI