System, który rozwiązuje Państwa problem
Wymagania opisane jako zadania i wyniki, sprawdzone testem na Państwa dokumentach, sprawiają, że wygrywa oferta, która działa u Państwa, a nie ta, która najlepiej wypada w prezentacji
albera.pl / Czego wymagać
Wymagania
Wymagania, które warto wpisać do opisu przedmiotu zamówienia i umowy na system AI. Przy każdym jest uzasadnienie i podpowiedź, jak je sprawdzić w ofercie. Dla zamawiających publicznych i firm
Dlaczego
To, co Państwo dostaną, ustalają opis przedmiotu zamówienia i umowa. Czego się w nich nie zapisze, tego później nie da się wymagać, a przy AI różnica między dobrym a słabym systemem często wychodzi dopiero po wdrożeniu. Dlatego zebraliśmy w jednym miejscu wymagania, które sprawdzamy w każdym zakupie AI: najpierw co Państwu dają, potem każde z osobna, z uzasadnieniem i sposobem sprawdzenia
Wymagania opisane jako zadania i wyniki, sprawdzone testem na Państwa dokumentach, sprawiają, że wygrywa oferta, która działa u Państwa, a nie ta, która najlepiej wypada w prezentacji
Zmiana modelu bez przebudowy aplikacji, nowe zastosowania na tym samym rozwiązaniu i rozbudowa przewidziana w umowie od pierwszego dnia
Dane, dokumenty i wiedza zespołu zostają pod Państwa kontrolą: nie trenują cudzych modeli, nie trafiają do nieznanych podwykonawców i wiadomo, kto i na jakiej podstawie może do nich sięgnąć
Bez uzależnienia od jednego dostawcy, jednej chmury czy jednej licencji: eksport danych w otwartych formatach, plan wyjścia i znany z góry koszt zmiany
AI Act, RODO, ustawa o krajowym systemie cyberbezpieczeństwa i DORA nakładają obowiązki na organizację, która korzysta z AI. Dobre wymagania sprawiają, że dostawca dostarcza wszystko, czego potrzeba, żeby je spełnić i wykazać przy kontroli
Wymagania
Przy każdym wymaganiu piszemy, dlaczego warto je postawić i jak sprawdzić je w ofercie. Proszę wybrać obszar albo wpisać słowo, na przykład „rejestr”, „SLA” czy „eksport”
Obszar 1
Zamawiający wie, co kupuje i od kogo zależy działanie systemu
Wymaganie 1.1
Oferta wymienia wszystkie elementy rozwiązania: modele AI z nazwą, wersją i dostawcą, infrastrukturę (chmura albo serwery zamawiającego), miejsce przetwarzania danych oraz podwykonawców i komponenty innych firm
Wymaganie 1.2
Zmiana modelu, chmury albo podwykonawcy wymaga wcześniejszego powiadomienia i zgody zamawiającego, poprzedzonej testem jakości
Wymaganie 1.3
Dostawca przekazuje instrukcję oraz informacje o przeznaczeniu, ograniczeniach i dokładności systemu, w języku polskim
Wymaganie 1.4
Oferta wskazuje licencje modeli i komponentów i potwierdza, że obejmują zastosowanie i skalę zamawiającego
Obszar 2
Suwerenność opisana cechami, a nie pochodzeniem dostawcy
Wymaganie 2.1
Oferta wskazuje, gdzie są przetwarzane i przechowywane dane, kopie zapasowe i rejestry zdarzeń, także przy wsparciu technicznym, na przykład tylko w Polsce albo w Europejskim Obszarze Gospodarczym
Wymaganie 2.2
Dane, dokumenty, zapytania i odpowiedzi zamawiającego nie mogą służyć do trenowania ani ulepszania modeli dostawcy i innych klientów, a po zakończeniu umowy są usuwane z potwierdzeniem
Wymaganie 2.3
Dostawca wskazuje, czy on albo jego podwykonawcy podlegają przepisom państw spoza Unii Europejskiej, które mogą nakazać przekazanie danych, i jak postąpi w takim przypadku. Tam, gdzie dane tego wymagają, klucze szyfrowania są w rękach zamawiającego
Wymaganie 2.4
System można uruchomić na infrastrukturze zamawiającego albo w środowisku bez dostępu do internetu, jeśli wymaga tego rodzaj danych
Wymaganie 2.5
Umowa przewiduje eksport danych, dokumentów, konfiguracji i zapisanych poleceń w otwartych formatach, pomoc przy przeniesieniu do innego dostawcy i znany z góry koszt wyjścia
Obszar 3
Jakość sprawdza się testem, a nie deklaracją
Wymaganie 3.1
Przed wyborem oferty system odpowiada na zbiór pytań przygotowany przez zamawiającego, na jego dokumentach i po polsku
Wymaganie 3.2
Zamawiający określa, co mierzy: odsetek poprawnych odpowiedzi, odpowiedzi ze wskazanym źródłem, uczciwe „nie wiem” zamiast zmyślenia i czas odpowiedzi
Wymaganie 3.3
Wynik testu jakości jest kryterium oceny ofert, obok ceny i kosztu całkowitego
Obszar 4
Dowody zamiast obietnic
Wymaganie 4.1
Wykonawca wykazuje wdrożenia podobnego systemu, które działają w codziennej pracy klientów, a nie tylko pilotaże
Wymaganie 4.2
Wykonawca pokazuje działanie systemu na danych i scenariuszach zamawiającego, a nie na przygotowanym pokazie
Wymaganie 4.3
Oferta rozdziela funkcje dostępne dziś w produkcji, funkcje w pilotażu i funkcje planowane, a odbiór obejmuje tylko to, co działa
Wymaganie 4.4
Oferta wskazuje osoby odpowiedzialne za wdrożenie, ich role i doświadczenie, a zmiana kluczowych osób wymaga zgody zamawiającego
Obszar 5
Darmowy model to nie darmowe utrzymanie
Wymaganie 5.1
Wykonawca odpowiada za działanie całego rozwiązania, także za komponenty open source i modele innych firm
Wymaganie 5.2
Wykonawca dostarcza poprawki bezpieczeństwa w określonym czasie i informuje zamawiającego o podatnościach i incydentach
Wymaganie 5.3
Umowa określa okres wsparcia, aktualizacje modeli i oprogramowania oraz czasy reakcji i naprawy
Wymaganie 5.4
Dla elementów tworzonych dla zamawiającego wykonawca przekazuje kod źródłowy albo składa go w depozycie, razem z dokumentacją potrzebną do utrzymania
Obszar 6
Polityka korzystania z AI egzekwowana przez system, a nie tylko spisana
Wymaganie 6.1
Wszystkie modele i narzędzia AI są dostępne przez jeden punkt z regułami według użytkownika, roli, rodzaju danych, modelu i środowiska, które można sprawdzić przed uruchomieniem
Wymaganie 6.2
Dane osobowe i poufne (na przykład PESEL, NIP, adresy e-mail) są wykrywane i maskowane, zanim zapytanie opuści sieć zamawiającego. Zamiast maskowania można zapytanie zablokować albo przekazać do decyzji człowieka
Wymaganie 6.3
Zapytania z danymi poufnymi trafiają tylko do modeli działających u zamawiającego, a system ma model zapasowy na wypadek awarii
Wymaganie 6.4
Każde wywołanie modelu jest zapisywane (użytkownik, model, koszt, kontekst) w rejestrze zabezpieczonym przed zmianą, z eksportem i możliwością odtworzenia zapytania
Wymaganie 6.5
System wykrywa próby obejścia zasad modelu (prompt injection, jailbreak) i sprawdza odpowiedzi, zanim trafią do użytkownika
Wymaganie 6.6
Zamawiający ustala budżety na zespół, projekt i model, a system wykrywa nietypowe zużycie
Wymaganie 6.7
Model można zmienić w ustawieniach, bez przebudowy aplikacji, po teście nowego modelu na zbiorze zamawiającego
Wymaganie 6.8
Kroki krytyczne czekają na zatwierdzenie przez uprawnioną osobę, treści wytworzone przez AI są oznaczane, a uprawnienia agentów do narzędzi są nadawane według użytkownika, roli i zespołu
Obszar 7
Odpowiedź, którą da się sprawdzić, w narzędziach, z których zespół już korzysta
Wymaganie 7.1
Odpowiedzi oparte na dokumentach zamawiającego wskazują konkretny fragment pliku, a pytania bez odpowiedzi trafiają do rejestru luk w wiedzy
Wymaganie 7.2
System korzysta z tożsamości i uprawnień organizacji (na przykład SSO, LDAP, SCIM), więc użytkownik widzi tylko te dokumenty, które widzi dziś
Wymaganie 7.3
Zespół korzysta ze wspólnych, zatwierdzonych poleceń do typowych zadań i może je ponownie wykorzystać
Wymaganie 7.4
Przy ważnych pytaniach użytkownik może uzyskać odpowiedzi kilku modeli i porównać je obok siebie
Wymaganie 7.5
Agenci działają według reguł zapisanych zwykłym językiem, przedstawiają plan do zatwierdzenia, mają limity działań i pełną historię przebiegów
Wymaganie 7.6
Jeśli asystent zapamiętuje informacje o pracy użytkownika, użytkownik widzi, czego się nauczył, i może to poprawić
Wymaganie 7.7
Użytkownicy oceniają odpowiedzi, a oceny trafiają do rejestru, z którego korzysta pomiar jakości
Wymaganie 7.8
System współpracuje z narzędziami, z których organizacja już korzysta, na przykład EZD RP, ePUAP, e-Doręczenia, KSeF czy Microsoft 365
Obszar 8
System dostępny przez cały czas może źle odpowiadać
Wymaganie 8.1
SLA obejmuje miary jakości odpowiedzi, zbiór testowy uzgodniony z zamawiającym oraz sposób i częstotliwość pomiaru, a nie tylko dostępność
Wymaganie 8.2
Każda zmiana modelu, konfiguracji albo bazy wiedzy przechodzi test na zbiorze testowym, zanim trafi do użytkowników
Wymaganie 8.3
Wykonawca co miesiąc raportuje jakość i koszty, a niedotrzymanie progów oznacza obniżenie wynagrodzenia albo plan naprawczy
Wymaganie 8.4
SLA obejmuje też dostępność, czas odpowiedzi systemu oraz czasy reakcji i naprawy
Obszar 9
Zamawiający decyduje na każdej bramce i płaci za odebrany wynik
Wymaganie 9.1
Wdrożenie jest podzielone na etapy (na przykład Proof of Concept, pilotaż, produkcja) z kryteriami przejścia, a decyzję o przejściu podejmuje zamawiający
Wymaganie 9.2
Każdy etap jest odbierany na podstawie zmierzonych wyników, a nie prezentacji
Wymaganie 9.3
Wynagrodzenie jest powiązane z odebranymi etapami, a zamawiający może zakończyć projekt po etapie, jeśli wynik nie spełnia kryteriów
Wymaganie 9.4
Plan obejmuje szkolenia użytkowników, plan adopcji i dokumentację dla zespołów
Wymaganie 9.5
Wykonawca dostarcza informacje do oceny skutków dla praw podstawowych i dla ochrony danych, wpis do rejestru systemów AI i ślad audytowy decyzji
Brak wyników. Proszę spróbować innego słowa
Jak korzystać
Pomożemy przełożyć tę listę na Państwa zamówienie: wybrać wymagania, zapisać je w opisie przedmiotu zamówienia i w umowie oraz przygotować test na Państwa danych. Pierwsza rozmowa trwa 30 minut i jest bezpłatna
Rozmawiają Państwo z systemem sztucznej inteligencji (Gemini, Google). Asystent zna tylko treść tej strony. Prosimy nie podawać danych osobowych. Więcej o asystencie