Zarządzane operacje AI to praca, dzięki której przebieg pracy AI działa niezawodnie po uruchomieniu na produkcji: monitorowanie wyników, ewaluacje na prawdziwych przypadkach, obsługa zmian modeli, naprawianie usterek i dodawanie kolejnych przebiegów pracy. Zajmuje się tym wskazana osoba. Kod, dane, dokumentacja i wyłącznik zostają u ciebie, więc całość nigdy nie staje się czarną skrzynką.
#Najważniejsze wnioski
- Przebieg pracy AI nie jest skończony w dniu uruchomienia; dane wejściowe, modele i zasady biznesowe stale się zmieniają.
- Monitorowanie i regularne ewaluacje na prawdziwych przypadkach pokazują spadek jakości, zanim zauważą go klienci.
- Wskazany właściciel po każdej stronie odpowiada na pytanie, kto odpowiada za awarię automatyzacji.
- Dokumentacja i dostępy na twoje nazwisko sprawiają, że wszystko działa także po odejściu twórcy.
- Kod, dane i konta należą do ciebie i możesz to wszystko wyłączyć.
Zarządzane operacje AI. Bieżące prowadzenie przebiegu pracy AI na produkcji: monitorowanie, ewaluacje, aktualizacje modeli, poprawki, ulepszenia i nowe przebiegi pracy, realizowane przez wskazanego właściciela, przy czym klient zachowuje własność i kontrolę.
#Co dzieje się po uruchomieniu i kto utrzymuje przebieg pracy?
Ta historia jest dobrze znana: wszystko działa, dopóki twórca nie odejdzie, a potem nikt nie chce tego dotykać. Pojawia się nowy UKład faktury, zmienia się polityka albo dostawca modelu aktualizuje wersję i jakość po cichu spada. Jeśli nikt tego nie pilnuje, pierwszym sygnałem jest reklamacja.
W ramach wdrożeń AI w Stennir po uruchomieniu następują zarządzane operacje AI. Wskazana osoba w Stennir odpowiada za kondycję przebiegu pracy, a wskazana osoba po twojej stronie odpowiada za zasady biznesowe i zatwierdza wynik. Obie role są spisane przed uruchomieniem.
#Co faktycznie obejmują zarządzane operacje AI?
- Monitorowanie: wolumeny, odsetek błędów, odsetek zatwierdzeń i odrzuceń oraz przypadki, w których ludzie zmieniają wynik.
- Ewaluacje: zestaw testowy zbudowany z twoich prawdziwych, wcześniejszych przypadków, uruchamiany ponownie po każdej zmianie promptów, zasad lub modeli.
- Zmiany modeli: gdy dostawca wprowadza lub wycofuje model, nowy jest testowany na twoich przypadkach, zanim zastąpi stary.
- Poprawki i ulepszenia: odrzucone wyniki są analizowane, a zasada lub dokument, które za nimi stoją, zostają poprawione.
- Kolejne przebiegi pracy: gdy pierwszy działa dobrze, zakres następnego ustala się na podstawie tego, czego zespół się nauczył.
To zgodne z tym, jak AI opisują ramy zarządzania ryzykiem: ramy zarządzania ryzykiem AI NIST, styczeń 2023 traktują ciągły pomiar i jasną odpowiedzialność jako część zarządzania ryzykiem AI, a ISO/IEC 42001, grudzień 2023 opisuje system zarządzania AI, a nie jednorazową kontrolę.
#Do kogo należą kod i dane, gdy firma AI coś zbuduje?
Do ciebie, na piśmie. W Stennir konta chmurowe, konta u dostawców modeli, repozytorium kodu i dane są od początku na twoje nazwisko, a Stennir pracuje w nich z dostępem, który możesz odebrać. Hosting jest tam, gdzie wymagają twoje zasady. Jeśli współpraca się kończy, nic nie trzeba przenosić ani odkupywać.
We are
Stennir prowadzi twój przebieg pracy AI po uruchomieniu jako wskazany właściciel, na kontach należących do ciebie, z dokumentacją i wyłącznikiem pod twoją kontrolą.
We aren't
Stennir nie jest platformą, która trzyma twój przebieg pracy na własnych serwerach, ani wykonawcą, który przekazuje kod i znika.
#Jak nie odziedziczyć czarnej skrzynki?
Przy przekazaniu poproś o trzy rzeczy. Po pierwsze, dokumentację, z którą poradzi sobie nowy inżynier: co robi przebieg pracy, jakie ma zasady, prompty, zestaw testowy i jak wdrożyć zmianę. Po drugie, dziennik każdego działania i zatwierdzenia, aby każdy wynik dało się prześledzić. Po trzecie, przetestowany wyłącznik oraz ręczny proces, do którego zespół wraca w razie potrzeby.
Słabe mechanizmy kontroli kończą projekty. Gartner, czerwiec 2025 przewiduje, że ponad 40% projektów agentowej AI zostanie anulowanych do końca 2027 roku, częściowo z powodu niewystarczającej kontroli ryzyka. To właśnie w operacjach te mechanizmy kontroli działają.
#O co dyrektor operacyjny powinien zapytać przed uruchomieniem?
Zapytaj, kto jest wskazany po każdej stronie, co jest monitorowane, jak testuje się zmianę modelu, gdzie jest dokumentacja i jak to wyłączyć. Jeśli którakolwiek odpowiedź jest mglista, popraw to przed startem. Przykład przeniesienia prototypu na produkcję przygotowany przez Stennir pokazuje te elementy na miejscu. Zobacz też AI dla operacji, wypełnij bezpłatną ocenę gotowości albo umów 30-minutową rozmowę.
#Najczęstsze pytania
Czego potrzebujecie od nas w ramach zarządzanych operacji AI?
Wskazanej osoby, która odpowiada za zasady biznesowe i zatwierdza wynik, dostępu do systemów, z którymi łączy się przebieg pracy, oraz regularnego przeglądu, na którym omawia się przypadki odrzucone i zmienione przez ludzi. Gdy po twojej stronie zmienia się zasada lub polityka, ta osoba informuje Stennir, aby przebieg pracy i zestaw testowy zmieniły się razem z nią.
Co się dzieje, gdy dostawca zmienia lub wycofuje model?
Przed przełączeniem Stennir uruchamia nowy model na zestawie ewaluacyjnym zbudowanym z twoich prawdziwych przypadków. Jeśli wyniki się utrzymują lub poprawiają, zmiana następuje za twoją zgodą. Jeśli nie, obecny model zostaje, a prompty lub zasady są dostosowywane. Każda zmiana trafia do dziennika, więc widać, co się zmieniło.
Czy nasz zespół może to później przejąć?
Tak. Ponieważ kod, konta, dokumentacja i zestaw testowy już należą do ciebie, przekazanie wewnętrznemu inżynierowi to zaplanowany krok, a nie akcja ratunkowa. Stennir może przeszkolić osoby, które będą to prowadzić, w ramach szkoleń AI, aby wiedza nie odeszła razem z twórcą.
Gdzie pozostają nasze dane?
Tam, gdzie wymagają twoje zasady. Stennir konfiguruje hosting w regionie, którego wymaga twój regulator lub polityka, łącznie z miejscem działania modelu, a nie tylko przechowywania danych. Dane pozostają na kontach należących do ciebie, dostęp jest ograniczony do tego, czego potrzebuje każdy krok, a każde działanie na nich trafia do dziennika.
