Kontrola jakości AI w produkcji: Oblicz koszt pominiętych wad i błędnych odrzuceń

Raport z inspekcji może pokazać, ile części zostało odrzuconych, ale nie wskazywać, czy decyzja w trakcie inspekcji była słuszna. Niektóre odrzucone części mogą spełniać specyfikację. Niektóre zaakceptowane części mogą zawierać wadę, która ujawnia się dopiero podczas późniejszej operacji lub u klienta. Oba błędy mają znaczenie, ale generują różne koszty i wymagają różnych dowodów.

To punkt wyjścia dla kontroli jakości AI w produkcji. Przed wyborem kamery lub modelu, ustal, co jest niewystarczające w obecnym procesie, co jest niepotrzebnie odrzucane i kto może zweryfikować różnicę. Przydatna może okazać się analiza istniejących obrazów z inspekcji, danych z maszyn lub historii jakości, a nie nowa instalacja.

W tym artykule rozwinięto pytania poruszone we francuskojęzycznym webinarium Embiggen X na temat kontroli jakości. Przedstawiono w nim praktyczne ramy dla anglojęzycznego zespołu operacyjnego: zdefiniowanie decyzji, powiązanie dowodów, przetestowanie procesu w ramach istniejącego procesu i wyznaczenie osoby odpowiedzialnej za wynik.

01 Obejrzyj webinarium na temat kontroli jakości

Dyskusja skupia Camille, Stéphane'a i Nicolasa, którzy analizują ukryte koszty jakości, ocenę wizualną, korelacje procesów oraz relacje między inspektorami a sztuczną inteligencją. Obejrzyj oryginalne nagranie w języku francuskim poniżej. Ramy pilotażowe w tym artykule stanowią redakcyjną interpretację tych tematów, a nie transkrypcję ani obietnicę rezultatów.

02 Zmierz oba rodzaje błędów inspekcji

Wadliwa część uznana za dobrą to ucieczka. Zgodna z wymaganiami część odrzucona jako wadliwa to fałszywe odrzucenie. Jeśli model oznacza wady jako pozytywne, odpowiadają one wynikom fałszywie negatywnym i fałszywie pozytywnym. Należy uzgodnić tę konwencję przed porównaniem pulpitów nawigacyjnych, ponieważ zespoły czasami używają tych samych terminów dla różnych wyników.

Niższy wskaźnik odrzutów sam w sobie nie oznacza poprawy. Może to oznaczać, że proces generuje mniej defektów. Może to również oznaczać, że kontrola stała się mniej czuła i więcej wadliwych części przechodzi pozytywnie. Podobnie, wyższy wskaźnik odrzutów może odzwierciedlać rzeczywisty problem produkcyjny lub test, który odrzuca akceptowalne odchylenia.

Zacznij od oddzielenia decyzji o inspekcji od zweryfikowanego stanu części. Decyzja opiera się na tym, co wskazuje obecny system. Zweryfikowany stan wymaga uzgodnionego punktu odniesienia: pomiaru, odpowiedniego testu kontrolnego lub udokumentowanej opinii eksperta. Ani pierwsza ocena inspektora, ani pewność modelu nie są automatycznie prawdą.

Stosuj tę samą metodę odniesienia, porównując ludzi i modele. Pobieraj próbki zarówno zaakceptowanych, jak i odrzuconych części, tam gdzie to możliwe, i zapisuj limity tego próbkowania. Patrząc tylko na kosz na odpady, nie dowiesz się, ile wad uniknięto. Patrząc tylko na reklamacje klientów, pomijasz wady, które jeszcze nie zostały zgłoszone.

03 Znajdź możliwości ukryte w całkowitej liczbie odrzuceń

Rozważmy poniższą ilustrację zmiany, zaczerpniętą z przykładowego slajdu z webinarium. Kontroli poddano dwieście części. Wstępny raport wskazuje, że 188 z nich przeszło test, a 12 zostało odrzuconych. Późniejsza analiza wykazała, że trzy z odrzuconych części były dobre, a jedna wadliwa przeszła test. Sumy się nie zmieniły, ale zrozumienie procesu uległo zmianie.

Warto uwidocznić oba rodzaje błędów. Trzy dobre, lecz odrzucone części wskazują na możliwą do uniknięcia stratę, którą należy zbadać. Przeoczona wada wskazuje na inny problem, o potencjalnie innych skutkach. Odejmowanie jednego od drugiego i uznawanie wyniku netto za akceptowalny kompromis byłoby mylące.

Występuje również problem z mianownikiem. Na tym przykładzie 190 części jest w rzeczywistości dobrych, a dziesięć wadliwych. Trzy fałszywe odrzucenia na 190 dobrych części mierzą coś innego niż trzy na 12 odrzuceń. Dla każdej metryki zapisz licznik, mianownik i metodę weryfikacji. Zachowaj surowe wyniki wraz z procentami, zwłaszcza gdy wady występują rzadko.

Ten przykład nie pokazuje udoskonalenia sztucznej inteligencji. Pokazuje on punkt odniesienia, którego wymaga zgłoszenie ulepszenia. Model powinien zyskać swoją pozycję poprzez udoskonalenie zdefiniowanej decyzji w ramach uzgodnionego ograniczenia, na przykład poprzez ograniczenie niepotrzebnych ponownych inspekcji bez zwiększania liczby odstępstw od normy poza akceptowalny limit zespołu ds. jakości.

04 Zbuduj obraz kosztów wykraczający poza marnotrawstwo

Model kosztów jakości ASQ odróżnia zapobieganie i ocenę od kosztów awarii wewnętrznych i zewnętrznych. To rozróżnienie pomaga wyjaśnić, dlaczego całkowita liczba braków stanowi niekompletny przypadek biznesowy: nakłady na inspekcje, poprawki i awarie wykryte po dostawie leżą w różnych częściach obrazu.

W przypadku proponowanego pilotażu stwórz mały rejestr kosztów dla wybranej rodziny części. Rejestruj materiały i procesy już zainwestowane w złomowane części, czas poświęcony na przeróbkę lub ponowną inspekcję oraz koszt badania ewentualnego uszkodzenia. Dodaj udokumentowane zakłócenia, jeśli można je powiązać z problemem. Oddzielaj niepewne szacunki od kosztów, które zespół może uzasadnić.

Unikaj dwukrotnego liczenia tej samej straty. Jeśli kosztorys przeróbek uwzględnia już robociznę, nie dodawaj tych godzin ponownie jako osobnej oszczędności. Jeśli główną korzyścią jest odzyskanie mocy produkcyjnych, określ, co by ją wykorzystało. Uwolniony czas nie oznacza automatycznie oszczędności, a teoretyczny wzrost wydajności ma niewielką wartość, jeśli kolejna operacja pozostaje wąskim gardłem.

Pytanie biznesowe staje się konkretne: która decyzja generuje wystarczającą ilość pracy lub strat, których można uniknąć, aby uzasadnić przeprowadzenie testu? Może to być powtarzające się błędne odrzucenie, wada wykryta zbyt późno lub kolejka części oczekujących na ocenę ekspercką. Wybierz jedną, zanim rozszerzysz zakres na każdy problem jakościowy w fabryce.

05 Przed dodaniem sprzętu sprawdź zapisy

Webinarium pyta, czy konieczne są nowe czujniki lub kamery. Pierwszym praktycznym krokiem jest inwentaryzacja, a nie założenie, że każda fabryka dysponuje już odpowiednimi danymi. Przydatne mogą być istniejące parametry maszyn, obrazy inspekcyjne, historia jakości i rysunki. Ich przydatność zależy od zasięgu, identyfikowalności oraz tego, czy odzwierciedlają one decyzję będącą przedmiotem analizy.

Weź kilka ostatnio używanych części i spróbuj odtworzyć ich drogę. Czy zespół potrafi powiązać identyfikator seryjny lub partii z ustawieniami procesu, wynikiem inspekcji i ostateczną dyspozycją? Czy znaczniki czasu są spójne? Czy potrafi odróżnić pierwotną inspekcję od ponownej? Eksport arkusza kalkulacyjnego może być przydatnym punktem wyjścia, ale niezgodne identyfikatory mogą podważyć nawet zaawansowany model.

Do celów kontroli wizualnej należy zachować przykłady dopuszczalnych odchyleń oraz defektów. Oświetlenie, pozycja kamery, wykończenie materiału i orientacja części mogą wpływać na zawartość obrazu. Jeśli obecne obrazy nie pokazują istotnej cechy, konieczne może być wykonanie dodatkowych zdjęć. Wniosek ten powinien być wyciągnięty po przeglądzie dowodów, a nie go poprzedzać.

Jakość etykiet zasługuje na osobny proces. Niech inspektorzy zdefiniują kategorie defektów i zarejestrują niepewne przypadki, zamiast narzucać każdemu granicznemu przykładowi natychmiastową odpowiedź „tak” lub „nie”. W przypadku rozbieżności między recenzentami, należy rozwiązać specyfikację lub utworzyć regułę eskalacji. Nauczenie modelu niespójnych etykiet może przyspieszyć reprodukcję niezgodności.

06 Wybierz decyzję, którą będzie wspierać sztuczna inteligencja

Istnieje kilka różnych możliwości w zakresie kontroli jakości AI. Model wizualny może pomóc w oznaczeniu podejrzenia wady powierzchni. Model zbudowany na podstawie danych produkcyjnych może pomóc w ustaleniu priorytetów części do dalszej kontroli. Analiza historii procesu może zidentyfikować wzorce powiązane z późniejszymi awariami. Są to różne zadania, z różnymi danymi wejściowymi i wymaganiami walidacyjnymi.

Przykład procesu z webinarium jest szczególnie przydatny: pojedyncze ustawienie może mieścić się w dozwolonym zakresie, podczas gdy łączna historia produkcji nadal wymaga zbadania. Asocjacja predykcyjna może wskazać inżynierom związek, którego nie zbadali. Nie ustala ona przyczyny fizycznej ani nie upoważnia do zmiany ustawienia produkcji bez przeglądu technicznego.

Opisz planowany przepływ pracy w jednym zdaniu. Na przykład: po inspekcji istniejącej, oznacz podzbiór niepewnych części do sprawdzenia przez inżyniera ds. jakości na podstawie oryginalnego obrazu i zapisu procesu. To zdanie definiuje, kiedy model jest uruchamiany, co generuje i kto odpowiada za jego realizację. Jest to o wiele bardziej testowalne niż ambicja automatyzacji kontroli jakości.

Nasz osobny artykuł o jakości predykcyjnej firmy Siemens analizuje konkretny przykład z branży produkcyjnej. W tym przypadku, szersza decyzja dotyczy tego, czy proces wymaga lepszego wykrywania, lepszej priorytetyzacji, czy lepszego badania. Wybierz zadanie, które odpowiada dowodom, które możesz zebrać, i działaniu, które zespół może faktycznie podjąć.

07 Przedstaw inspektorom dowody, które mogą zakwestionować

Niewyjaśniona czerwona flaga pozostawia inspektorowi niewiele podstaw do wyrażenia zgody lub sprzeciwu. Bardziej użyteczny ekran przeglądu łączy flagę z oryginalnym dowodem: odpowiednim obszarem obrazu, identyfikacją części, specyfikacją i wszelkimi informacjami o procesie wykorzystanymi w ocenie. Powinien on również umożliwiać rejestrowanie niepewności i sprzeciwów.

Scientific Reports przez Senonera i współpracowników dotyczyło wyjaśnialnej sztucznej inteligencji w kontroli wizualnej, w tym eksperymentu z udziałem 48 pracowników fabryki Siemens w Zug. Wyniki potwierdzają trafność oceny wyjaśnień w ramach współpracy człowieka ze sztuczną inteligencją. Zakres badania obejmował konkretne środowisko kontroli z wykorzystaniem wizualnych map cieplnych, co nie gwarantuje, że jakiekolwiek wyjaśnienie usprawni jakikolwiek proces w fabryce.

W przypadku pilotażu należy ocenić cały przepływ pracy, a nie sam model. Czy inspektorzy rozumieją, do czego odnosi się flaga? Czy potrafią rozpoznać, kiedy dowody są nieistotne? Czy sprawdzenie ich zajmuje więcej czasu niż trwająca inspekcja? Czy pominięcia są rejestrowane wraz z przyczynami, które można później przeanalizować? Interfejs i ścieżka eskalacji są częścią testu operacyjnego.

Podświetlenie to zachęta do zbadania problemu, a nie dowód na istnienie wady. Zachowaj dostęp do oryginalnego obrazu i obowiązującego kryterium. Unikaj projektowania ekranu w taki sposób, aby akceptacja modelu była łatwa, a kwestionowanie go trudne. Kierownik ds. jakości powinien mieć możliwość przeglądu zarówno błędów modelu, jak i sytuacji, w których prawidłowa sugestia została odrzucona.

08 Uruchom ograniczony test równolegle z bieżącym procesem

Zacznij od jednej rodziny części, jednej jasno określonej decyzji o błędzie lub przeglądzie oraz wyznaczonego właściciela ds. jakości. Uzgodnij metodę odniesienia i kryteria decyzyjne przed inspekcją wyników. Pilot jest łatwiejszy do zinterpretowania, gdy zakres jest wystarczająco wąski, aby wyjaśnić, dlaczego wystąpił błąd i co zespół zrobi w tej sprawie.

Wykorzystaj dane historyczne do sprawdzenia wykonalności, a następnie oceń na przykładach, na których model się nie uczył. W miarę możliwości, oddziel ocenę według czasu lub partii produkcyjnej, zamiast losowo dzielić niemal identyczne obrazy tej samej części. W przeciwnym razie test może nagradzać znajomość zestawu danych, a nie wydajność na zupełnie nowej produkcji.

Test cienia pozwala modelowi formułować rekomendacje, podczas gdy autoryzowany proces inspekcji nadal kontroluje wydanie. Porównaj rekomendacje ze zweryfikowanymi wynikami i rejestruj rozbieżności. Nie przekierowuj produkcji po cichu przez nowy model, ponieważ jego wczesne przykłady wydają się przekonujące. Zmiany w inspekcji lub wydaniu wymagają standardowego zatwierdzenia jakości w organizacji.

Terminy w kalendarzu mogą pomóc w skupieniu się na dowodach, ale nie doprowadzą do braku dowodów. Krótki proces może wystarczyć, aby odkryć uszkodzone identyfikatory lub bezużyteczne zdjęcia. Może być też zdecydowanie za krótki, aby zauważyć rzadką, istotną wadę. Ustal wymagania dotyczące dowodów oraz datę przeglądu i bądź przygotowany na przedłużenie procesu, zamiast ogłaszać sukces w przypadku zbyt małej liczby spraw.

Podczas przeglądu zgłoś błędy, błędne odrzucenia, czas przeglądu i liczbę nierozwiązanych przypadków. Uwzględnij koszty przygotowania danych, integracji i bieżącego nadzoru. Pokaż różnice w wydajności w zależności od wariantu części lub stanu działania. Pojedyncza ocena ogólna może ukryć konkretną sytuację, która jest najważniejsza dla zespołu ds. jakości.

09 Zdecyduj, co się stanie po pilocie

Istnieją trzy korzystne rozwiązania: przejść do kontrolowanego kolejnego kroku, poprawić dowody i przeprowadzić ponowne testy lub przerwać, ponieważ szansa nie jest wystarczająco silna. Zatrzymany projekt pilotażowy może być nadal cenny, jeśli zapobiegnie większej inwestycji opartej na nierzetelnych etykietach lub korzyści, której nie można osiągnąć w fazie produkcyjnej.

Przed rozszerzeniem należy określić, kto monitoruje wydajność, jakie zmiany powodują ponowną walidację oraz w jaki sposób zespół powróci do ustalonego procesu, jeśli nowy przepływ pracy stanie się zawodny. Nowe materiały, zmiany sprzętu lub zmieniona specyfikacja mogą zmienić warunki, w jakich model został oceniony. Należy zarejestrować wersję modelu wraz z decyzjami, które ona wspiera.

Ucz się świadomie. Korekta inspektora to dowód do sprawdzenia, a nie powód do automatycznego ponownego szkolenia bez sprawdzania etykiet i ponownej oceny wydajności. Ta sama zasada dotyczy zmiany progu: jego zmiana może wpłynąć zarówno na liczbę błędów, jak i na liczbę fałszywych odrzuceń, dlatego jej wpływ musi być widoczny dla kierownika ds. jakości.

Kolejna rozmowa z zespołem może być prosta: który błąd rozumiemy najmniej, jakie dowody pozwoliłyby nam go zweryfikować i którą decyzję moglibyśmy bezpiecznie przetestować w kontekście obecnego procesu? Odpowiedzi na te pytania dają sztucznej inteligencji konkretne zadanie. Dają również działowi operacyjnemu możliwość oceny, czy wykonała je dobrze.

Zidentyfikuj jedną decyzję dotyczącą kontroli jakości, którą warto przetestować. Omów swój przepływ pracy z Embiggen X.