מדריך לביצוע מבדקי איכות בתהליכים המשלבים כלי AI

דגשים יישומיים למבדקי AS9100 במערכות ניהול איכות המשלבות בינה מלאכותית, אנליטיקה ותהליכים דיגיטליים

מטרת המדריך

מטרת מדריך זה היא לספק לעורכי מבדקים מסגרת קצרה, מעשית וממוקדת לביצוע מבדקים בתהליכים שבהם משולבים כלי בינה מלאכותית, למידת מכונה, אנליטיקה מתקדמת, מערכות חיזוי, ראייה ממוחשבת, צ׳אטבוטים או כלי AI גנרטיביים. המדריך מתמקד בהבנת השפעת הכלים על אפקטיביות מערכת ניהול האיכות, על עמידה בדרישות לקוח, על בקרת תהליכים ועל התאמת מוצר או שירות לדרישות.

עקרון מוביל לעורך המבדק

כלי AI אינם משנים את מטרת המבדק: עדיין נדרש לאסוף ראיות אובייקטיביות, להעריך אותן מול קריטריוני המבדק, ולבדוק האם התהליך מבוקר ומשיג את תוצאותיו המתוכננות. עם זאת, כאשר החלטות, המלצות או בקרות תהליך מושפעות ממודל, אלגוריתם, נתונים או אוטומציה, עורך המבדק חייב להבין לא רק את הפעילות האנושית בתהליך אלא גם את ההיגיון, הנתונים, הממשקים והבקרות הדיגיטליות שמאחוריה.

הכנה למבדק

• זהו מראש באילו תהליכי QMS נעשה שימוש בכלי AI: תכן ופיתוח, רכש וספקים, בקרת איכות, תחזוקה חזויה, ניהול מלאי, ניתוח תלונות, הדרכה, ניהול סיכונים, שירות לקוחות או קבלת החלטות תפעולית.

• קבעו מהו תפקיד כלי ה-AI בתהליך: תמיכה בהחלטה, המלצה, חיזוי, סיווג, זיהוי חריגות, יצירת תוכן, אוטומציה או קבלת החלטה ללא התערבות אדם.

• הבינו את גבולות השימוש: האם הכלי משפיע ישירות על התאמת מוצר, בטיחות מוצר, שחרור מוצר, דירוג ספקים, קבלת דרישות לקוח או עמידה בדרישות רגולטוריות.

• אתרו בעלי תפקידים רלוונטיים לראיון: בעל התהליך, משתמשי המערכת, גורם IT/דאטה, מאשרי שינויים, אחראי אבטחת מידע, אחראי איכות וספק חיצוני אם קיים.

מיפוי עיקרי לדרישות AS9100

סעיף AS9100	מוקד מבדק בתהליך משולב AI
4.4	האם תהליכי ה-QMS, הממשקים, התשומות, הפלטים והבקרות הדיגיטליות מוגדרים ומבוקרים.
5.3	האם הוגדרו אחריות וסמכות לשימוש, תחזוקה, שינוי, ניטור ופירוש תוצרי AI.
6.1	האם זוהו סיכונים והזדמנויות כגון הטיה, איכות נתונים, הסתמכות יתר, אבטחת מידע, פרטיות ותוצר שגוי.
7.1.3 / 7.1.5	האם קיימות תשתיות, תוכנה, חומרה, משאבי ניטור ובקרה מתאימים להפעלה אמינה של הכלי.
7.2 / 7.3	האם המשתמשים ומנהלי המערכת כשירים ומודעים למגבלות, סיכונים ושימוש מותר בכלי.
7.5	האם נשמרת מידע מתועד לגבי נתונים, גרסאות מודל, שינויים, אימות, תוצרים והחלטות מושפעות AI.
8.1 / 8.1.1	האם השימוש ב-AI משולב בתכנון ובקרת התפעול ובניהול סיכונים תפעוליים.
8.3	כאשר AI תומך בתכן, סימולציה או החלטות הנדסיות — האם בוצעו אימות ותיקוף מתאימים.
8.4	כאשר AI משמש להערכת ספקים או מסופק על ידי גורם חיצוני — האם הספק והטכנולוגיה הוערכו ובוקרו.
8.5.6	האם שינויים במודל, בנתונים, בפרמטרים או בממשקים מנוהלים תחת בקרת שינויים.
9.1 / 9.2 / 9.3	האם ביצועי כלי ה-AI מנוטרים, נבדקים במבדקים פנימיים ומובאים כתשומה לסקר הנהלה.
10.2 / 10.3	האם תקלות, תלונות או אי-התאמות הקשורות לתוצרי AI מנותחות ומובילות לפעולה מתקנת ושיפור.

שאלות מבדק מומלצות

• מהי מטרת כלי ה-AI ומהם התוצרים הצפויים ממנו?

• אילו נתונים מוזנים לכלי, מה מקורם, כיצד נבדקת שלמותם, דיוקם והרלוונטיות שלהם?

• האם הוגדרו מגבלות שימוש, תנאי אי-שימוש או מצבים המחייבים העברה להחלטת אדם?

• כיצד בוצעו אימות ותיקוף לפני שימוש מבצעי, ומה היו תוצאותיהם?

• כיצד מנוטרים דיוק, עקביות, אמינות, הטיה אפשרית וירידה בביצועים לאורך זמן?

• האם קיימת עקיבות בין תוצר AI לבין ההחלטה האיכותית שהתקבלה בעקבותיו?

• כיצד מנוהלים שינויים במודל, בנתוני אימון, בפרמטרים, בגרסאות תוכנה או בממשקים?

• האם נשמרת סודיות מידע, הגנת קניין רוחני, אבטחת מידע ועמידה בדרישות לקוח ורגולציה?

• האם הוגדרה תוכנית גיבוי במקרה של כשל מערכת, ירידה בביצועים או תוצר לא סביר?

ראיות אובייקטיביות שכדאי לבקש

• מפת תהליך המציגה את נקודות השימוש ב-AI, תשומות, פלטים, ממשקים והחלטות.

• הגדרת דרישות עסקיות ואיכותיות לכלי, לרבות קריטריוני קבלה ותוצאות נדרשות.

• רשומות אימות ותיקוף, בדיקות קבלה, בדיקות דיוק, בדיקות השוואה מול החלטת מומחה או נתוני אמת.

• רשומות ניהול סיכונים הכוללות הטיה, איכות נתונים, אבטחת מידע, פרטיות, מודל דריפט והסתמכות יתר.

• רשומות הרשאות, אחריות, הדרכה וכשירות משתמשים.

• רשומות בקרת שינויים, גרסאות מודל, עדכוני תוכנה, שינויי פרמטרים ומעקב אחר השפעת השינוי.

• דוחות ניטור ביצועים, חריגות, תלונות, אי-התאמות, פעולות מתקנות ושיפורים.

• הסכמים או הערכת ספק חיצוני כאשר הכלי, המודל, הענן או השירות מסופקים מבחוץ.

דגשים ייחודיים לתעשיית תעופה, חלל וביטחון

בתהליכי AS&D יש לבחון בזהירות מיוחדת מצבים שבהם AI משפיע על בטיחות מוצר, ניהול תצורה, מאפיינים קריטיים, מניעת חלקים מזויפים, FOD, שחרור מוצר, אישור ספקים, החלטות תכן או פעולות תחזוקה חזויה. במקרים אלה אין להסתפק בהדגמה תפעולית של הכלי; יש לדרוש ראיות לכך שהשימוש ב-AI אינו פוגע בשליטה התהליכית, בעקיבות, בדרישות לקוח, בדרישות סטטוטוריות ורגולטוריות או בהתאמת המוצר.

ניסוח ממצא מבדק

בעת ניסוח ממצא, יש לתאר את הדרישה, הראיה והפער באופן תהליכי ולא טכנולוגי בלבד. לדוגמה: “בתהליך הערכת ספקים נעשה שימוש בכלי AI לדירוג ספקים, אולם לא נמצאו קריטריונים מאושרים לאימות דיוק הדירוג, לא הוגדרו מצבים המחייבים סקירת אדם, ולא נשמרת עקיבות בין תוצר הכלי לבין החלטת האישור. מצב זה עלול להשפיע על אפקטיביות בקרת ספקים ועל יכולת הארגון להבטיח התאמה לדרישות רכש.”

סיכום

מבדק איכות בתהליך המשלב AI צריך להתמקד בשאלה המרכזית: האם הכלי תורם להשגת תוצאות התהליך מבלי ליצור סיכון בלתי מבוקר לאיכות, בטיחות, עקיבות, עמידה בדרישות או קבלת החלטות. הגישה המומלצת היא לשלב בין מבדק תהליכי רגיל לבין הבנה מספקת של הנתונים, המודל, הממשקים, הבקרות, האחריות והניטור השוטף.