כלי לשכפול קולות של בני אדם שייצרה OpenAI. הציעו להפסיק זיהוי קולי בחשבונות בנק | צילום: Costfoto/NurPhoto/Rex/Shutterstock
מסוכן מדי לציבור: OpenAI לא תשיק כלי לשכפול קולות אנושיים
הכלי, Voice Engine, משכפל קולות של בני אדם בהתבסס על הקלטה של 15 שניות בלבד - ובחברת הבינה המלאכותית חוששים שישמש להפצת דיסאינפורמציה, במיוחד במערכות בחירות. "מקווים לבחון הטמעה אחראית"
כלי חדש שפיתחו בחברת הבינה המלאכותית OpenAI שיכול לשכפל באופן מוצלח קול של אנשים בהתבסס על הקלטה של 15 שניות בלבד, לא ישווק לציבור, זאת לאחר שהוחלט שהוא מסוכן מדי ועלול לגרום להפצת מידע שגוי במהלך מערכות הבחירות הרבות שיתקיימו השנה ברחבי העולם, כך לפי דיווח בגרדיאן.
"בהתאם לגישה שלנו כלפי בטיחות AI וההתחייבויות מרצון שלנו, אנחנו בוחרים להציג אבל לא לשווק באופן מקיף את הטכנולוגיה הזו בשלב זה", נמסר מהחברה. עם זאת הוסיפו כי הם מקווים שההצגה הזו תחשוף את הפוטנציאל, אך גם "תשמש כמניע לחזק את העמידות החברתית נגד האתגרים הטמונים במודלים גנרטיבים משכנעים".
הכלי, הנקרא Voice Engine, פותח במקור ב-2022 וגרסה ראשונית שלו שימשה עבור מאפיין ההמרה של טקסט כתוב לדיבור ב-ChatGPT. "אנחנו מקווים להתחיל בדיאלוג על ההטמעה האחראית של קולות סינתטיים ועל האופן בו החברה יכולה לאמץ את היכולות הללו", מסרה החברה בהצהרה. "בהתבסס על השיחות הללו ועל התוצאות של המבחנים המצומצמים שנערוך, נגיע להחלטה מושכלת האם להטמיע את הטכנולוגיה הזו במלוא עוצמתה".
ההצהרה כללה דוגמאות לשימושים קיימים בטכנולוגיה בחברות שונות, ביניהן חברת טכנולוגיית החינוך Age of Learning המשתמשת בכלי כדי לייצר קריינות לשיעורים. בדומה, אפליקציית HeyGen מאפשרת למשתמשים לייצר תכנים מוקלטים ומתורגמים בצורה רהוטה אך שומרים על המבטא והקול של הדובר המקורי. לדוגמה, המרת הקלטה של דוברת צרפתית לאנגלית במטא צרפתי.
שימוש חיובי נוסף שציינו היה של חוקרים במכון נורמן פרינס למדעי המוח ברוד איילנד, שבהתבסס על הקלטה באיכות נמוכה של אישה הצליחו לשחזר לה את הקול שאיבדה בשל גידול במוח.
בכל זאת, ב-OPENAI הציעו להפסיק בהדרגה את השימוש בזיהוי על פי קול כאמצעי ביטחון בגישה לחשבונות בנק ולמידע רגיש אחר. כמו כן, קראו בחברה לחקור "קווי מדיניות להגן על השימוש בקולות של אנשים ב-AI" ולחנך את הציבור להבין את היכולות והמגבלות של טכנולוגיית AI "כולל האפשרות של תכנים מטעים שנוצרו על ידי AI". בחברה ציינו עוד כי התוצרים של הכלי כוללים סימני מים, שאמורים לזהות אותם כמבוססי AI. "החוזים שלנו עם השותפים מחייבים קבלת הסכמה מפורשת ומיודעת מהדובר המקורי, ואיננו מאפשרים למפתחים ליצור דרכים למשתמשים ספציפיים ליצור קולות משל עצמם", הדגישו.
רק לפני חודשיים השיקו בחברה את סורה, המאפשרת יצירת סרטונים באמצעות פקודת טקסט פשוטה.