הורד את הקובץ (mp3) | קרא
הרשמה לפודקאסט: רשימת תפוצה במייל | iTunes | אפליקציית 'עושים היסטוריה' לאנדרואיד | RSS Link | פייסבוק | טוויטר
בשנים האחרונות הפכה 'למידה עמוקה' ל-Buzzword בעולם הטכנולוגיה, וכל חברה שניה מתאמצת לשלב את רשתות הנוירונים המלאכותיים במוצריה. אך האם למידה עמוקה היא פריצת דרך מהותית, או רק התלהבות אופנתית וקצרת מועד? בפרק זה נשמע על התגלית שאפשרה את הזינוק המטאורי בתחום הבינה המלאכותית, ועל האתגרים שמולם ניצבת טכנולוגיה מרתקת זו.
האזנה נעימה,
רן
למידה עמוקה (Deep Learning) – המחשב והמוח, חלק 2
בתחום חקר הבינה המלאכותית יש דפוס קבוע שחוזר על עצמו פעם אחר פעם אחר פעם מזה עשרות שנים: טכנולוגיה או טכניקה חדשה מופיעה – ומיד כולם מתחילים לדבר על כך שהנה, אוטוטו, יופיעו מחשבים בעלי בינה מלאכותית, ושלכל אחד מאתנו יהיה בבית רובוט שידיח את הכלים וילמד את הילדים חשבון. מספר שנים לאחר מכן, כשרובוטים בעלי בינה מלאכותית מאחרים לבוא וכולם מבינים שההבטחות הגרנדיוזיות היו לא יותר מאשר 'הייפ' בלתי מציאותי – משתררת אכזבה כללית ותחושה שבעצם, מחשבים בעלי בינה מלאכותית רחוקים מאד ממימוש, אם בכלל נצליח להמציא אותם אי פעם.
אם נסתכל סביבנו היום, נזהה סימנים להייפ דומה. צירוף המלים 'למידה עמוקה' (Deep Learning) מופיע בכל מקום, וכל סטארט-אפ שני מתפאר בכך שגם המוצר שלו משתמש בלמידה עמוקה. חיפוש שטחי ב- Google News מעלה כותרות כגון – "למידה עמוקה תציל חיי תינוקות", "למידה עמוקה תסייע לעיוורים ולחירשים" ו-"רשת למידה עמוקה של גוגל המציאה שיטת הצפנה חדשה" – ואלו תוצאות מהשבוע האחרון בלבד.
קשה להפריד בין הייפ למציאות בעולם הבינה המלאכותית. לדוגמה, כשניצח 'כחול עמוק' את גארי קספרוב, אלוף העולם בשח-מט, בשנת 1997 – התמלאו כותרות העיתונים בתחזיות אודות עלייתן לגדולה של תכנות בעלות בינה מלאכותית. אך שום דבר מהתחזית לא התמשש. אמנם תכנות השח-מט השתפרו בצורה ניכרת, אבל ניצחונו של 'כחול עמוק' לא חולל מהפכה דרמטית בעולם הבינה המלאכותית, ולא קידם אותנו אל עבר לחזון מחשבים חכמים ורובוטים שמדיחים כלים – אלא אם אתם מחשיבים אותי כסוג של רובוט מתוחכם מאוד.
קפיצה מהירה אל ההווה. GO הוא משחק יפני עתיק ופופולרי אשר נחשב למשחק מורכב וקשה יותר אפילו משח-מט. לראייה, מחשבים מסוגלים לנצח את בני האדם המוכשרים ביותר בשח-מט כבר מאז 1997 – אבל עד לפני פחות משנה, אף תוכנת מחשב אחת לא הצליחה לשחק שחקן Go מקצועני. מומחי הבינה המלאכותית שיערו שידרשו עוד עשר שנים לפחות עד שמחשב יוכל להשתוות לאדם ב-Go.
אך ה"למידה העמוקה" שינתה את מצב העניינים הזה במהירות. ב-2014 פיתחה גוגל תוכנה בשם AlphaGo, המבוססת על הטכנולוגיה החדשנית הזו, ועוד באותה השנה ניצחה AlphaGo את כל חמש מאות תכנות ה- Go האחרות שהיו זמינות בשוק באותה העת. ב-2015 ניצחה התכנה את אלוף אירופה ב-Go בתוצאה חמש-אפס, והטורניר ב-2016 הפגיש אותה עם לי סידול (Sedol) הדרום-קוראני, הנחשב לאחד מארבעת שחקני ה- Go הטובים בתבל. AlphaGo הביסה אותו בתוצאה ארבע-אחת. דהיינו, בתוך כשנה הביאה טכנולוגיית הלמידה העמוקה את המחשב מנחיתות ברורה מול שחקני Go אנושיים – למצב שבו ברור למדי שדומיננטיות מוחלטת של המחשב בענף הזה היא עניין של חודשים או שנים ספורות.
האם נצחונה של AlphaGo מסמל מהפכה אמתית ומשמעותית בתחום הבינה המלאכותית, או שמא נגלה בעוד מספר שנים ששוב נפלנו לאותה מלכודת ההייפ, ובעצם מדובר בהצלחה נקודתית בלבד?
ספקנות כלפי למידה עמוקה
את החלק הקודם סיימנו בתיאור ההתאוששות שחלה בחקר רשתות הנוירונים המלאכותיים בשנות השמונים, לאחר תקופה ארוכה שבה רשתות נוירונים מלאכותיות היו 'מוקצות' ורבים לא רצו לעסוק בהן. המפתח להתאוששות היה גילוי טכניקה בשם Backpropagation, שאפשרה בפעם הראשונה "לאמן" או "ללמד" רשתות נוירונים מרובות-שכבות לבצע משימות מורכבות יחסית. רשתות מרובות-שכבות, או 'רשתות עמוקות', הן רשתות נוירונים שבהן קבוצות של נוירונים מחוברות זו לזו כמו שכבות של עוגה: כל קבוצה מקבלת מידע מהשכבה שמעליה, מעבדת אותו ומעבירה אותו לשכבה הבאה בתור. החוקרים גילו מזמן שכדי לבצע משימות מורכבות כגון זיהוי פרצופים וכו' יש צורך במספר גדול מאד של נוירונים שמאורגנים במספר רב של שכבות. "אימון" רשת נוירונים מלאכותיים הוא הזנת מחשב במספר גדול מאוד של דוגמות, כדי לאפשר לו לגלות בכוחות עצמו מהם הכללים שעליו ליישם לשם ביצוע מוצלח של משימה. המקבילה האנושית ליכולת זו היא לימוד רכיבה על אופניים: ילדים שלומדים לרכוב על אופניים מגלים בכוחות עצמם כיצד ניתן לשמור על שיווי משקל תוך כדי דיווש.
בחלק הקודם גם שמענו על התגלית המרתקת של דיוויד רומלהארט וג'יימס מק'לילנד, אשר הדגימו כיצד מסוגלת רשת נוירונים מלאכותיים לחקות שגיאות מוכרות המתרחשות במוח האנושי – כמו שגיאות המתרחשות במהלך לימוד שפה אצל ילדים. הדמיון בין תפקודם של הנוירונים המלאכותיים למוח האדם, הצית מחדש את הסקרנות בקרב חוקרים רבים.
אבל למרות ההתעניינות המחודשת, חוקרים רבים היו עדיין ספקנים לגבי הפוטנציאל המעשי של רשתות נוירונים מלאכותיות. ראשית, אפיקי מחקר אחרים בתחום הבינה המלאכותית – במיוחד 'מערכות מומחה' ומערכות המבוססות על ניתוח סטטיסטי של מידע לשם קבלת ההחלטות – הפגינו לכל אורך שנות השבעים והשמונים ביצועים טובים יותר מאלו של רשתות הנוירונים המלאכותיים. שנית, שרשתות הנוירונים המלאכותיים נוצרו בהשראת מבנה המוח, אך בסיכומו של דבר קיימים לא מעט הבדלים בינן לבין המוח. למשל, בני אדם מסוגלים ללמוד כישורים חדשים – מלימוד שפה, דרך לימוד נהיגה ועד לכתיבת דוקטורט בתחום מחקר ספציפי – במגוון רחב של דרכים ולא רק באמצעות למידה מתוך מגוון רחב של דוגמות. בנוסף, יש דברים שמספיק לחוות אותם רק פעם אחת כדי להסיק מהם מסקנה – כמו למשל כוויה מתנור לוהט.
על אף הספקנות, היו כמה חוקרים שנמשכו לרעיון רשתות הנוירונים המלאכותיים בעיקר כיוון שמבחינה אינטואיטיבית גרידא, קל לראות את הדמיון בינן לבין אופי פעילותו של המוח. רשתות הנוירונים המלאכותיים, בדומה לרשתות הנוירונים הביולוגיים במוח, אינן זקוקות למעבד מרכזי, לתאי זיכרון או אפילו לייצוג פורמלי של מספרים ואותיות. עבור חלק מהחוקרים, הדמיון בין הרשתות המלאכותיות והמוח היה שירת הסירנה, מקור משיכה שאי אפשר להתנגד לו.
ג'פרי הינטון
אחד מאותם החוקרים שנמשכו אל רשתות הנוירונים המלאכותיות כמו פרפר אל האש היה האנגלי ג'פרי הינטון (Hinton). הינטון נולד ב-1947 למשפחה בעלת מסורת מכובדת של מחקר מדעי: אחד מאבות אבותיו היה ג'ורג' בול (Bole) – מדען שהניח את היסודות ללוגיקה הבוליאנית הקרויה על שמו. הינטון גם לא היה זר למחלוקות ולקשיים בתוך הקהילה המדעית שבהן נתקל חוקר המביע דעות אשר אינן ב'מיין-סטרים' של תחום מחקרו. באחד הראיונות סיפר הינטון את האנקדוטה הבאה:
"אבי היה אנטמולוג (חוקר חרקים) והאמין בתאוריית נדידת היבשות. בשנות החמישים המוקדמות, התאוריה הזו נחשבה לשטיות במיץ עגבניות […] והגאולוגים לגלגו עליה. הם קראו לה 'קשקוש', פנטזיה מוחלטת. אני זוכר ויכוח מרתק שאבי היה שותף לו. הייתה איזו חיפושית שלא הייתה יכולה לעוף למרחקים גדולים: היא קיימת באזור הצפוני של אוסטרליה, ובמשך מיליוני שנים לא הייתה מסוגלת לעבור מנחל אחד לאחר. ואז גילו אותה גם בחוף הצפוני של גינאה החדשה: אותה חיפושית, בשינויים קלים. הדרך היחידה שבה זה היה יכול להתרחש זה אם אוסטרליה וגיניאה החדשה היו מחוברות זו לזו. היה מעניין מאד לשמוע את התגובות של הגאולוגים לטיעון הזה. הם אמרו – 'חיפושיות לא מסוגלות להזיז יבשות.' הם פשוט סירבו להסתכל על העובדות."
הינטון פיתח עניין רב בחקר המוח ונרשם לאוניברסיטת קיימברידג' – אבל אף דיסיפלינה מדעית אחת לא הניחה את דעתו. הוא ניסה ללמוד רפואה ולאחר מכן פילוסופיה, אבל שתיהן לא שכנעו אותו שכך יוכל לפצח את מסתורי המוח. לבסוף התפשר הינטון על פסיכולוגיה – למרות שגם הפסיכולוגיה לא סיפקה לו את התשובות שחיפש. רק כשנתקל ברשתות נוירונים מלאכותיים מצא את מבוקשו: טכנולוגיה שמאפשרת לדמות, ולו באופן חלקי בלבד, את פעולת המוח ולבחון את צפונותיו. הספקנות הגדולה שהפגין הממסד המדעי כלפי רשתות נוירונים מלאכותיים בשנות השבעים והשמונים לא הרתיעה אותו.
"אנשים היו מאוד, מאוד נגד העניין הזה. היה קשה מאד [במחקר]. אבל הגישה שלי הייתה שהמוח חייב לעבוד איכשהו, ואין סיכוי שהוא עובד באותה הדרך שבה עובדים המחשבים שלנו. בפרט, הרעיון שאפשר ליצור בינה מלאכותית באמצעות [תכנות של המון פקודות וכללים] הוא פשוט מגוחך בעיני."
בשנות השמונים היה ג'פרי הינטון אחד מהחוקרים שגילו מחדש את עקרון ה-Backpropagation שחשף פול וורבוס בשנות השבעים, והיה דמות בולטת בקרב הקהילה הזעירה של חוקרי רשתות נוירונים מלאכותיים. לכל אורך שנות השמונים והתשעים פיתוחים חדשים וטכניקות חדשות שיפרו את ביצועיהן של רשתות הנוירונים המלאכותיים,אך הספקנות הגדולה מצד שאר הממסד המדעי כלפי רשתות נוירונים מלאכותיות הקשה על השגת תקציבים ומענקי מחקר. היה רק גוף אחד שהמשיך בכל זאת לממן את פעילות המחקר בנוירונים מלאכותיים: ממשלת קנדה. 'המכון הקנדי למחקרים מתקדמים' (CiFAR – נשמע כמו 'לראות רחוק') היה המוסד האקדמי היחיד שהסכים לתקצב את הינטון, ובשנת 1987 עבר החוקר האנגלי לטורונטו. עולם המחקר ברשתות נוירונים מלאכותיים התגבש סביב CiFAR והינטון, והיה עורק החיים של הקהילה הקטנה והמנודה – מקום שבו חוקרים החליפו ביניהם רעיונות באופן חופשי וגלוי.
הינטון ועמיתיו ניסו למצוא דרכים לפרוץ את מצור הספקנות שהוטל עליהם: ירחונים מדעיים חשובים לא הסכימו לפרסם מאמרים שהכילו את צרוף המילים 'נוירונים מלאכותיים.' בשנת 2003 התכנסו הינטון ושני חוקרים בולטים אחרים – יאן לקו (LeCun) מצרפת ויושוע בנג'יו (Benjio) מקנדה – וטיכסו עצה כדי להתגבר על ספקנות זו. הם החליטו להשתמש בביטוי המעורפל-משהו "למידה עמוקה" (Deep Learning), כדי לטשטש את הקשר בין מחקריהם לרשתות נוירונים מלאכותיים ולהתרחק מהסטיגמה שנקשרה אליהם. המזימה שרקחו השלושה הצליחה, ועד היום רק מעטים יחסית, מודעים לקשר ההדוק שבין המחקר בתחום הלמידה העמוקה למחקר ברשתות הנוירונים המלאכותיים בשנות השישים, השבעים והשמונים.
למידה עמוקה ומעבדים גרפיים
פריצת הדרך המשמעותית ביותר בתחום הלמידה העמוקה התרחשה בשנת 2009, ואחראים לה שני סטודנטים של הינטון – עבד אלרחמן מוחמד וג'ורג דהאל (Dahl). כדי להבין את מהות פריצת הדרך הזו, הבה ניקח צעד אחורה ונדבר על המימוש המעשי של רשתות נוירונים מלאכותיים.
מה הכוונה ב'מימוש מעשי'? ובכן, דמיינו לעצמכם שאתם מהנדסי תעופה שמתכננים דגם חדש של מטוס ואתם רוצים לבחון את זרימת האוויר על כנפיו. דרך אחת לעשות זאת היא לבנות דגם ממשי של המטוס, להציב אותו בתוך מנהרת רוח ולערוך ניסוי – אך דרך אחרת היא לבנות דגם וירטואלי של המטוס ולערוך סימולציה ממוחשבת של התנהגותו במנהרת הרוח. אם חוקי הזרימה השולטים על תנועת הרוח מובנים לנו דיים, אזי סימולציה ממוחשבת היא פתרון טוב ונוח הרבה יותר מאשר ניסוי מסורבל במנהרת רוח.
אותו העיקרון תקף גם כשמדובר ברשתות נוירונים מלאכותיים. החוקרים יכולים לבנות רשת נוירונים בעזרת רכיבים אלקטרוניים מתאימים – אבל נוירון מלאכותי בודד הוא "יצור" פשוט למדי שמתנהג באופן ברור וצפוי מאד. כיוון שכך, קל הרבה יותר לבחון את התנהגותה של רשת נוירונים מלאכותיים בסימולציה ממוחשבת מאשר לממש רשת שכזו כאוסף של רכיבים אלקטרוניים.
סימולציה שכזו נעשית, בדומה למרבית החישובים המקובלים, במעבד הראשי של מחשב, ה- CPU (ראשי תיבות של Central Processing Unit). אבל הבעיה היא שסימולציית רשת נוירונים מלאכותיים היא משימה קשה במיוחד למעבד הראשי. ברשת נוירונים מציאותית החישובים נעשים כולם במקביל: כל הנוירונים פועלים בו זמנית והמידע זורם בין השכבות כמו מים בתוך ספוג. ב-CPU, לעומת זאת, החישובים מתבצעים באופן טורי – דהיינו, על המעבד לסיים פעולה אחת לפני שהוא מתחיל פעולה אחרת. התוצאה היא שחישוב שלוקח שבריר ברשת נוירונים מקבילית, עלול לקחת שניות ארוכות בסימולציה טורית של אותה הרשת. שוו בנפשכם חוקר שרוצה לאמן רשת נוירונים בזיהוי פרצופים, והוא מציג לה תמונה אחר תמונה אחר תמונה של פרצופים אנושיים: אם מדובר במיליוני תמונות, האימון יכול להמשך שבועות ואפילו חודשים! מגבלת הביצועים של המעבד הראשי הכריחה חוקרים לאמן את הרשתות שלהם בכמות דוגמות קטנה יחסית, והגבילה את פוטנציאל הביצועים שלהן.
אך עבד אל-רחמן מוחמד וג'ורג דהאל עבדו עם מעבדים מסוג אחר: מעבדים גרפיים, או GPU (ראשי תיבות של Graphical Processing Unit) שפותחו במקור עבור משחקי מחשב, ומכילים אלפים רבים של מעבדים זעירים המבצעים חישובים רבים פשוטים יחסית – אבל במקביל זה לזה, ולא בטור. מוחמד ודהאל הבינו שהמעבדים הגרפיים, למרות שפותחו במקור למשחקי מחשב, הם בעלי מבנה מושלם לביצועי סימולציות של רשתות נוירונים מלאכותיים, הדורשות גם הן חישובים רבים פשוטים במקביל. כבר בניסיון הסימולציה הראשון במעבדים גרפיים, הצליחו מוחמד ודהאל להאיץ את חישובי רשת הנוירונים שלהם באופן דרמטי: פי שבעים ביחס למקובל!
הצלחתם של הסטודנטים דברנה חוקר אחר בשם אנדרו נג (Ng) לערוך ניסוי פורץ דרך משלו. כאמור, מגבלת האטיות של הסימולציה באמצעות המעבד הראשי הכריחה את החוקרים לאמן את הרשתות שלהם במספר דוגמות מצומצם. נג בנה רשת נוירונים לזיהוי כתב יד, וכיוון שנעזר במעבדים הגרפיים המהירים, היה מסוגל לאמן אותה במספר דוגמות גדול בהרבה. התוצאה הייתה שיפור מדהים בביצועי המערכת: פי ארבעה ביכולת זיהוי כתב יד ביחס לרשתות קודמות!
שיפור מדהים
הפרט המעניין בניסוי של אנדרו נג הוא שההצלחה במקרה הזה לא נזקפה לזכות פיתוח חדשני או לתגלית מסעירה: ההפך הוא הנכון, הוא השתמשו בבאותם האלגוריתמים בדיוק ובאותן הטכניקות שהיו מוכרות כבר מאז שנות השמונים והתשעים. השיפור בביצועים התמשש אך ורק הודות לשימוש במעבדים גרפיים מהירים, שאפשר לו לאמן את המערכת בכמות דוגמות גדולה בהרבה משהיה מקובל בעבר.
לתובנה הזו הייתה השפעה דרמטית על המחקר בתחום הבינה המלאכותית. דמיינו לעצמכם אתלטים שמתאמנים למירוץ מאה מטרים. במשך עשרות שנים השיפור בשיא העולמי היה מאית שנייה פה, ומאית שנייה כאן. לפתע פתאום מגלים הספורטאים שאם רק יחליפו את מי השתייה שלהם במיץ פטל, לפתע פתאום הם מסוגלים לשפר את שיאם בכמה שניות תמימות בכל פעם! ברור שכולם, כאיש אחד, יעברו לשתות מיץ פטל. וזה גם מה שהתרחש בעולם הבינה המלאכותית כשיותר ויותר חוקרים בעצם הבינו שהידע הדרוש כדי לתכנן רשתות נוירונים מוצלחות כבר היה קיים עוד בשנות השמונים – וכל מה שהיה חסר כדי שלמידה עמוקה 'תבקע מהביצה' ותפגין ביצועים מזהירים הם מעבדים גרפיים והמון המון המון דוגמאות לאמן איתן את המערכות. כיום, שני המרכיבים הללו זמינים כמעט כמו מיץ פטל: מעבד גרפי חזק עולה כמה מאות דולרים בלבד, והאינטרנט מספק לנו גישה לאינסוף מידע ודוגמות מכמעט כל סוג שנרצה.
התוצאות לא איחרו לבוא. ב-2012 השתתפו הינטון ושני חוקרים נוספים בתחרות בינלאומית בשם ImageNet. ImageNet היא מעין 'מיני-אולימפידה' של מערכות בינה מלאכותית בתחום הראייה הממוחשבת: קבוצות של חוקרים מכל רחבי העולם מעמידות את המערכות שלהן זו מול זו, ומשוות את ביצועיהן במבחן זיהוי תמונות שבו על המחשב להסיק שבתמונה אחת רואים 'איש רוכב על אופניים', בתמונה אחרת 'ילד אוכל סוכריה' וכן הלאה.
המערכת של הינטון וחבריו שהייתה מבוססת על מעבדים גרפיים, השיגה שיעור שגיאה של כחמישה עשר אחוזים, או במילים אחרות – המערכת זיהתה נכון יותר משבע תמונות מתוך עשר. המערכת במקום השני השיגה רק עשרים ושישה אחוזים! זהו שיפור מדהים בתחום שבו, לאורך עשרות שנים, נמדד השיפור בשברירי אחוז. זה כאילו שאתלט ישבור את שיא העולם במאה מטרים בשנייה שלמה, או שקופץ לגובה ישפר את השיא הקודם במטר.
זו הייתה רק ההתחלה. בשנה שלאחר מכן הגיעה המערכת שזכתה במקום הראשון לאחד עשר אחוזי שגיאה. שנה לאחר מכן – שישה אחוזי שגיאה. ב-2015 הפגינה המערכת הזוכה שלושה אחוזי שגיאה בלבד. הביצועים האנושיים בסוג כזה של מבחנים, אגב, נעים סביב חמישה אחוזי שגיאה, במקרה הטוב.
תצוגת תכלית
חברות האינטרנט הגדולות, רעבות כתמיד לחידושים טכנולוגיים, הסתערו על הלמידה העמוקה – או 'רשתות נוירונים מלאכותיות מרובות שכבות' – והחלו 'חוטפות' את החוקרים המובילים בתחום. עבד אל רחמן מוחמד וג'ורג' דהאל הצטרפו למיקרוסופט ב-2011, ג'אופרי הינטון הצטרף לגוגל, אנדרו נג עובד בביידו, ענקית הטכנולוגיה הסינית, ויאן לקו מוביל את תחום הלמידה העמוקה בפייסבוק. בכל אחת מהחברות חודרת הלמידה העמוקה לכל תחום ולכל מוצר אפשרי. מיקרוסופט הוסיפה לסקייפ, תכנת שיחות הוידאו, את היכולת לתרגם סימולטנית מכל שפה לכל שפה, יכולת שעד לא מכבר הייתה נחלתן הבלעדית של סדרות מדע בדיוני כמו "מסע בין כוכבים." גוגל החליפה את יכולת זיהוי הדיבור של מכשירי האנדרואיד ושיפרה אותם בכמה וכמה דרגות. בפייסבוק שדרגו מאוד את יכולת זיהוי הפרצופים מתוך תמונות שמעלים המשתמשים.
עכשיו, אני מקווה, אפשר להבין טוב יותר את הסיבה להייפ העצום ולהתרגשות הגדולה סביב בינה מלאכותית בשלוש השנים האחרונות. השיפור העצום בביצועי רשתות הנוירונים המלאכותיות בתקופה קצרה כל כך, הוא שיפור שכמותו לא חווה עולם הבינה המלאכותית מעולם. מבחינה זו, ההצלחה של AlphaGo שניצחה את האלוף הקוריאני לי סדול ב- Go אינה הצלחה ייחודית ומנותקת משאר עולם הטכנולוגיה, כפי שהייתה הצלחת 'כחול עמוק' בשחמט בשנות התשעים. 'כחול עמוק' הייתה בינה מלאכותית שהושתתה על כללים: מומחים אנושיים הגדירו למחשב את הכללים שאם יפעל על פיהם, ינצח בשחמט. למידה עמוקה מושתת על לימוד מתוך דוגמאות – ולכן היא ישימה בתחום רחב הרבה יותר של תחומים. אם נזין למחשב דוגמות של פרצופים, הוא ילמד לזהות פרצופים. אם ניתן לו דוגמות לכתב יד – הוא ילמד לזהות כתב יד ואם ניתן לו דוגמות של עסקות בבורסה הוא ילמד לסחור בבורסה. במילים אחרות, AlphaGo היא פועל יוצא, או תצוגת תכלית אם תרצו, של טכנולוגיה בעלת פוטנציאל רחב מאד במגוון גדול של תחומים.
ההתלהבות של חוקרי הבינה המלאכותית נמצאת בשיאה, וצונאמי של דיווחים יום-יומיים אודות יישומים חדשים ומסעירים של למידה עמוקה שוטף את התקשורת. ישנן מאות ואולי אלפי חברות שמנסות להיעזר ברשתות נוירונים מלאכותיות כדי לפתור מגוון רחב של אתגרים שעד היום היו מחוץ להישג ידו של עולם המחשב כגון שיפור יכולות אבחון של מחלות כדוגמת מלנומה באמצעות סריקה של כל נקודות החן בגוף הנבדק, זיהוי מצוקה עוברית בזמן אמת מתוך סריקות אולטרא-סאונד, פיתוח תרופות חדשות, ניתוח חכם של מבנים הנדסיים, שיפור התפקוד של לוויניים בחלל, יצירת תוכנות מסחר חכמות בבורסה, מכוניות אוטונומיות מתחילות לנסוע על הכבישים בארצות הברית ובאירופה. הרשימה ארוכה, ותחומים חדשים מתווספים מדי יום.
מגבלות הלמידה העמוקה
עם זאת, ללמידה עמוקה יש מגבלות, והבנת מגבלות אלה יסייעו לנו להבחין בין תחזיות שיש להן סיכוי מעשי להתממש – לכאלה שהן בלתי סבירות, לפחות בעתיד הנראה לעין.
ראשית יש לומר שיש קונצנזוס בין המומחים שלפחות בעתיד הנראה לעין למידה עמוקה לא תקדם אותנו לבינה מלאכותית מהסוג שאנחנו רואים בקולנוע: דהיינו, מחשבים ורובוטים המסוגלים לדבר, ללכת, לראות ולהגיב באופן כמו-אנושי בכל מצב. נכון להיום, למידה עמוקה מאפשרת לרשת הנוירונים המלאכותיים ללמוד מטלה כלשהי כגון זיהוי פרצופים או תרגום שפה – אבל רק מטלה צרה אחת, ותו לא. רשת נוירונים בעלת יכולת לזהות פרצופים לא תוכל לפתע ללמוד לדבר או ללכת. נוסף על כך יש לזכור שלמרות הדמיון העקרוני בין רשתות הנוירונים המלאכותיות למבנה הבסיסי של המוח, יש עדיין הבדלים תהומיים, ורשתות נוירונים אינן קרובות כלל למימוש פונקציות כמו 'הכרה' ו'מודעות עצמית'. אנחנו יכולים להסיר דאגה מלבנו בכל מה שנוגע לאיום שנשקף לאנושות מבינה מלאכותית שתזכה במודעות ותחליט להשמיד את כולנו. אנדרו נג השווה את הדאגה הספציפית הזו לחשש מפני צפיפות יתר של אוכלוסיית מאדים: זה משהו שיכול להתרחש, אבל זו בעיה רחוקה מספיק רחוקה שאינה צריכה להדאיג אותנו נכון לעכשיו.
פה ושם נתקלים החוקרים בבעיות בלתי צפויות שנובעות מהאופן הייחודי שבו לומדות רשתות נוירונים לבצע מטלות מסוימות, וצריכים למצוא להן פתרונות יצירתיים. בעיה ראשונה היא מצב שבו רשת הנוירונים המלאכותיים הסיקה כלל שגוי במהלך תהליך האימון. למשל, במאמר שהתפרסם ב-2013 תיארו חוקרים מקרה שבו מערכת שלמדה לשחק טטריס גילתה שהדרך הטובה ביותר לנצח במשחק – היא לעצור אותו, דהיינו לעשות Pause. דוגמא נוספת היא מקרה שבו חוקרים אימנו מערכת לזהות וילונות בתמונות. באחד הניסויים, זיהתה המערכת וילון בתמונה שכלל לא הכילה וילון. כדי לבדוק את מהות הבעיה, הנחו החוקרים את המחשב לסרוק את התמונות פיקסל אחר פיקסל ולעצור ברגע שהגיע למסקנה שגילה וילון. להפתעתם, גילו החוקרים כי המחשב עצר כשהגיעה לתמונה של מיטה, דווקא. מה הייתה הבעיה? הסתבר שתמונות רבות שבהם נעזרו החוקרים כדי לאמן את המערכת היו תמונות של חדרי שינה. המערכת למדה שבדרך כלל בחדרי שינה יש וילונות – וכעבור זמן הפסיקה לחפש וילונות בתמונות, והחלה לחפש מיטות. זו דוגמה לרגישות של למידה עמוקה לשגיאות בתהליך האימון, רגישות שבני אדם אינם מודעים אליה, בדרך כלל.
בעית האטימות של רשתות הנוירונים המלאכותיים
בעיה חמורה יותר היא זו המכונה בעית ה'אטימות' (Opacity) של מערכות למידה עמוקה. הדוגמה הבאה תסביר אותה. ב-2016 ערכו מספר חוקרים ניסוי בבית חולים: הם אימנו מערכת למידה עמוקה לזהות חולי דלקת ריאות בסיכון נמוך יחסית ללקות בסיבוכים מסוכנים, כדי שאפשר יהיה לשחרר אותם לביתם ולפנות מיטות במחלקה לחולים בסיכון גבוה יותר. כשבחנו את תפקוד המערכת בפועל, זיהו החוקרים שגיאה קריטית: המחשב המליץ לשחרר חולי דלקת ריאות שהיו גם חולי אסתמה. זו טעות מסוכנת, שכן דווקא חולי אסתמה נמצאים בסיכון הגבוה ביותר ללקות בסיבוכים מְסַכְּנֵי חיים! הסיבה לתקלה, התברר, היא אנומליה בנתונים שסיפק בית החולים עצמו. הרופאים, ביודעם שחולי אסתמה נמצאים בסיכון גבוה, מפנים אותם מיד למחלקת טיפול נמרץ – ורשת הנוירונים, שלא הבחינה בין הפנייה למחלקת טיפול נמרץ לשחרור בחזרה הביתה – פירשה את האנומליה הזו כאילו שחולי אסתמה אינם נמצאים בסיכון.
העובדה החשובה לענייננו היא שהתקלה הקריטית הזו נתגלתה כמעט במקרה, כשהחוקרים השוו את ביצועי מערכת הלמידה העמוקה לביצועיהן של טכנולוגיות אחרות בתחום הבינה המלאכותית. אילו הייתה המערכת פרושה "מבצעית" בבית החולים, ללא בקרה הדוקה מטעם החוקרים, הם היו מבינים שמשהו אינו כשורה, לאחר שהמחשב היה מורה לשחרר חולה אסתמה לביתו, וזה היה נפטר כתוצאה מסיבוכי דלקת ריאות. תקלות מאין אלה קשה מאד לגלות מכיוון שהכללים והחוקים שעל פיהם פועלת רשת נוירונים מלאכותיים אינם כתובים באופן מפורש במקום כלשהו – אלא מקודדים בעצמת הקשרים שבין הנוירונים המלאכותיים לבין עצמם. דהיינו, אין במערכת משפט בסגנון "אם לחולה דלקת ריאות יש גם אסתמה, אזי מותר לשחרר אותו הביתה" שבגללו טעתה המערכת בזיהוי החולים. הכלל הזה מיוצג על ידי קשר חזק בין שני נוירונים כאן, או קשר חלש בין שני נוירונים שם – אבל רשת טיפוסית עשויה להכיל מיליוני נוירונים ומיליארדי קשרים ביניהם, ובני אדם אינם מסוגלים למצוא את הידיים והרגליים בתוך כמות מידע אדירה שכזו. רשת הנוירונים המלאכותית היא כמו מסמך אקסל ענק בעל מיליוני תאים שכל אחד מהם מכיל רק ספרות….
העובדה שרשתות נוירונים מלאכותיים 'אטומות' לעינינו ובני אדם מתקשים לפרש את המידע המקודד שבהן מקשה עלינו לאמץ את הטכנולוגיה הזו בשתי ידיים – במיוחד בתחומים שבהם טעות עשויה להיות הרת גורל כגון רפואה, ביטחון או תחבורה. כמהנדס, ביליתי חלק ניכר מהקריירה שלי בחברות ביטחוניות: הוראות הבטיחות בתכנון מערכות מוטסות, למשל, רשומות בחוברות שיכולות להגיע לאלפי עמודים! אין לי ספק שחברות שכאלה יתקשו לאמץ לחיקן רשתות נוירונים שאיש אינו יכול לומר בוודאות מה רמת הבטיחות שלהן, גם אם ביצועיהן יהיו מעולים.
חוקרים רבים בתחום הבינה המלאכותית מודעים לאבסורד שבתכנון מכונה שאיננו מסוגלים להבין מה מתרחש בתוכה, אבסורד שמעורר תחושות של אי נוחות. אחד החוקרים אמר –
"חברי קהילת הבינה המלאכותית דומים דמיון רב לשוליית הקוסם [בסרט "פנטסיה" של דיסני]. השוליה למד מספיק קסמים כדי לחסוך מעצמו מאמץ ביצוע משימות מתישות – אבל לא מספיק בכדי למנוע מהדליים והמטאטאים המכושפים מלהציף את הטירה…"
ישנם מדענים המאמינים ש'אטימות' שכזו היא חלק בלתי נפרד מהמאפיינים של רשת נוירונים מלאכותיים. יכול להיות שאי אפשר לפתח רשת נוירונים מלאכותיים שאפשר להבין אותה במלואה ועדיין תהיה מסוגלת לבצע משימות מורכבות. אולי האטימות הזו הולכת יד ביד עם שאר המאפיינים של הרשת, באותו האופן שילדים יכולים להיות חמודים ומתוקים – ועדיין מדי פעם להיות מעצבנים ומציקים. במילים אחרות, ייתכן שמערכת שהביצועים הקוגניטביים שלה יהיו טובים כמו אלה של מוח האדם – בהכרח תהיה מורכבת וקשה להבנה כמו מוח האדם. אנחנו, בני האנוש המוגבלים, נידונים לָנֶּצַח להבין את המערכות המורכבות האלה באופן חלקי בלבד, באותו האופן שבו פיזיקאים מנסחים תופעות משונות בעולם הקוונטי באמצעות משוואות מתמטיות – אבל לעולם לא יוכלו להבין אותן ברמה האינטואטיבית.
לא כולם מסכימים לקבל את ההשערה הזו, וישנן קבוצות חוקרים שמפתחות שיטות כדי לנסות ולהבין מה מתחולל בתוך רשת נוירונים. חוקרים אחרים לא נותנים לאטימות של רשתות הנוירונים להטריד את מנוחתם: הם גורסים שאין צורך להבין במדויק מה מתחולל בתוך קרביה של המערכת כדי שניתן יהיה להשתמש בה ביעילות. יאן לקו, החוקר הצרפתי, הביע דיעה זו כך –
"כשאתה מגביל את עצמך לעבוד רק עם מערכות שאתה מבין בצורה מעולה ברמה התאורטית, אתה דן את עצמך להשתמש אך ורק בשיטות וברעיונות פשוטים."
כביש מהיר – או מגרש חניה?
לסיכום, שמענו על הדרך הארוכה שעשה המחקר ברשתות נוירונים מלאכותיים מאז שנות החמישים של המאה העשרים ועד ימינו. הצלחות ראשוניות כדוגמת הפרספטרון עוררו תקוות רבות – אבל כשלונות צורבים הבריחו חוקרים מעיסוק בתחום הזה, ורק מעטים כדוגמת ג'פרי הינטון ויאן לקו המשיכו לעסוק בו באופן מחתרתי-למחצה. רק בשנים האחרונות, עם חדירת מעבדים גרפיים רבי עוצמה וכמויות המידע האדירות שמאפשרות לחוקרים לאמן את רשתות הלמידה העמוקה בצורה נאותה – הבשילה הטכנולוגיה הוותיקה הזו ומכה גלים בעולם הטכנולוגיה. אין כמעט ספק שבשנים הבאות נמצא את הבינה המלאכותית כובשת שטחים רבים יותר ויותר וחודרת לתחומי עיסוק שבעבר היו נחלתם הבלעדית של בני האדם.
חוקרי הבינה המלאכותית למדו את הלקח מכשלונות שנות השבעים, ומשתדלים למתן את ציפיות הציבור מהטכנולוגיות החדשות. יאן לקו, נוהג כדרך קבע 'להצליף' בעיתונאים ובאנשי יחסי ציבור שמעוררים, לדעתו, הייפ מוגזם:
"כמה זמן ייקח [להגיע לבינה מלאכותית כמו בסרטים?] לחוקרי הבינה המלאכותית יש היסטוריה ארוכה של הערכת-חסר של הקשיים בדרך למימוש מכונות אינטליגנטיות. ההתקדמות במחקר היא כמו נסיעה במכונית: כשאתה מגלה טכניקות חדשות זה מרגיש כאילו שאתה נוסע בכביש מהיר ושום דבר לא יכול לעצור אותך. אבל המציאות היא שאנחנו נוסעים בערפל כבד ולא יודעים שבעצם, הכביש המהיר שלנו הוא בסך הכל מגרש חנייה עם קיר לבנים בצדו השני. הרבה אנשים חכמים עשו את הטעות הזו, וכל התפתחות חדשה בבינה מלאכותית מלווה בגל חדש של אופטימיות חסרת גבולות והייפ לא רציוני. אבל גם הכשלונות לא היו אף פעם מוחלטים: הם השאירו מאחוריהם כלים חדשים, רעיונות חדשים ואלגוריתמים חדשים."
אז איפה אנחנו נמצאים: בכביש מהיר, או במגרש חניה? קשה לדעת. הדרך היחידה לגלות היא, כנראה, להמשיך ללחוץ על דוושת הגז בכל הכוח, ולקוות לטוב.
בביליוגרפיה
http://www.nytimes.com/2012/11/24/science/scientists-see-advances-in-deep-learning-a-part-of-artificial-intelligence.html?_r=0
http://www.newyorker.com/news/news-desk/is-deep-learning-a-revolution-in-artificial-intelligence
http://www.kdnuggets.com/2014/02/exclusive-yann-lecun-deep-learning-facebook-ai-lab.html
https://www.thestar.com/news/world/2015/04/17/how-a-toronto-professors-research-revolutionized-artificial-intelligence.html
https://www.microsoft.com/en-us/research/publication/deep-learning-methods-and-applications/
http://www.nytimes.com/2012/06/26/technology/in-a-big-network-of-computers-evidence-of-machine-learning.html
http://www.asimovinstitute.org/neural-network-zoo/
http://www.nextplatform.com/2016/09/14/next-wave-deep-learning-applications/
http://www.thecritique.com/articles/the-computational-theory-of-mind-alan-turing-the-cartesian-challenge/
http://brain.mada.org.il/segev1.html
http://plato.stanford.edu/entries/computational-mind/
https://ecommons.cornell.edu/bitstream/handle/1813/18965/Rosenblatt_Frank_1971.pdf;jsessionid=4896F3469B3DA338CC28C46405E93DD7?sequence=2
http://csis.pace.edu/~ctappert/srd2011/rosenblatt-congress.pdf
https://web.csulb.edu/~cwallis/artificialn/History.htm
http://web.media.mit.edu/~minsky/papers/SymbolicVs.Connectionist.html
https://www.technologyreview.com/s/546116/what-marvin-minsky-still-means-for-ai/
http://www.kdnuggets.com/2016/09/9-key-deep-learning-papers-explained.html/3
http://www.iep.utm.edu/connect/
http://plato.stanford.edu/entries/connectionism/
http://nautil.us/issue/40/learning/is-artificial-intelligence-permanently-inscrutable
https://intelligence.org/2013/08/25/transparency-in-safety-critical-systems/
http://playground.tensorflow.org/
http://blog.kaggle.com/2014/12/22/convolutional-nets-and-cifar-10-an-interview-with-yan-lecun/
https://plus.google.com/+YannLeCunPhD/posts/Qwj9EEkUJXY
https://www.reddit.com/r/MachineLearning/comments/25lnbt/ama_yann_lecun
http://spectrum.ieee.org/automaton/robotics/artificial-intelligence/facebook-ai-director-yann-lecun-on-deep-learning
https://www.technologyreview.com/s/540001/teaching-machines-to-understand-us/
http://www.macleans.ca/society/science/the-meaning-of-alphago-the-ai-program-that-beat-a-go-champ/
http://www.andreykurenkov.com/writing/a-brief-history-of-neural-nets-and-deep-learning/
http://science.sciencemag.org/content/287/5450/47.full
http://www.blutner.de/NeuralNets/NeuralNets_PastTense.pdf
http://thesciencenetwork.org/programs/cogsci-2010/david-rumelhart-1