Discover and read the best of Twitter Threads about #פידטק
Most recents (24)
צדיק, יש לך דקה לשמוע על אלכס משיח הAI?
האיש שבלעדיו הסמיילי 🤯 היה כנראה מובטל.
היום נכיר את האיש הכי חשוב שאתם לא מכירים.
מוכנים? בואו איתי 🧵>>
#פידטק #פידאטה #פידטכנולוגיה
(אה כן, אם שמתם Bookmark - תוסיפו איזו הקלקת לייק, זה סופר עוזר לי 🥰)
האיש שבלעדיו הסמיילי 🤯 היה כנראה מובטל.
היום נכיר את האיש הכי חשוב שאתם לא מכירים.
מוכנים? בואו איתי 🧵>>
#פידטק #פידאטה #פידטכנולוגיה
(אה כן, אם שמתם Bookmark - תוסיפו איזו הקלקת לייק, זה סופר עוזר לי 🥰)
כדי להבין מה קורה בשרשור הזה, אני בונה על זה שאתם יודעים בגדול איך עובדת רשת קונבולוציה.
זה בעצם סוג של חלק ג' אחרי רשת נוירונים רגילה.
רשת נוירונים:
רשת קונבולוציה:
נמשיך >>
זה בעצם סוג של חלק ג' אחרי רשת נוירונים רגילה.
רשת נוירונים:
רשת קונבולוציה:
נמשיך >>
1. פאן פאקט עלי, מעריץ שרוף של @GeronRoy והפודקאסט "כשבגרוש היה חור".
הפודקאסט בוחן את ההיסטוריה בראי כלכלי, כי מה הדרך הכי טובה ללמוד כלכלה אם לא מאירועים שקרו באמת?
אז בהשראתו:
היום נצלול להיסטוריה הרחוקה של הAI אי שם ב.. 2012.
מוכנים? >>
osimhistoria.com/grush
הפודקאסט בוחן את ההיסטוריה בראי כלכלי, כי מה הדרך הכי טובה ללמוד כלכלה אם לא מאירועים שקרו באמת?
אז בהשראתו:
היום נצלול להיסטוריה הרחוקה של הAI אי שם ב.. 2012.
מוכנים? >>
osimhistoria.com/grush
איך הענקנו לבינה המלאכותית את חוש הראיה?
היום נצלול אל הCNN, לא רשת הטלוויזה, רשת נוירונים (NN) שעושה.. קונבולוציות (C).
קוֹנְ - בּוֹ - לוּ - צִיּוֹת.
כן.
מוכנים? בואו איתי 🧵>>
#פידטק #פידאטה #פידטכנולוגיה
(אה כן, אם שמתם Bookmark - תוסיפו איזו הקלקת לייק, זה סופר עוזר לי 🥰)
היום נצלול אל הCNN, לא רשת הטלוויזה, רשת נוירונים (NN) שעושה.. קונבולוציות (C).
קוֹנְ - בּוֹ - לוּ - צִיּוֹת.
כן.
מוכנים? בואו איתי 🧵>>
#פידטק #פידאטה #פידטכנולוגיה
(אה כן, אם שמתם Bookmark - תוסיפו איזו הקלקת לייק, זה סופר עוזר לי 🥰)
כדי להבין מה קורה בשרשור הזה, אני בונה על זה שאתם יודעים בגדול איך עובדת רשת נוירונים בסיסית. לא יודעים?
הנה!
נמשיך >>
הנה!
נמשיך >>
1. אפשר להכניס תמונות לרשת נוירונים רגילה.
הן אוסף של פיקסלים.
"נשטיח" אותן לטור מספרים ונכניס אל הרשת.
העניין הוא שזה עובד.. לא משהו.
הקלט ענק, וקשה לרשת להתמודד עם שונות בו.
ה9 הזה יכול להיות ממוקם בכל מקום על מפת הפיקסלים הזו.
בקיצור, קונבולוציות! >>
(אנימציה של 3b1b)
הן אוסף של פיקסלים.
"נשטיח" אותן לטור מספרים ונכניס אל הרשת.
העניין הוא שזה עובד.. לא משהו.
הקלט ענק, וקשה לרשת להתמודד עם שונות בו.
ה9 הזה יכול להיות ממוקם בכל מקום על מפת הפיקסלים הזו.
בקיצור, קונבולוציות! >>
(אנימציה של 3b1b)
אשתף בוויכוח שהיה לי עם אבי שהשאיר אותי מהורהר.
תקציר - הבנתי שהפעם אבי צודק (בניגוד לאמא שתמיד צודקת), וגם הבנתי שאולי אני הולך להישאר בלי עבודה.
(יצא טיפה ארוך אבל שווה לקרוא)... >
#פידטק #AI
תקציר - הבנתי שהפעם אבי צודק (בניגוד לאמא שתמיד צודקת), וגם הבנתי שאולי אני הולך להישאר בלי עבודה.
(יצא טיפה ארוך אבל שווה לקרוא)... >
#פידטק #AI
אבא שלי- veteran במגזר הבנייה, אבל לא אדם טכנולוגי. מצאנו את עצמנו בוויכוח על ההשפעה (או היעדרה) של ההתקדמות הטכנולוגית על ענף הבנייה. הדיון התחיל בהבחנה שלמרות ההתקדמות הטכנולוגית, ענף הבנייה נותר מאחור. >
טענתי הייתה ש-AI ורובוטיקה יכנסו בקרוב לתחום הבנייה וישנו אותו לגמרי, בעיקר בגלל חוסר היעילות שקיים בענף. אבי טען שבגלל סביבתם המורכבת של אתרי בנייה, אימוץ כלים כאלה לא יקרה בקרוב, בנוסף לכך פועלי הבניין הם לא בדיוק אנשי טכנולוגיה. באופן קלאסי הוויכוח הסתיים ב-"נחייה ונראה". >
אם תחפרו במוח של Midjourney, תוכלו למצוא אוזניים.
מסתבר שמודלי הדיפוזיה למיניהם מבינים, באמת מבינים מה הם רואים.
והרעיון? מה זה פשוט ומכונה DIFT.
אני - 🤯
תפסתי אתכם? יאללה 🧵>>
#פידטק #פידאטה #פידטכנולוגיה
(אה כן, אם שמתם Bookmark - תוסיפו ככה הקלקה על הלייק, זה סופר עוזר לי 🥰)
מסתבר שמודלי הדיפוזיה למיניהם מבינים, באמת מבינים מה הם רואים.
והרעיון? מה זה פשוט ומכונה DIFT.
אני - 🤯
תפסתי אתכם? יאללה 🧵>>
#פידטק #פידאטה #פידטכנולוגיה
(אה כן, אם שמתם Bookmark - תוסיפו ככה הקלקה על הלייק, זה סופר עוזר לי 🥰)
אזהרה לפני שנתחיל.
התלבטתי אם לדבר על הנושא הזה, כי כדי להבין מה קורה בו צריך הבנה של קונספטים שלא יהיה לי תקציב להסביר פה עד הסוף.
אם אתם מרגישים שההסברים הם.. 60%.. זה מה יש, אבל אני מספיק בטוח שהרעיון הכללי הולך לעבור ושווה את זה.
אז גם אם יש משהו שחצי ברור, זרמו איתי. >>
התלבטתי אם לדבר על הנושא הזה, כי כדי להבין מה קורה בו צריך הבנה של קונספטים שלא יהיה לי תקציב להסביר פה עד הסוף.
אם אתם מרגישים שההסברים הם.. 60%.. זה מה יש, אבל אני מספיק בטוח שהרעיון הכללי הולך לעבור ושווה את זה.
אז גם אם יש משהו שחצי ברור, זרמו איתי. >>
1. נתחיל במודלי דיפוזיה.
אלה שמייצרים תמונות.
עוד יגיע שרשור רק עליהם, אנסה לזקק כאן את מה שחשוב כדי להבין את מה שהחוקרים הראו.
מודל דיפוזיה הוא מודל שלומד לנקות רעש.
בתהליך האימון שלו מכניסים לו תמונה, ולאט לאט "מרעישים" אותה עד שהיא בלאגן מוחלט והמודל לומד לשחזר אותה. >>
אלה שמייצרים תמונות.
עוד יגיע שרשור רק עליהם, אנסה לזקק כאן את מה שחשוב כדי להבין את מה שהחוקרים הראו.
מודל דיפוזיה הוא מודל שלומד לנקות רעש.
בתהליך האימון שלו מכניסים לו תמונה, ולאט לאט "מרעישים" אותה עד שהיא בלאגן מוחלט והמודל לומד לשחזר אותה. >>
מורה נבוכים לAI!
שמעתם על המאמר החדש שטוען ש"יש אופטימייזר חדש לטרנספורמר שעוקף את אדם במזעור הלוס"?
נמאס לכם מכל מילות הבאזז האלה?
בשרשור הארוך מידי הזה נעשה דיבאזינג לכל הבאז.
מוכנים? 25 מושגים ומונחים, שרשור ע-נ-ק לסופ"ש 🧵>>
#פידטק #פידאטה #פידטכנולוגיה
שמעתם על המאמר החדש שטוען ש"יש אופטימייזר חדש לטרנספורמר שעוקף את אדם במזעור הלוס"?
נמאס לכם מכל מילות הבאזז האלה?
בשרשור הארוך מידי הזה נעשה דיבאזינג לכל הבאז.
מוכנים? 25 מושגים ומונחים, שרשור ע-נ-ק לסופ"ש 🧵>>
#פידטק #פידאטה #פידטכנולוגיה
1. דאטהסט ומודל.
המודל הוא בעצם הAI שפועל על הדאטהסט, שהוא הנתונים מהם הAI לומד.
המודל הוא ה"איך", הדאטהסט הוא ה"ממה" לומדים.
הדאטהסט הוא טבלה עם עמודות ושורות.
בדרך כלל מחלקים דאטהסט ל3 חלקים.
הראשון הוא סט האימון עליו המודל מתאמן. השני הוא >>
המודל הוא בעצם הAI שפועל על הדאטהסט, שהוא הנתונים מהם הAI לומד.
המודל הוא ה"איך", הדאטהסט הוא ה"ממה" לומדים.
הדאטהסט הוא טבלה עם עמודות ושורות.
בדרך כלל מחלקים דאטהסט ל3 חלקים.
הראשון הוא סט האימון עליו המודל מתאמן. השני הוא >>
סט הולידציה, עליו תוך כדי תהליך האימון בודקים את ביצועי המודל, בלי שהוא מתאמן עליו.
השלישי הוא סט הבחינה, שנשמר בצד עד הרגע האחרון, לא נוגעים בו באימון. עושים עליו בדיקה פעם אחת בסוף כדי לייצג כמה המודל באמת למד.
השורות בדאטהסט הן הדגימות השונות, והעמודות מובילות אותנו ל: >>
השלישי הוא סט הבחינה, שנשמר בצד עד הרגע האחרון, לא נוגעים בו באימון. עושים עליו בדיקה פעם אחת בסוף כדי לייצג כמה המודל באמת למד.
השורות בדאטהסט הן הדגימות השונות, והעמודות מובילות אותנו ל: >>
הAI שפותר בעיות במתמטיקה, ועושה את זה נפלא!
אני יודע שזה הוכרז הרגע, אבל אני מכה בברזל כל עוד הוא חם.
מה פשר ההכרזה של OpenAI?
איך זה שונה ממודל שפה רגיל?
בואו איתי 🧵 >>
#פידטק #פידאטה #פידטכנולוגיה
אני יודע שזה הוכרז הרגע, אבל אני מכה בברזל כל עוד הוא חם.
מה פשר ההכרזה של OpenAI?
איך זה שונה ממודל שפה רגיל?
בואו איתי 🧵 >>
#פידטק #פידאטה #פידטכנולוגיה
כדי להבין מה קורה כאן, צריך תפישה טובה של מה זה מודל שפה, לשירותכם בשרשור המצורף.
אני גם ממליץ לקרוא את השרשור על AutoGPT כרקע, שמקושר בציוץ הבא.
מודלי שפה חובה.
AutoGPT אפשר בלי.
נתחיל >>
אני גם ממליץ לקרוא את השרשור על AutoGPT כרקע, שמקושר בציוץ הבא.
מודלי שפה חובה.
AutoGPT אפשר בלי.
נתחיל >>
1. דיברנו כבר על Complex Reasoning בשרשור על AutoGPT.
אפשר להסביר למודל שפה "איך לחשוב".
להגיד לו שהוא צריך לתכנן, לבקר את עצמו, לתת סיבות ורק אז לפעול.
הבעיה העיקרית היא תופעת ה"הזיות", הקטע הזה שמודל שפה אומר לכם שבנימין נתניהו הוא רקדנית בלט רומנייה >>
אפשר להסביר למודל שפה "איך לחשוב".
להגיד לו שהוא צריך לתכנן, לבקר את עצמו, לתת סיבות ורק אז לפעול.
הבעיה העיקרית היא תופעת ה"הזיות", הקטע הזה שמודל שפה אומר לכם שבנימין נתניהו הוא רקדנית בלט רומנייה >>
הGPT בצלמנו ובדמותנו - AutoGPT.
האם זה הAI שסוף סוף ידע להכין לנו קפה?
לא.
האם הGPT פתאום מרגיש כמו מוח אנושי?
קצת כן.
היום נשוט בין המדהים לקצת מפחיד ונדבר על סוכן הAI האישי שלכם, AutoGPT 🧵>>
#פידטק #פידאטה #פידטכנולוגיה
האם זה הAI שסוף סוף ידע להכין לנו קפה?
לא.
האם הGPT פתאום מרגיש כמו מוח אנושי?
קצת כן.
היום נשוט בין המדהים לקצת מפחיד ונדבר על סוכן הAI האישי שלכם, AutoGPT 🧵>>
#פידטק #פידאטה #פידטכנולוגיה
שימו לב.
כדי להבין מה קורה כאן, נצטרך תפישה רעיונית של מה זה מודל שפה (LLM).
אנסה להיות ברור ככל האפשר, אבל אני ממליץ בחום לעבור על השרשור הזה לפני שאתם מתקדמים לAutoGPT.
אחרי שאמרנו את זה, נתחיל >>
כדי להבין מה קורה כאן, נצטרך תפישה רעיונית של מה זה מודל שפה (LLM).
אנסה להיות ברור ככל האפשר, אבל אני ממליץ בחום לעבור על השרשור הזה לפני שאתם מתקדמים לAutoGPT.
אחרי שאמרנו את זה, נתחיל >>
1. שבת שטופת שמש והחלטתם לבלות אותה בהרכבת רהיט מאיקאה.
כיף גדול.
הארגז עומד מולכם.
"טוב, צריך לפתוח את הארגז", אתם חושבים.
"בלי לפתוח את הארגז אי אפשר להתחיל בכלל", אתם ממשיכים לחשוב.
"אוקי, אני אחתוך פה את נייר הדבק".
"רק אזהר לא להחתך בדרך".
נשמע מוכר? >>
כיף גדול.
הארגז עומד מולכם.
"טוב, צריך לפתוח את הארגז", אתם חושבים.
"בלי לפתוח את הארגז אי אפשר להתחיל בכלל", אתם ממשיכים לחשוב.
"אוקי, אני אחתוך פה את נייר הדבק".
"רק אזהר לא להחתך בדרך".
נשמע מוכר? >>
תהיתם פעם מה קורה אם נותנים לשני מודלי AI להלחם זה בזה?
נשמע כמו מתכון לסוף העולם?
יכול להיות, But Not Today.
למרות שהיה נראה שהן מתחילות להעלם מהעולם, רשתות אדוורסריאליות (GANs) חזרו ובגדול עם DraGAN, הכלי המטורף לעיבוד תמונה.
אז איך זה עובד? 🧵>>
#פידאטה #פידטק #פידטכנולוגיה
נשמע כמו מתכון לסוף העולם?
יכול להיות, But Not Today.
למרות שהיה נראה שהן מתחילות להעלם מהעולם, רשתות אדוורסריאליות (GANs) חזרו ובגדול עם DraGAN, הכלי המטורף לעיבוד תמונה.
אז איך זה עובד? 🧵>>
#פידאטה #פידטק #פידטכנולוגיה
1. נתחיל בהערה חשובה.
ה-GANs, קיצור של Generative Adversarial Networks, היו ה-מודלים הגנרטיביים של "פעם", כש"פעם" בAI זה לפני שנים ספורות.
היה באז גדול על thisxdoesnotexist.com, מודל גנרטיבי אמיתי (כמשתמע, GANs הם GenAI) שיצר כל מיני דברים שלא קיימים.
היה מדהים, אבל אז הגיחו >>
ה-GANs, קיצור של Generative Adversarial Networks, היו ה-מודלים הגנרטיביים של "פעם", כש"פעם" בAI זה לפני שנים ספורות.
היה באז גדול על thisxdoesnotexist.com, מודל גנרטיבי אמיתי (כמשתמע, GANs הם GenAI) שיצר כל מיני דברים שלא קיימים.
היה מדהים, אבל אז הגיחו >>
2. הDiffusion Models לעולם והדיחו את הGANs מגדולתן.
הם המודלים שבבסיס מידג'רני, Dalle2 וחבריהם.
היום לא נדבר על דיפוזיה אלא על אותן GANs שעושות קאמבק היסטורי (כלומר, היסטוריה מ2014).
arxiv.org/abs/1406.2661
מוכנים?
נתחיל! >>
הם המודלים שבבסיס מידג'רני, Dalle2 וחבריהם.
היום לא נדבר על דיפוזיה אלא על אותן GANs שעושות קאמבק היסטורי (כלומר, היסטוריה מ2014).
arxiv.org/abs/1406.2661
מוכנים?
נתחיל! >>
לאמן GPT על המידע של סבא מושיק.. בלי לאמן אותו?!
נכון שתמיד רציתם ChatGPT שיוכל לענות על שאלות שקשורות לעבודת השורשים שלכם?
"היי, תגיד, איפה סבא מושיק נולד?"
כל זה בלי לאמן אותו על שום דאטה של שום סבא!
שרשור טכנולוגי קליל לשבת! 🧵 >>
#פידאטה #פידטק #בינהמלאכותית
נכון שתמיד רציתם ChatGPT שיוכל לענות על שאלות שקשורות לעבודת השורשים שלכם?
"היי, תגיד, איפה סבא מושיק נולד?"
כל זה בלי לאמן אותו על שום דאטה של שום סבא!
שרשור טכנולוגי קליל לשבת! 🧵 >>
#פידאטה #פידטק #בינהמלאכותית
1. קודם כל, אם אין לכם שום הבנה איך מודלי שפה (LLM) עובדים מזמין אתכם קודם כל לקרוא את השרשור הקליל שלי בנושא, כי אני הולך להשתמש במילים כמו "קונטקסט" או "טוקן".
אעשה את המיטב להיות מובן גם בלעדיו, בכל מקרה. >>
אעשה את המיטב להיות מובן גם בלעדיו, בכל מקרה. >>
2. מה הדרך הסטנדרטית לגרום למודל שפה לדעת דברים?
לאמן אותו על המידע הרלוונטי.
המודל מתאמן בשיטה של השלמת משפטים.
לוקחים את הדאטה, כל פעם חותכים באמצע ונותנים למודל לחזות את החצי השני.
התהליך עולה כסף, מצריך הבנה טכנית של כיצד מבצעים אותו בצורה נכונה, >>
לאמן אותו על המידע הרלוונטי.
המודל מתאמן בשיטה של השלמת משפטים.
לוקחים את הדאטה, כל פעם חותכים באמצע ונותנים למודל לחזות את החצי השני.
התהליך עולה כסף, מצריך הבנה טכנית של כיצד מבצעים אותו בצורה נכונה, >>
היום לא נדבר על ה"איך", נדבר על ה"למה".
תהיתם פעם למה רשתות נוירונים עובדות?
אם לא, ידעתן שהתשובה קצת מדכאת?
אז למה #בינהמלאכותית עובדת, ולמה דווקא רשתות נוירונים.
כמובן בלי צורך בידע קודם, קדימה 🧵 >>
#פידטק #פידאטה #פידטכנולוגיה
תהיתם פעם למה רשתות נוירונים עובדות?
אם לא, ידעתן שהתשובה קצת מדכאת?
אז למה #בינהמלאכותית עובדת, ולמה דווקא רשתות נוירונים.
כמובן בלי צורך בידע קודם, קדימה 🧵 >>
#פידטק #פידאטה #פידטכנולוגיה
1. אז למה אני מדוכא?
מאחורי רשתות הנוירונים נמצאת האמונה שכל מה שאנחנו עושים הוא בסוף.. פונקציה.
כן. אלה שלמדנו עליהן בתיכון, אלה שגזרנו, אלה שחישבנו להן אינטגרל. הפרק הזה בבגרות.
הבינה האנושית היא פונקציה.
בChatGPT, הx הוא הטקסט שאתם מכניסים. f(x) היא התשובה שלו.
מאחורי רשתות הנוירונים נמצאת האמונה שכל מה שאנחנו עושים הוא בסוף.. פונקציה.
כן. אלה שלמדנו עליהן בתיכון, אלה שגזרנו, אלה שחישבנו להן אינטגרל. הפרק הזה בבגרות.
הבינה האנושית היא פונקציה.
בChatGPT, הx הוא הטקסט שאתם מכניסים. f(x) היא התשובה שלו.
2. זאת תפישה פילוסופית. זה אומר שכל תוצאה אפשר למדל כתרגיל מתמטי מורכב של הסיבה שגרמה לה.
הפונקציות המדוברות הן בדרך כלל פונקציות סטטיסטיות.
למה סטטיסטיות?
כי אם תשאלו אותי "מה נשמע" כשאובייקטיבית הכל נפלא בחיי, לפעמים אענה "הכל טוב", לפעמים "סבבה" ולפעמים "אחלה" >>
הפונקציות המדוברות הן בדרך כלל פונקציות סטטיסטיות.
למה סטטיסטיות?
כי אם תשאלו אותי "מה נשמע" כשאובייקטיבית הכל נפלא בחיי, לפעמים אענה "הכל טוב", לפעמים "סבבה" ולפעמים "אחלה" >>
התגלית ששברה את עולם הבינה המלאכותית (והסטטיסטיקה) התרחשה ב..
2018?
כן. בערך 5 שנים.
היום נדבר על התופעה המוזרה המכונה Double Descent, שהותירה את גדולי המדענים פעורי פה.
קחו אוויר, ובואו איתי להבין מה קרה שם, כמובן ללא צורך בידע קודם 🧵
#פידטק #פידאטה #בינה_מלאכותית
>>
2018?
כן. בערך 5 שנים.
היום נדבר על התופעה המוזרה המכונה Double Descent, שהותירה את גדולי המדענים פעורי פה.
קחו אוויר, ובואו איתי להבין מה קרה שם, כמובן ללא צורך בידע קודם 🧵
#פידטק #פידאטה #בינה_מלאכותית
>>
1. נתחיל בלדבר על מודל ה"בינה המלאכותית" החשוב ביותר שידוע לאנושות: הממוצע.
כן. הממוצע.
מה אנחנו מנסים להשיג בבינה מלאכותית?
במשפט, למזער את שגיאות המודל בביצוע משימה כלשהי. אם המשימה היא לחזות גבהים של סטודנטים, המודל הכי פשוט שיתן את השגיאה הנמוכה ביותר הוא הממוצע. >>
כן. הממוצע.
מה אנחנו מנסים להשיג בבינה מלאכותית?
במשפט, למזער את שגיאות המודל בביצוע משימה כלשהי. אם המשימה היא לחזות גבהים של סטודנטים, המודל הכי פשוט שיתן את השגיאה הנמוכה ביותר הוא הממוצע. >>
2. הממוצע מזקק בתוכו אינפורמציה על כל הקבוצה בפרמטר יחיד. הוא לא לומד את גבהי הקבוצה בע"פ, נכון? נכון, מלבד מקרה אחד.
מה הוא?
טוב, זה קל - כשיש חבר אחד בקבוצה.
הממוצע "למד בעל פה" את המידע שעליו הוא התאמן. אין הכללה, רק שינון. >>
מה הוא?
טוב, זה קל - כשיש חבר אחד בקבוצה.
הממוצע "למד בעל פה" את המידע שעליו הוא התאמן. אין הכללה, רק שינון. >>
היום נצלול אל מעמקי המוח של הAI.
תכינו את עצמכם לInception של עולם הGPT, כי לפני שלושה ימים הבינה המלאכותית התחילה להסביר את עצמה.
לא צריך (אך מומלץ) ידע מוקדם, רק הרבה סקרנות וקצת יראת כבוד.
שרשור על איך לומדים על AI עם AI, קדימה 🧵 >>
#פידטק #פידאטה #פידטכנולוגיה
תכינו את עצמכם לInception של עולם הGPT, כי לפני שלושה ימים הבינה המלאכותית התחילה להסביר את עצמה.
לא צריך (אך מומלץ) ידע מוקדם, רק הרבה סקרנות וקצת יראת כבוד.
שרשור על איך לומדים על AI עם AI, קדימה 🧵 >>
#פידטק #פידאטה #פידטכנולוגיה
1. קודם כל, רקע במודלי שפה (LLM).
אם אין לכם שמץ מה קורה שם בקישקע של ChatGPT, מזמין אתכם לקפוץ לקרוא את השרשור הזה.
לא מאסט, אבל ממש-מאד-ממש מומלץ.
זה יעשה סדר, כי נכנס פה לאקטואליה.
נמשיך >>
אם אין לכם שמץ מה קורה שם בקישקע של ChatGPT, מזמין אתכם לקפוץ לקרוא את השרשור הזה.
לא מאסט, אבל ממש-מאד-ממש מומלץ.
זה יעשה סדר, כי נכנס פה לאקטואליה.
נמשיך >>
2. רשתות נוירונים של מודלי שפה הן רעיון די מטורלל. מיליארדי פעולות מתמטיות שבסוף מתרגמות לאיזה משפט.
אבל איך?
מה קרה בבפנוכו שהביא את המודל להוציא משפט כזה? האם המודל שלנו מוטה?
גזען?
במילים אחרות - האם הוא "מיושר" (Aligned) עם הערכים האנושיים?
אבל איך?
מה קרה בבפנוכו שהביא את המודל להוציא משפט כזה? האם המודל שלנו מוטה?
גזען?
במילים אחרות - האם הוא "מיושר" (Aligned) עם הערכים האנושיים?
משתגעים להבין מה זה כל הGPT הזה?
אני במילואים, עייף וחסר יכולת להשקיע במטלות שלי, אז ברור שזה הזמן לכתוב שרשור.
היום נכנס לנבכי הLLM - "מודלי שפה ענקיים" וננסה להבין מה קורה בקישקע שלהם ואיך הם עובדים כלכך טוב.
כרגיל, לא צריך ידע במתמטיקה או מחשבים.
#פידטק #פידאטה יאללה >>
אני במילואים, עייף וחסר יכולת להשקיע במטלות שלי, אז ברור שזה הזמן לכתוב שרשור.
היום נכנס לנבכי הLLM - "מודלי שפה ענקיים" וננסה להבין מה קורה בקישקע שלהם ואיך הם עובדים כלכך טוב.
כרגיל, לא צריך ידע במתמטיקה או מחשבים.
#פידטק #פידאטה יאללה >>
1. נתחיל בהתחלה עם כותרת מפוצצת.
הGPT הוא חלק מקבוצת אלגוריתמים בשם LLM - Large Language Models שמבוססים על רשתות הנוירונים הקלאסיות (NN) עם ים שדרוגים.
אם NN היא קיר, אז LLM הוא סוג של עזריאלי.
אם הרעיון של NN זר לכם, מזמין אתכם לשרשור שלי בנושא >>
הGPT הוא חלק מקבוצת אלגוריתמים בשם LLM - Large Language Models שמבוססים על רשתות הנוירונים הקלאסיות (NN) עם ים שדרוגים.
אם NN היא קיר, אז LLM הוא סוג של עזריאלי.
אם הרעיון של NN זר לכם, מזמין אתכם לשרשור שלי בנושא >>
1.5. אמ;לק קצר לפני שנתחיל: הLLMs לוקחים את הטקסט, ממירים אותו למספר, חוזים מה המספר הכי סביר הבא, ממירים את המספר הכי סביר הבא לטקסט, והופ - קיבלנו תשובה מChatGPT. עכשיו נרד לעומק של המכונה המשומנת הזו.
איך זה קורה? >>
איך זה קורה? >>
היי #פידטק, אני אלכס, "מומחה" לבינה מלאכותית (לא מילים שלי 😂) והמתלהב הראשי מכל מה שבנוי מסיליקון ומקיא טקסט!
כמה מחשבות אחרי יום שהרגיש כמו שנה
אולי עקבתם, אולי לא,
קרו כמה דברים ב 14 במרץ, 2023,
πAI day 2023
ת'רד ארווווך מאוד - רק למשקיעים או משעוממים מאוד, מוזמנים 👇
כמה מחשבות אחרי יום שהרגיש כמו שנה
אולי עקבתם, אולי לא,
קרו כמה דברים ב 14 במרץ, 2023,
πAI day 2023
ת'רד ארווווך מאוד - רק למשקיעים או משעוממים מאוד, מוזמנים 👇
היום בבום, נפלו עלינו 2 מודלי שפה ענקיים, והכרזה של אחת הענקיות בעולם הטק על זה שהם הולכים להכניס AI בכל מקום, בג'ימייל, באופיס, בכל דבר שרק המשתמשים יבקשו.
רק שבין שלושת ההכרזות (שלדעתי לא סתם קרו באותו יום) הבדל קטן...
רק שבין שלושת ההכרזות (שלדעתי לא סתם קרו באותו יום) הבדל קטן...
גוגל עשו את מה שהיה ברור לכולם שיהיו חייבים לעשות אחרי ההכרזה של מיקרוסופט (וההשקה של bing chat שאגב, היום סיפרו לנו סוף סוף שגם הוא מבוסס על GPT4!).
היה ברור לכולם שגוגל מאחור, במיוחד בתור אלה הוציאו את המאמר שהתחיל הגל הנוכחי של AI,עוד אי שם ב2017!
1/
היה ברור לכולם שגוגל מאחור, במיוחד בתור אלה הוציאו את המאמר שהתחיל הגל הנוכחי של AI,עוד אי שם ב2017!
1/
לפני שבוע וקצת צומצמתי ממקום העבודה כחלק מגל פיטורים גדול. זה הגיע משום מקום.סוג של הלם. אני מבין שפה זה לא לינקדאין (שם כתבתי פוסט חיפוש), אבל אם לרגע אפשר, אז תודה לכל מי שעזר/ה, אתם מהממים ואתם יודעים מי אתם/ן! #פידטק #דבירמחפשעבודה
(לא תייגתי, אני לא יודע אם זה מתאים להם/ן)
(לא תייגתי, אני לא יודע אם זה מתאים להם/ן)
בניסיון לעשות לימונדה מהלימון.
אז שרשור #דבירמחפשעבודה יוצא לדרך עם דברים שלמדתי along the way , אם מישהו אשכרה יתעניין בזה.
טוב, אז קודם כל לעדכן קורות חיים. לשבת לכתוב ולהיעזר במדריך ששתפה @ShaharAvigezer בשרשור חיפוש עבודה שלה שנכתב על ידי @esapir:
אז שרשור #דבירמחפשעבודה יוצא לדרך עם דברים שלמדתי along the way , אם מישהו אשכרה יתעניין בזה.
טוב, אז קודם כל לעדכן קורות חיים. לשבת לכתוב ולהיעזר במדריך ששתפה @ShaharAvigezer בשרשור חיפוש עבודה שלה שנכתב על ידי @esapir:
@ShaharAvigezer @esapir והמדריך (שרשור) האלמותי של @rinaarts לחיפוש העבודה, פה אני מפנה לכתיבת קורות החיים. בסוף השרשור הזה, יש הפנייה לשרשור כולו. כן כן, שרשור בתוך שרשור בתוך שרשור.
בקיצור מומלץ בחום.
בקיצור מומלץ בחום.
זה יותר תוכנן לסופ"ש, אבל נתקלתי בפוסט אנונימי של הלום קרב, ובאנשים שמייעצים לו דברים מטומטמים כמו להדחיק.
אז שלום: אני עמית, רס"ן במילואים, סובל מפוסט טראומה כתוצאה מאירוע קרבי. אלו מכם שבסירקל כבר ראו אותו.
#פידצבא #פידשיריון
כיום בן 36. מפקד הפלוגה והטנק שנעלם לרגע לפני 11 שנה
אז שלום: אני עמית, רס"ן במילואים, סובל מפוסט טראומה כתוצאה מאירוע קרבי. אלו מכם שבסירקל כבר ראו אותו.
#פידצבא #פידשיריון
כיום בן 36. מפקד הפלוגה והטנק שנעלם לרגע לפני 11 שנה
כמו כולם - התגייסתי בגיל 18, ובשנת 2011 בעודי מ"פ פלוגה ג' בגדוד 82 (פוסט קודם לא קשור ), בזמן פעילות מבצעית ברצועת עזה - פתיחת ציר מערבית, עליה פיקדתי, ממש לקראת סיום, נקלעתי למארב משולב שכלל מטען צד שוואז תקני (כ100 ק"ג), וירי של 2 טילי כתף, ככה"נ RPG29
שהחטיאו. הטען שלי נפצע קל ופונה ולאחר מכן שוחרר מהשירות. אני סבלתי ממעט רסיסים באיזור העיניים (תודה לאל על משקפי רא"ל). הטבור של בוגי 4 שמאל הלך קיבינימט, וזה בעצם מה שהציל אותנו מחדירת דופן התובה (מרכבה ס2).
המשכתי לשרת כשנה בקבע עד שהשתחררתי באקורד צורם, ומשם לחיים האזרחיים>
המשכתי לשרת כשנה בקבע עד שהשתחררתי באקורד צורם, ומשם לחיים האזרחיים>
ביקשתם וקיבלתם - הנה הסיפור על איך התגלגלתי לתכנות ול #פידטק. הכל התחיל בקריירה הקודמת שלי, כמעצבת UX/UI, כ4 שנים, כשהייתי עובדת עם צוותי פיתוח כאאוטסורס בשלל חברות. העבודה שלהם תמיד הייתה נראית לי כמו קסם 🤩 והיה מתפוצץ לי המח כשהעיצובים שלי קמו לתחייה!
אחרי שסיימתי תקופה בסטודיו שעבדתי בו, נוצרה לי הזדמנות ללמוד קורס פיתוח אנדרואיד בג'ון ברייס. אהבתי את הרעיון של לרכוש סקיל כזה וחשבתי שבטח יהיה לי יותר קל לתקשר עם מפתחות ומפתחים לצידי. בכללי, אני מאמינה שטוב להכיר בצורה בסיסית את מאחורי הקלעים של צוותים שעובדים איתם ביום ביום.
לפני הקורס, מצאתי איזה וורקשופ קצר של Rails Girls והחלטתי להתנסות קצת בתכנות. באופן קוסמי, התיישבתי ליד @_bondit_ שבעצמה עשתה הסבה. בזמן שאני מתרגשת מזה שהצלחתי לגרום לדברים להופיע על המסך (!) התחלנו לדבר והיא אמרה לי שאם אני ככה נהנית, אני לגמרי צריכה ללכת על זה. קיבלתי השראה 😌
יש לכם שעון של GARMIN? יש לכם SENSIBO? אפשר במאמץ קטן (וגם סבלנות וקצת נסיון בקריאות API) לשלוט במזגן מהשעון🤯
לפחות אני הצלחתי, ככה עשיתי את זה:🧵
#פידטק
לפחות אני הצלחתי, ככה עשיתי את זה:🧵
#פידטק
1/n
תביאו את המפתח API של סנסיבו מכאן:
home.sensibo.com/login?next=/me…
תורידו לגרמין שלכם את האפליקציה ApiCalls:
apps.garmin.com/en-US/apps/ac9…
אפשר לנסות להבין לבד את הפקודות API מהאתר של SENSIBO אבל ריכזתי את מה שצריך בגיטהאב כאן:
github.com/eladile/sensib…
תביאו את המפתח API של סנסיבו מכאן:
home.sensibo.com/login?next=/me…
תורידו לגרמין שלכם את האפליקציה ApiCalls:
apps.garmin.com/en-US/apps/ac9…
אפשר לנסות להבין לבד את הפקודות API מהאתר של SENSIBO אבל ריכזתי את מה שצריך בגיטהאב כאן:
github.com/eladile/sensib…
2/n
בשביל הפקודות צריך את המפתח API שהשגנו. פקודה נוספת משיגה את ה PODID שזה מזהה המזגן הספציפי שבו אתם רוצים לשלוט.
ברגע שיש לכם את שניהם ושיבצתם אותם בפקודות שלמעלה, אתם כבר יכולים לשלוט בסנסיבו מהמחשב שלכם שזה בונוס נחמד :)
זה הזמן לניסויים - לא עובד במחשב לא עובד בשעון.
בשביל הפקודות צריך את המפתח API שהשגנו. פקודה נוספת משיגה את ה PODID שזה מזהה המזגן הספציפי שבו אתם רוצים לשלוט.
ברגע שיש לכם את שניהם ושיבצתם אותם בפקודות שלמעלה, אתם כבר יכולים לשלוט בסנסיבו מהמחשב שלכם שזה בונוס נחמד :)
זה הזמן לניסויים - לא עובד במחשב לא עובד בשעון.
1/ נושא שתמיד רציתי לכתוב עליו הוא המודל הכלכלי של ה-Cloud. הרבה בדיחות (מוצלחות) רצות ברשת על כמה החשבון החודשי יוצא מנופח (ניגע בזה), אבל לא מספיק מדובר על הבשורה הכלכלית שמודל הענן הביא איתו. אז חשבתי לשתף קצת בנושא.
#פידטק עם קריצה ל-#פידכלכלה, יוצאים לדרך.
#פידטק עם קריצה ל-#פידכלכלה, יוצאים לדרך.
2/ מכירים את הבחור שהכין סנדוויץ' מאפס? אבל באמת מאפס, כולל להכין מלח ממי ים, לגדל גינת ירק וחיטה, לחלוב פרה ולשחוט תרנגולת. זה לקח לו 6 חודשים ו-1,500$.
הסיבה שאני מזכיר אותו היא כי לא תמיד אנחנו מבינים כמה עולה לספק שירות מסוים.
theverge.com/2015/9/17/9344…
⚠️ אזהרת טריגר לצמחונים
הסיבה שאני מזכיר אותו היא כי לא תמיד אנחנו מבינים כמה עולה לספק שירות מסוים.
theverge.com/2015/9/17/9344…
⚠️ אזהרת טריגר לצמחונים
3/ אז מה העלות האמיתית של דאטה סנטר, אם הייתם צריכים לעשות הכול בעצמכם?
נהוג לחשוב על העלות של השרת עצמו, שהוא אכן כחצי מהעלות, אבל בנוסף אליו יש עוד עלויות נלוות: נדל"ן, חשמל, כוח-אדם, רשת ועוד. גם מבחינת אופרציה, וגם נטו מבחינת כסף, זה אירוע לא זול.
נהוג לחשוב על העלות של השרת עצמו, שהוא אכן כחצי מהעלות, אבל בנוסף אליו יש עוד עלויות נלוות: נדל"ן, חשמל, כוח-אדם, רשת ועוד. גם מבחינת אופרציה, וגם נטו מבחינת כסף, זה אירוע לא זול.
היי #פידטק, נניח ואתם חדשים בתפקיד שלכם ורואים משהו שגורם לכם לחשוב ״מה לעזאזל הם חשבו כשהם עשו את זה?!״, מה הדבר הראשון שאתם עושים?
אם התשובה היא ״משנים״, אז רוב הסיכויים שאתם טועים. בואו נדבר רגע למה ובדרך נעבור לנו דרך הגדר של צ׳סטרטון, נירמול הסטיה וחלון אוברטון.
אם התשובה היא ״משנים״, אז רוב הסיכויים שאתם טועים. בואו נדבר רגע למה ובדרך נעבור לנו דרך הגדר של צ׳סטרטון, נירמול הסטיה וחלון אוברטון.
בתור מתכנתים הדחף הראשוני שלנו הוא לפתור את כל הבעיות. אבל מה שנראה לנו בתור בעיה בשלב הראשון הוא לא בהכרח בעיה.
הגדר של צ׳סטרטון הוא עקרון שאומר ״יש פה גדר, אתה לא מבין למה, אל תלך להוריד אותה לפני שאתה מבין למה.״ en.wikipedia.org/wiki/G._K._Che…
יש פה 3 דברים שאנחנו צריכים להבין:
הגדר של צ׳סטרטון הוא עקרון שאומר ״יש פה גדר, אתה לא מבין למה, אל תלך להוריד אותה לפני שאתה מבין למה.״ en.wikipedia.org/wiki/G._K._Che…
יש פה 3 דברים שאנחנו צריכים להבין:
1) למה אנחנו בכלל רוצים להוריד את הגדר הזו? אם זה מרגיש לנו נכון אינטואיטיבית, אז מאיפה האינטואיציה הזו נכונה?
אנחנו חייבים את זה לעצמנו להבין למה הדחף הזה קיים, כדי שנוכל להסביר לעצמנו ולאחרים למה, בלי קונטקסט ״צ׳סטרטוני״ בכלל, השינוי נכון.
לפעמים נגלה שאין באמת רציונל טוב.
אנחנו חייבים את זה לעצמנו להבין למה הדחף הזה קיים, כדי שנוכל להסביר לעצמנו ולאחרים למה, בלי קונטקסט ״צ׳סטרטוני״ בכלל, השינוי נכון.
לפעמים נגלה שאין באמת רציונל טוב.
#פידטק, מכירים את זה ששולחים ימבה תמונות וסרטונים מהמסגרות של הילדים? ושיש משהו ששווה לשמור, אז צריך לעבור ידנית על מה שמעניין ולגבות (אני משתמש ב @googlephotos) וזה מעיק!
אז היה לי ״משעמם״ וכתבתי בוט @WhatsApp שפשוט עושים לו fwd של התמונות והסרטונים והוא מעלה אותם לחשבון שלך.
אז היה לי ״משעמם״ וכתבתי בוט @WhatsApp שפשוט עושים לו fwd של התמונות והסרטונים והוא מעלה אותם לחשבון שלך.
כשהתחלתי את זה היום, לא היה לי מושג איך בכלל עושים את זה. שמעתי שיש כל מיני שירותים שאפשר להעזר בהם, אז חיפשתי ונזכרתי ב @twilio. פתחתי חשבון, קיבלתי קרדיט חינם, רשמתי את המספר שלי והצטרפתי ל Whatsapp sandbox.
אוקי, מה עכשיו? צריך שרת שידע לקבל את הבקשות וגם שיהיה לי מהיר להרים את זה. הלכתי על פייתון, שיש לי ניסיון איתה מהתואר והיא אחלה בשביל לעשות איזה prototype.
השתמשתי ב flask כשרת מקומי אך זה לא מספיק, כי לשרת הזה יש צורך לקבל מידע שיגיע משירות ההודעות.
השתמשתי ב flask כשרת מקומי אך זה לא מספיק, כי לשרת הזה יש צורך לקבל מידע שיגיע משירות ההודעות.
לקח לי יותר מידי זמן לכתוב את השרשור הזה, אבל אחת ולתמיד:
"רשת נוירונים", מה זה ואיך זה עובד.
בגלל (בזכות!) @StavKislev רוב העוקבים שלי מ #פידרפואה, אז כל האנלוגיות כאן יהיו מהתחום.
#פידאטה , #פידטק 🧵
(כרגיל - אין צורך בידע במתמטיקה או במחשבים. או ברפואה.)
"רשת נוירונים", מה זה ואיך זה עובד.
בגלל (בזכות!) @StavKislev רוב העוקבים שלי מ #פידרפואה, אז כל האנלוגיות כאן יהיו מהתחום.
#פידאטה , #פידטק 🧵
(כרגיל - אין צורך בידע במתמטיקה או במחשבים. או ברפואה.)
(1/16) נתחיל רגע בשאלה פילוסופית - מה המשמעות של הביטוי "ליישם ידע"? מה התוצר של "ללמוד"?
למידה היא כמו מפעל.
אל מפעל כתר נכנסים בלוקים של פלסטיק, ויוצאים כיסאות מהודרים ומוכנים לקטטה. משהו קורה שם באמצע במפעל של כתר.
כשרופא מאבחן מחלה, הוא מכניס אל תוך המוח
למידה היא כמו מפעל.
אל מפעל כתר נכנסים בלוקים של פלסטיק, ויוצאים כיסאות מהודרים ומוכנים לקטטה. משהו קורה שם באמצע במפעל של כתר.
כשרופא מאבחן מחלה, הוא מכניס אל תוך המוח
(2/16) את כל מדדי החולה - ופולט החוצה "עגבת"!
רשת נוירונים היא ניסיון לחקות את מה שקורה שם באמצע, בשפה שמחשב מבין.
הרשת מקבלת המון מספרים, ומוציאה החוצה המון (או מעט) מספרים. כן, זה עד כדי כך פשוט. יש שלושה עניינים מעניינים:
מה הם המספרים האלה, ואיך יוצרים אותם ומה משמעותם.
רשת נוירונים היא ניסיון לחקות את מה שקורה שם באמצע, בשפה שמחשב מבין.
הרשת מקבלת המון מספרים, ומוציאה החוצה המון (או מעט) מספרים. כן, זה עד כדי כך פשוט. יש שלושה עניינים מעניינים:
מה הם המספרים האלה, ואיך יוצרים אותם ומה משמעותם.
תוך כדי למידה חשבתי לעצמי: "היי, במקום לסכם, למה שלא אכתוב שרשור?".
אז הנה, היום נדבר על רשתות נוירונים גרפיות (GNNs).
מה זה גרף, למה זה טוב, למי זה עוזר ואיך זה קשור למלחמה בבוטים בטוויטר ול #בינהמלאכותית?
בואו נגלה #פידאטה, #פידטק🧵
(כרגיל - אין צורך בידע במתמטיקה או מחשבים)
אז הנה, היום נדבר על רשתות נוירונים גרפיות (GNNs).
מה זה גרף, למה זה טוב, למי זה עוזר ואיך זה קשור למלחמה בבוטים בטוויטר ול #בינהמלאכותית?
בואו נגלה #פידאטה, #פידטק🧵
(כרגיל - אין צורך בידע במתמטיקה או מחשבים)
(1/14) נתחיל בהתחלה. בכיתה ז' פתאום נכנסות אותיות למתמטיקה. לא רק פעולות חשבון, אלא איזה X מוזר שצריך למצוא. גרף הוא רעיון מתמטי כמו זה, שפשוט מגיח לחיים בשלב כלשהו באוניברסיטה. כמו שהX הזה הוא ציור שבא לתאר רעיון, הגרף הוא ציור של נקודות שמחוברות זו לזו, גם הן מתארות רעיון.
(2/14) טוויטר הוא סוג של גרף - כל נקודה ("צומת") היא צייצן, ואפשר לחבר אותה לכל מי שעוקב אחריה בחץ ("קשת"). שתי נקודות מחוברות נקראות "שכנות". אפשר להשתמש בחצים כדי לתאר קשר חד צדדי, או בקו לקשר דו"צ. גרפים מתארים המון תופעות בעולם שלנו, לא רק רשתות חברתיות. מולקולה היא סוג של
טוב, אז בעקבות הבקשות: הנה המדריך הטכני השלם לאיך יוצרים כתובת מייל משלך, עם catch all כדי לקבל ולשלוח מייל עם דומיין ישירות לג׳ימייל או לפרוטון.
בהמשך לכתבה שפרסמתי לפני חצי שנה ב @Haaretz
haaretz.co.il/captain/tutori…
דיסקליימרים: מיועד לאנשים עם אוריינטציה טכנית. >>
בהמשך לכתבה שפרסמתי לפני חצי שנה ב @Haaretz
haaretz.co.il/captain/tutori…
דיסקליימרים: מיועד לאנשים עם אוריינטציה טכנית. >>
>> המצרכים:
1. שם מתחם, לצורך העניין כזה שקניתם ב-@GoDaddy
2. חשבון ג׳ימייל. עם אימות דו שלבי מופעל (לא המלצה, זה מנדטורי).
3. חשבון חינמי ב-forwardemail.net - לי יש בתשלום של 36 דולר בשנה.
>>
1. שם מתחם, לצורך העניין כזה שקניתם ב-@GoDaddy
2. חשבון ג׳ימייל. עם אימות דו שלבי מופעל (לא המלצה, זה מנדטורי).
3. חשבון חינמי ב-forwardemail.net - לי יש בתשלום של 36 דולר בשנה.
>>
>> נכנסים לחשבון של forwardemail ולוחצים על ״הוספת דומיין חדש״. מוסיפים את הדומיין שלכם/. ספק הדומיין צריך להפנות את התנועה של המיילים ל-forwardemail. איך הוא ידע לעשות את זה? אם נכנס להגדרות שלו ונגדיר. יש הסבר איך נכנסים להגדרות של כל ספק. נכנס לממשק של גודדי. >>
