מטא (Meta) הכריזה על "עדר" (herd) של מודלי Llama 4 חדשים ממשפחת מודלי ה-Llama הפתוחים של החברה, מודלים מולטי-מודאליים מבוססי ארכיטקטורת "מומחים מעורבים" MoE (ר"ת Mixture of Experts) הכוללים את מודל Llama 4 Scout עם 109 מיליארד פרמטרים וחלון קלט גדול של 10 מיליון טוקנים, מודל ה-Llama 4 Maverick עם 400 מיליארד פרמטרים ומודל ה-Llama 4 Behemoth העצום עם 2 טריליון פרמטרים.
מודלי ה-Llama 4 החדשים מחליפים את סדרת מודלי ה-Llama 3 הקודמים של מטא גם בתור פתרונות קוד פתוח וגם כמודל המפעיל את Meta AI, פתרון ה-AI היעודי של החברה הזמין (לא בארץ) דרך אתר יעודי או באמצעות הרשתות החברתיות של החברה, בהן וואטסאפ, מסנגר ואינסטגרם.
על אף הגודל העצום שלהם, השימוש בארכיטקטורת MoE מאפשרת למודלים להכיל כמות גבוהה של פרמטרים, אך להפעיל רק חלק מהם בהתאם למשימה הספציפית באמצעות מודל "מומחה" המפעיל את כמות המשאבים הדרושה בכל פעם:
- Llama 4 Scout – מודל AI המשלב 16 "מומחים" עם 17 מיליארד פרמטרים פעילים מתוך 108 מיליארד, מודל המיועד לרוץ על ליבות NVIDIA H100 בודדת עם חלון קלט גדול במיוחד של 10 מיליון טוקנים.
- Llama 4 Maverick – מודל AI המשלב 128 "מומחים" עם 17 מיליארד פרמטרים פעילים מתוך 400 מיליארד, מודל מולטי מודלי עם חלון קלט של מיליון טוקנים.
- Llama 4 Behemoth – מודל AI עצום המשלב 16 "מומחים" עם 228 מיליארד פרמטרים פעילים מתוך 2 טריליון פרמטרים. המודל עדיין נמצא באימון.
מבחני ביצועים
כמו בכל מודל AI חדש, מטא מציגה מבחני ביצועים לשלל גרסות ה-Llama 4 החדשות:
- מודל ה-Llama 4 Scout מצליח להציג ביצועים טובים יותר ממודלי ה-Llama 3.3 70B ו-Llama 3.1 405B הקודמים של מטא כמו גם מודלי ה-Gemma 3 27B ו-Gemini 2.0 Flash Lite של גוגל וה-Mistral 3.1 24B.
- מודל ה-Llama 4 Maverick מצליח להציג ביצועים טובים יותר ה-Gemini 2.0 Flash של גוגל ו-GPT-4o של OpenAI עם דגש מיוחד על עלות נמוכה יותר מול מודל ה-GPT, כאשר מודל ה-DeepSeek v3.1 מצליח להציג ביצועי מעט טובים ממנו במבחני הקידוד ו-MMLU.
- מודל ה-Llama 4 Behemoth שנמצא עדיין באימון מצליח להציג ביצועים טובים יותר ממודלי ה-GPT-4.5, Germini 2.0 Pro ו-Claude Sonnet 3.7 אם כי ההשוואה לא זמינה בכלל המבחנים.
מודלי ה-Llama 4 Scout ו-Llama 4 Maverick החדשים של מטא זמינים דרך האתר הרשמי של החברה וגם ב-Hugging Face, כאשר מודל ה-Llama 4 Behemoth עדיין בפיתוח.
The post מטא מציגה "עדר" של מודלי Llama 4 first appeared on מגזין טכנולוגיה ובידור - Gadgety.