נראות מקסימלית

שיטת הנראות המקסימלית היא שיטה נפוצה בסטטיסטיקה להתאמת מודל סטטיסטי לנתונים, כלומר היא משמשת במסגרת אמידה פרמטרית למציאת אמד לפרמטר המאפיין את המודל. למשל במקרה שבו נתון שמשתנה מקרי הוא בעל התפלגות נורמלית אלא שהתוחלת שלו אינה ידועה, גישה זו מספקת דרך למציאת אומדן לתוחלת.

באופן אינטואיטיבי הגישה אומרת שכדי לנבא היטב את הפרמטר האמיתי על-סמך מדגם מקרי מסוים, יש לבדוק איזה פרמטר מתוך כל האפשרויות הוא זה ש"יסביר" בצורה הטובה ביותר את המדגם. כלומר אומד הנראות המרבית הוא הפרמטר שאם היינו מציבים בפונקציית ההתפלגות מראש, הוא היה נותן את ההסתברות הגבוהה ביותר לקבל את המדגם שאכן התקבל, ובכך ממקסם את פונקציית הנראות.

בשפה המתמטית מקובל לסמן את הנראות המקסימלית באותיות MLE, ראשי תיבות של Maximum Likelihood Estimation.

פונקציית הנראות

ערך מורחב – פונקציית נראות

נניח כי עיבוד הנוסחה נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle X_1,...,X_n } מדגם המפולג עם פונקציית הצפיפות עיבוד הנוסחה נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle f_x(x,\theta)} (כל הדוגמאות שוות התפלגות), ונניח שהדוגמאות בלתי תלויות. פונקציית הנראות (likelihood; מסומנת לעיתים כ-עיבוד הנוסחה נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \mathcal{L}} ) של המדגם היא הצפיפות המשותפת:

הוא פרמטר (או פרמטרים) של המודל או של פונקציית הצפיפות.

לעיתים נעשה שימוש בנראות הממוצעת המציינת את תוחלת הנראות לדוגמה יחידה.

אומד הנראות המרבית

נרצה למצוא את הערך שממקסם את פונקציית הנראות (עיבוד הנוסחה נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \{ \hat\theta_\mathrm{mle}\} \subseteq \{ \underset{\theta\in\Theta}{\operatorname{arg\,max}}\ \hat\ell(\theta\,;\,x_1,\ldots,x_n) \} } ), הנקרא אומד הנראות המרבית. נהוג להשתמש בלוגריתם שאיתו בדרך כלל נוח יותר לעבוד (הודות לגזירה פשוטה יותר וליציבות נומרית), ומאחר שהלוגריתם הוא פונקציה מונוטונית עולה, הערך שימקסם את לוג הנראות (log-likelihood) ימקסם גם את הנראות. למציאת הערך המרבי נשתמש ב-עיבוד הנוסחה נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ln} , נגזור ונשווה לאפס:

מתוך המשוואה המתקבלת מחלצים את ערך הנעלם , והוא זה שממקסם את פונקציית הנראות. ערך זה הוא אומד הנראות המרבית לפרמטר הנאמד .

דוגמאות

התפלגות נורמלית

בהנחה שגובהן של ג'ירפות מתפלג נורמלית, ניתן לאמוד את ערך התוחלת והשונות באמצעות נראות מקסימלית על מדגם הג'ירפות שבגן החיות, שכן אין באפשרותנו למדוד את גובהן של כל הג'ירפות בעולם. אם נניח כי הג'ירפות בגן החיות מהוות מדגם מקרי של n ג'ירפות מאוכלוסיית הג'ירפות בעולם, , נוכל לאמוד את הפרמטרים עיבוד הנוסחה נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ \mu} ו-עיבוד הנוסחה נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ {\sigma}^2} (התוחלת והשונות) של ההתפלגות באמצעות אומדי נראות מקסימליים כלהלן.

עבור התוחלת:

עיבוד הנוסחה נכשל (שגיאת המרה. השרת ("https://en.wikipedia.org/api/rest_") השיב: "Cannot get mml. Server problem."): {\displaystyle {\hat {\mu }}={\overline {x}}\equiv {\frac {1}{n}}\sum _{i=1}^{n}x_{i},\qquad }

ועבור השונות:

כאשר עיבוד הנוסחה נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \overline{x} } הוא ממוצע המדגם שלנו.

התפלגות אחידה

ערך מורחב – בעיית הטנק הגרמני

במקרה שבו קלפים ממוספרים 1 עד n מוכנסים לתיבה ואחד נבחר בהתפלגות אחידה; ובהתאם גודל הדגימה הוא 1. אם n אינו ידוע, האומד נראות מקסימלית שלו הוא המספר m הכתוב על הקלף שנבחר (ההסתברות ש-n הוא קטן מ־m היא אפס, עבור עיבוד הנוסחה נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle n \geq m} ההסתברות היא עיבוד הנוסחה נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \frac{1}{n}} , והיא הגבוהה ביותר כאשר עיבוד הנוסחה נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle n=m} ). התוחלת של הוצאת הקלף m, ובהתאם התוחלת של היא . מסיבה זו עבור דגימה בגודל 1, האומד נראות מקסימלית של n יעריך את n פחות ממה שהוא בעיבוד הנוסחה נכשל (שגיאת המרה. השרת ("https://en.wikipedia.org/api/rest_") השיב: "Cannot get mml. Server problem."): {\displaystyle {\frac {n-1}{2}}} .

תכונות אומד נראות מקסימלית

  • עקיבות: כאשר גודל המדגם שואף לאינסוף, האומד מתכנס לערכו האמיתי של הפרמטר. זוהי תכונה חשובה מאד שמאפשרת לנו למעשה לאמוד את הפרמטר בכל רמת דיוק שנרצה.
  • אינווריאנטיות פונקציונאלית: אם עיבוד הנוסחה נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ \hat{\theta}} הוא אומד נראות מקסימלית של פרמטר עיבוד הנוסחה נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ \theta} , ו-עיבוד הנוסחה נכשל (MathML עם גיבוי SVG או PNG (מומלץ לדפדפנים מודרניים ולכלי נגישות): תגובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \ g(x) } היא פונקציה חד-חד-ערכית, אז הוא אומד נראות מקסימלית לפרמטר .

יישומים

אומד נראות מקסימלית משמש למגוון רחב של מודלים סטטיסטיים, כולל:

שימושים אלה עולים במגוון רחב של תחומים, כגון:

ראו גם

הערך באדיבות ויקיפדיה העברית, קרדיט,
רישיון cc-by-sa 3.0
This article is issued from Hamichlol. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.