בשביל לענות על שאלתך נקדים את דברי הגמ' שהיא המקור לסוגייתינו אמרינן בגמ' (ברכות כ"א א.): "ספק התפלל ספק לא התפלל.. רבי יוחנן אמר: ולואי שיתפלל אדם כל היום כולו...ואמר רב יהודה אמר שמואל: התפלל ונכנס לבית הכנסת ומצא צבור שמתפללין אם יכול לחדש בה דבר יחזור ויתפלל ואם לאו אל יחזור ויתפלל".
ממימרא זו אנו למדים שאדם שהתפלל כבר תפילת שמונה עשרה יכול להתפלל שוב בתורת נדבה והוא משום שהלואי והתפלל אדם כל היום כולו אלא שצריך לחדש דבר בתפילתו השנייה להראות שהיא תפילת נדבה (עיין בב"י ריש סימן ק"ז שלמד כן מדברי הראשונים).
עוד דבר הנלמד מגמרא זו - שגם במקרה שיש לאדם ספק האם התפלל צריך להתפלל שוב אלא שבמקרה זה אינו צריך לחדש דבר בתפילתו משום שכאשר מתפלל על הספק אין לך חידוש גדול מזה (ב"י שם).
וכתב הרשב"א שכשחוזר ומתפלל שוב מספק צריך להתנות לפני תפילתו שאם לא התפללתי תהא תפילה זו לחובתי ואם התפללתי תהא תפילה זו לנדבתי (והביא המגן אברהם דבריו להלכה).
ונחלקו הראשונים האם אפשר להתפלל תפילת מוסף ותפילות שבת ויו"ט בנדבה:
שיטת הרי"ף (לפירוש רבינו יונה והרא"ש) – אין מתפללים תפילת מוסף ותפילות שבת ויום טוב בנדבה: תפילת מוסף - משום שתפילת נדבה נלמדת מקרבן נדבה וכמו שהיחיד אינו יכול להתנדב קרבן מוסף כך אינו יכול להתפלל מוסף בנדבה. תפילות שבת ויום טוב - משום שנדרים ונדבות אינם קרבים בשבת (וזהו משום שקרבנות שאין זמנם קבוע אינם דוחין את השבת (ראה יומא נ א)).
שיטת הרמב"ם - משמע בדבריו שהביא ב' דעות – א) דווקא תפילת מוסף אין מתפללים אותה בנדבה משא"כ תפילות שבת אפשר להתפלל בנדבה. ב) "ויש מן הגאונים מי שהורה" שגם תפילות שבת ויום טוב אי אפשר להתפלל בתורת נדבה.
ובהסברת הדעה הראשונה שדווקא תפילת מוסף אי אפשר להתפלל בנדבה משא"כ תפילות שבת ויו"ט כתב הב"י וז"ל: "בשאר תפלות דלאו דמוספין כיון דבכל ימות השנה מתפלל אותם נדבה לפי שיכולים להביא בהם קרבן נדבה גם בשבתות וי"ט שאין מביאין בהם קרבן נדבה מתפללים בהם תפלות אלו בתורת נדבה שלא ראו חכמים להוציא שבתות וימים טובים מכלל כל ימות השנה בדבר שאין בו איסור שאינו אלא דוגמא בעלמא".
כלומר חכמים לא חלקו בין תפילות ימי החול הקבועות לכל יום ( - שחרית מנחה ערבית) לבין תפילות השבת הקבועות ומשום כך כמו שתפילות ימי החול אפשר להתפלל בנדבה כך גם תפילות שבת אפשר להתפלל בנדבה.
שיטת הראב"ד - גם הוא סובר שאינו יכול להתפלל מוסף ותפילות שבת בנדבה אלא שטעמו הוא שכוונת רבי יוחנן בדבריו "הלוואי שהתפלל אדם כל היום" הוא דווקא לתפילת שמונה עשרה הרגילה שהברכות האמצעיות שבה הם בקשות רחמים ובזה אכן יכול לחזור ולהתפלל. משא"כ תפילת מוסף ותפילות שבת ויום טוב כמעט ואין בהם בקשות רחמים אלא שבחי המקום ובזה לא נאמר שיכול להתפלל שוב.
שיטת רבינו יונה - כסברת הראב"ד אלא שהוסיף שאולי אפשר לחלק ולומר שתפילות שבת כן אפשר להתפלל בנדבה והטעם הוא משום ש"כיון דנתקנה כנגד תפלת י"ח שהוא רחמים דיינינן לה כתפלת רחמים ויכול להתפלל אותה נדבה":
שיטת רבינו האי - אפשר להתפלל תפילת מוסף בנדבה ובטעמו כתב רבינו יונה שאע"פ שתפלות כנגד תמידין תקנום מאין לנו דבתפלות של נדבה ג"כ נלך אחר הקרבנות". ועיי"ש שהביא עוד טעם.
ופסק בשו"ע וכן פסק בשוע"ר שהן תפילת מוסף והן תפילות שבת ויו"ט אין מתפללים אותם בנדבה.
וכתב הפרי מגדים (א"א סק"א) והובאו דבריו במשנ"ב שלפי זה יוצא שגם במקרה של ספק האם התפלל מוסף או תפילות שבת ויום טוב אינו יכול להתפלל לצאת ידי ספקו דהרי כתב הרשב"א (המובא לעיל) שלפני כל תפילה שמתפלל משום ספק צריך להתנות שאם לא התפללתי תהא תפילה זו לחובתי ואם התפללתי תהא תפילה זו לנדבתי והרי אינו יכול להתנות כך דאין מתפללים מוסף ותפילות שבת בנדבה.
אלא שבסימן קכ"ד נתן הפרי מגדים (מש"ז סק"א) עצה לדבר וז"ל ש"מי שספק לו אם התפלל שחרית בשבת או מוסף בחוה"מ יש לו תקנה להיות ש"ץ וחוזר התפלה בשביל התקנה ויוצא נמי מספק".
ולכן בנוגע לשאלתך בשונה מכל תפילה שיש ספק אם התפלל שהדין הוא שצריך לחזור ולהתפלל במקרה זה כיון שהספק התעורר אצלך על תפילת מוסף אינך יכול להתפלל שוב לצאת ידי הספק והטוב ביותר לבקש להיות ש"ץ לחזור התפילה כעצת הפרי מגדים.