בניגוד לעצת אביה, אשר הביע התנגדות מצפונית ואישית למי שעתיד להיות רודן גרמניה, החלה בראון ב- 1932 את פרשיית האהבים שעתידה להביא עליה את מותה.
היטלר, ככל הנראה, לא ראה בבראון השתקנית וקלת הדעת תחליף לגאלי, אהבתו הגדולה. הוא מצא בחברתה נחמה קלה, ובראון היוותה בעבורו מעין פילגש לעת מצוא.
השפעתה של בראון על אהובה, נראה שתישאר תמיד מקור לספקולציות, אולם אין מקום להיסוס בשאלת השפעתו של היטלר עליה.
כמו גאלי לפניה, הייתה בראון נתונה לדיכאונות חוזרים שמקורם באהבתה לדיקטטור הגרמני.
במהלך שנותיה הראשונות של מערכת היחסים התמוהה, ניסתה להתאבד פעמיים. לאחר נסיון ההתאבדות השני, קנה לה היטלר (ב- 1935) דירה במינכן ורכב מסוג מרצדס.
בשנת 1936 שיכנה מאהבה בבית הקיט שלו בבארגהול על האובארזאלצברג, שם חיה לה בבדידות מוחלטת, ועוסקת הייתה בסקי, תפירה וקריאה.
לעתים נדירות הרשה לה היטלר להתלוות אליו לברלין, אולם נמנע תמיד מלהציגה בציבור כבת-זוגו, בטענה שמערכת יחסים מחייבת תפגום בתפקודו הפוליטי.
עם כל זאת, נראה שהוקיר היטלר את פילגשו הצייתנית, ובצוואה שנשתמרה ממאי 1938, הועיד לה סכום ניכר מהונו.