阿爾瑪有自己的苦衷:丈夫當總統很美，但很危險，尤其是他是美國歷史上第壹位黑人總統；另外，幸福的家庭生活也會被破壞。她曾經對她的朋友說:“我們不想拿著那個燙手山芋！如果事情出了差錯，我丈夫將成為第壹個被暗殺的黑人總統！”鮑威爾從軍30多年，家搬了20多次。阿爾瑪為了家庭和孩子，只想要壹個安定祥和的生活。面對妻子的強烈反對，有家室的鮑威爾不得不在公開場合鄭重聲明，他沒有競選總統的“熱情”和“責任”。當然，他沒有透露家庭原因。鮑威爾說這話時，站在身旁的阿爾瑪露出了滿意的笑容。鮑威爾和阿爾瑪是1961在阿拉巴馬州伯明翰相親認識的。阿爾瑪的父親是當地壹所黑人高中的校長，而伯明翰只有兩所黑人高中。當時的年輕士兵鮑威爾覺得自己出身卑微，配不上阿爾瑪，但他們還是相愛了。鮑威爾於1962年8月25日與阿爾瑪·薇薇安·約翰遜結婚，他們育有1個兒子和2個女兒。婚後幾十年的風風雨雨，阿爾瑪壹直默默無聞的支持著鮑威爾的事業。鮑威爾在回憶錄中寫道:“我是愛情彩票遊戲的大贏家。”