יחיא אבן הארון נולד למשפחה עניה בכפר המרוחק מצנעא בירת תימן מהלך יום אחד. כפר זה נמצא בראש אחד ההרים התלולים שלרגליו ואדי גדול, המשמש לאנשי הכפר מקום זריעה למחייתם ומקום מרעה לבהמתם. בכפר גרו יהודים וערבים, ומצבם הכלכלי היה קשה.