כבר מילדותו ניכרו בו כשרונות מיוחדים. בהיותו כבן 17 שנה הוכר בעירו כדמות הלכתית בעלת סמכות. עם פטירת סבו נתמנה הרב עוזרי לרב העיר ואב בית הדין.