בשנת תרפ"ד (1924) בעקבות הצו המחייב את גיוס תלמידי הישיבה, התקבלה ההחלטה להעביר את הישיבה לארץ ישראל והרב סרנא נשלח כדי לבחור מקום מתאים לישיבה ולתאם את הקמתה שם. לאחר בחינת אפשרויות שונות הוא בחר את העיר חברון.[3] באלול תרפ"ה הגיעו עשרת התלמידים הראשונים לחברון, ובהמשך החורף הצטרפו אליהם עוד כ-150 תלמידים. בכך הפכה ישיבת חברון לישיבה הליטאית הראשונה שעברה לארץ ישראל והייתה הראשונה להחדיר בארץ את מושגי הלימוד הליטאי ואת עקרונות תנועת המוסר. בעקבותיה באו ישיבות נוספות. באותה שנה הגיעו לחברון גם הרב אפשטיין וה"סבא". עם זאת, הרב סרנא נטל תפקיד משמעותי בהנהגת הישיבה במתן שיעורים ובקביעת סדרי הישיבה. בעקבות פטירתו של ה"סבא" בשנת תרפ"ז התחיל לתת גם שיעורי מוסר.