בשנת 1937, לאחר פטירתו של הרב האשכנזי הראשי בארץ ישראל, הרב אברהם יצחק הכהן קוק, קיבל הרב יצחק אייזיק הלוי הרצוג, שכיהן באותה תקופה בתפקיד הרב הראשי של אירלנד, מכתב רשמי מטעם האספה הבוחרת (הגוף הבוחר את הרבנים הראשיים) בו נתבקש לקבל על עצמו את משרת הרב הראשי לישראל.
במהלך מלחמת העולם השנייה נרתם הרב הרצוג להצלתם של יהודי אירופה. הוא נפגש עם בכירים בממשל הבריטי ופעל ללא לאות על מנת להשיג סרטיפיקטים ותרומות עבור פליטים יהודיים ממזרח אירופה הכבושה בידי הנאצים. בנאומים רבים ניסה לעורר את הציבור באשר לחובה לסייע ליהודי אירופה. בוועידה של "המזרחי" שהתקיימה בירושלים ב-1944 שאל את קהל שומעיו: "והשארית המתבוססת בדמיה - מה תהא עליה? צו השעה הוא הצלה, הצלת שארית הפליטה".
חודשים מספר לאחר תום המלחמה יצא הרב הרצוג למסע ברחבי אירופה. הוא שאף להגיע לאלפי הילדים היהודים שהוסתרו אצל משפחות נוצריות ולהשיבם חזרה ליהדותם. הוא נפגש עם מנהיגי מדינות וראשי קהילות. בעיקר ניסה להשפיע על דעת הקהל ולרתום אנשים בעלי השפעה. בפולין נפגש עם ראש הממשלה אוסובקה-מורווסקי וביקש ממנו לחוקק חוק שיחייב רישום ילדים יהודים החיים בבתיהם של לא יהודים. בנוסף, הוא נפגש עם האפיפיור פיוס ה-12 על מנת לגייס את תמיכתו במבצע איתורם של הילדים והשבתם ליהדות.
במסעו ביקר הרב הרצוג במקומות רבים ונחשף לממדי חורבן הקהילות. הוא סייר בבתי היהודים הנטושים ואסף תשמישי קדושה ששרדו את המלחמה. בביקורו נפגש עם ועד קהילות פולין וקיבל ממנו ספר תורה שנמצא מתחת לחורבות גטו ורשה כדי להעלותו ארצה.
בגרמניה ביקר במחנות העקורים. הוא נהג להעביר שיעורי תורה, בהם שילב דברי עידוד וחיזוק עבור שארית הפליטה. כמו כן נפגש עם גורמים שונים על מנת לפעול לשיפור מצבם החומרי של הפליטים.
את דרכו ארצה החל הרב הרצוג ברכבת של הצלב האדום הפולני שנסעה לפראג יחד עם 500 ילדים יתומים ניצולי שואה. הוא שב לארץ באוקטובר 1946. את רשמיו מהמסע חלק בנאומים לקהלים שונים, אותם חיזק ומסר להם כי יש להמשיך להציל ולתמוך בשארית הפליטה ובהבאתה ארצה.