幼童留美，原計劃時限為15年，不料進行到第十年時，留美幼童全部被政府強行召回。這壹事件史稱“留美幼童公案”。容閎在《自傳》中記載了留美學生監督吳嘉善主張撤回留學生的種種理由：“留學生在美國，專門好學美國人的嬉戲遊樂之事，讀書的時候少，玩的時候多；還學美國人的樣子，加入各種秘密會社，有的屬於宗教性質，有的屬於政治性質，總之全都屬於不正當行為；因此，留學生們再也不尊重老師，對於新監督的訓令，全當耳旁風……這樣的學生，再在美國久居下去，必將失去他們全部的愛國之心，縱然有朝壹日學成回國，不但無益於國家，且將有害於社會；所以，為了國家利益，應當立刻解散留學事務所，撤回全部留美學生，能早壹日施行，即國家早獲壹日之福。”
對這些汙蔑言論，容閎極為憤慨，他寫道，這些主張撤回留學生的清朝官僚“久處專制壓力之下，畢生所見所聞，沒壹點自由的精神，沒壹絲活潑的思想。相反，留學美國的青年學生們，受到新教育的熏陶，終日呼吸自由空氣，以往所受到的專制重壓，壹旦排空而去，言論思想當然與舊式教育格格不入，因此，他們愛好種種健身運動，跳啊，跑啊，走路沒那麽多規矩啦，這又有什麽可奇怪的呢？”
容閎的辯護，未能排除當權者對幼童們“全盤西化”的擔憂。慈禧遽然頒旨：全數撤回留美學生。到1881年年底，除已在美國病故者3人、中途輟學者23人，剩下的94名“留美幼童”，分三批“淒然回國”。這“94名回國留學生，如今學籍可考者87名，其中小學19名，中學35名，***54名，即60％以上正在接受初等基礎教育；33名大專學生中，只有兩人獲得學士學位，其中壹名就是日後成為著名工程師的詹天佑”。（田正平《留學生與中國教育近代化》）