这次觐见不欢而散。郎世宁的“乞丐像”触及了一个敏感的话题：“康熙康熙，吃糠喝稀”。时北方大旱，灾民流离失所。第二天御史们便借题发挥，纷纷上书康熙，要求清理户部亏空以赈灾。康熙感到脸上无光，一边让四阿哥去户部主持清欠，一边将怨气撒在了替郎世宁递画的段太监身上。找个由头，他将段太监从身边赶走，让王荣做了他的贴身太监。两位洋人一来就触了康熙的霉头，心里忐忑不安。但康熙看中两人的技能，并不加责怪。下诏让罗怀中进太医院当了郎中，让郎世宁去如意馆当了待诏画师。康熙特地指示，要郎世宁好好学习中国画。不要再以丑为美（指“乞丐图”）乱作画。两位洋人从此可自由在京城行走，罗怀中便拉着郎世宁以赈灾为由，带着两车物品去向灾民传教。苏尔青闻讯急忙赶去制止，并将他们带去的物品说成是皇上所赐，分发给灾民。灾民们高喊皇上万岁，对洋人的上帝不予理睬。罗怀中很是没趣。