그해 봄 상동교회에 다니기 시작한 선생은 처음 1년 동안은 별다른 감화 없이 기독교의 목적이 ‘하나님을 섬기며 사람을 사랑한다'하니 옳은 도(道)라 여기고 다니는 정도였다. 상동교회는 감리교 의료 선교사인 스크랜턴(W. B. Scranton)에 의해 1889년 가을 서울 남대문 근처에 달성교회(達成敎會)로 세워졌다가, 1900년 7월 지금의 중구 남창동으로 옮기면서 이름도 바꾼 것이었다. 대부분 중류층 이하의 가난한 사람들이 다니던 교회였지만, 전덕기 목사와의 만남은 선생의 인생에서 획기적 전환을 가져다주었다. 당시 전도사인 전덕기는 선생보다 7세 연하였지만, 신앙과 인생에서 가장 큰 스승이었다. 숯장사를 하던 전덕기는 1892년 스크랜턴의 인도로 교인이 되어, 1896년 세례를 받고 상동교회의 정식 교인이 되었으며, 1902년 전도사 안수를 받고 1903년부터 상동교회의 담임자가 되어 있었다.
전덕기를 통해 신앙의 힘을 기르던 선생은 ‘자신의 죄'를 깨닫고, 이후 주색을 완전히 끊어 버리고 기도와 세례문답 공부에 힘을 쏟아 1903년 4월 부활주일에 스크랜튼 목사로부터 세례를 받았다. 이무렵 선생은 군대생활을 계속하고 있었는데, 몇 번의 영적 경험을 체험하면서 ‘악의 생활'에 가득찬 군대생활에 회의를 느끼고 1903년 가을에 홀연히 군대를 그만 두었다. 유일한 생계수단이던 군대생활을 그만두니 생활대책이 막막한 상황이었지만, 선생은 ‘옳은 일을 행하면 된다'는 신념으로 가득차 있었다.
남다른 열성과 돈독한 신앙심이 인정을 받게 되어 선생은 1903년 겨울 상동교회에서 교회당 청소일을 맡게 되었다. 이무렵 선생은 청소일 뿐 아니라, 스크랜턴과 전덕기로부터 열심히 성경을 배웠으며, 사경회(査經會)에 빠짐없이 출석하면서 신앙생활에 열의를 다했다.
1904년 1월 선생은 속장의 성직을 받았으며, 1904년 봄부터 공옥학교(攻玉學校)의 체육교사로 근무하기 시작하였다. 당시 상동교회에는 초등교육기관으로 공옥여학교와 남학교가 있었는데, 여학교는 남학교보다 2년 먼저 스크랜튼 목사의 어머니 스크랜튼 대부인에 의해 1897년에 설립되었으며, 초창기에는 해리스에 의해 주로 성경과 영어를 가르쳤다. 남학교는 1899년 백 선교사가 큰아들의 죽음을 기념하여 상동교회 안에 세운 학교였다. 선생은 여기서 노익형과 함께 체육을 담당한 것이다.
선생의 신앙생활은 더욱 신실해져 1904년 여름 권사의 직분을 받게 되었고, 교회 일에 누구보다 열성이었다. 학교에서 체육을 가르치는 한편 목사와 같이 심방도 다니고 속회 회우를 심방하는 등 전도생활에 충실하였다. 그럴수록 스크랜튼 목사와 전덕기 전도사의 신임을 한 몸에 받으며 상동교회의 주요 일꾼이 되어 갔다.
이무렵 상동교회는 초등교육기관인 공옥학교에 이어 중등교육기관을 세우기 위해 노력하였다. 미국의 교포 청년 강천명(姜天命)이 기부금을 교육사업에 써달라고 부탁하면서 시작된 상동청년학원의 건학운동은 회원과 뜻 있는 유지들로 확대되어 700원의 기금을 모았으나, 학교를 짓기에는 부족하였다. 그러한 상황에서 1904년 10월 미국에서 돌아 온 스크랜턴이 상동교회 내의 집 한 채를 기증하고, 스크랜턴 대부인과 헐버트가 각각 영어와 역사 과목을 자청하여 맡기로 하여 상동 청년학원 개설 문제가 해결될 수 있었다.