세관이 역사에 앞서 우리나라 무역의 역사에 대해 알아보면, 처음 무역의 태동은 1200년 전 통일신라시대에 제해권을 장악하고 국제해상교통과 무역을 진흥시킨 장보고로부터 비롯되었다. 그는 국가 중심적으로 이루어진 公무역을 개인활동의 자유를 보장하는 私무역체제로 유도하여 무역의 본질을 변화시킨 무역의 선구자이며 그가 설치한 청해진은 군사조직에 현대적 의미의 종합무역상사 조직을 추가한 무역과 해상경영의 전진기지였다. 이후 고려시대에는 송(宋)나라와의 관무역(官貿易)과 상인간의 교역으로 구성되었는데 송나라의 중상주의 정책으로 양국간 무역은 비교적 활발하게 전개되었다.
이에 반해 조선시대에는 무역에 관한 쇄국주의로 고려시대 보다 크게 쇠퇴되어 조공무역(朝貢貿易)과 조공사절 일행의 사무역(私貿易)에 한정되다가 17세기 이후 상업의 발달로 청 및 일본과의 교류가 잦아지면서 무역 활동도 활발해졌다. 청과는 공무역(개시무역)과 사신의 왕래에 의한 무역(후시무역)이 있었고, 개성·평양·의주 상인이 주로 담당 하였다. 일본과의 무역은 부산왜관을 중심으로 이루어진 공무역이었으며, 동래상인이 주로 담당하였다.
여기서 왜관은 세관의 시초로 볼 수 있는 곳으로, 당시 조선은 왜구에 대한 회유책으로 그들의 침략원인이 경제적인데 있어 교역을 허가해 줌으로써 경제적인 욕구를 충족시켜 주었는데, 처음에는 남해안의 어느 포구에서든지 자유로운 무역을 허가하였으나, 폐단이 심해 1407년(태종7년)부터 병마절도사 강사덕(姜思德)의 건의에 따라 부산포(부산항), 제포(진해 웅천)에 왜관을 설치하여 왜와의 무역을 관리하였다.
왜관은 쉽게 말해 조선시대 일본인의 입국 및 교역을 위하여 설치하였던 장소였다. 왜관의 수와 위치가 약간의 변동이 있었으나 1876년 병자수호조약으로 부산항이 개항될 때까지 유지되었다. 왜관무역은 물물교환 방식에 의한 공무역으로 월 6회(5일 간격) 개시되었고, 수입물품은 銅[구리], 錫[주석], 납촉[蠟燭](밀납으로 만든 초), 酒[술], 간장, 견탄[堅炭](단단한 숯), 과자 등이고 주요수출품은 쌀, 콩, 금, 은, 지금[地金](원소금속을 적당한 크기의 덩어리로 만든 것), 면포, 소가죽, 인삼 등이며 밀무역도 성행하였다.
1876년(고종 13년) 병자수호조약(한일수호조약이라고도 하고 일본의 강압아래서 맺어진 불평등 조약)으로 인하여 부산항이 개항되었고, 2년 후인 1878년에 부산항의 두모포에 최초의 세관인 두모진 해관(세관의 옛 명칭)이 설치되었다.
이후 1882년 제물포조약(임오군란(壬午軍亂)으로 발생한 일본 측의 피해보상문제 등을 다룬 조선과 일본 사이의 조약, 제물포는 인천에 있는 포구였음)에 의거 이듬해 인천항이 개항되었으며, 부산해관과 더불어 인천, 원산 해관이 추가로 설치되어 총 3개의 해관이 운영되었다. 1907년에 명칭이 세관으로 바뀌었다.
일제강점기에는 1910년 부산, 인천, 원산, 진남포(평안남도) 4세관체제를 유지하였고, 1925년에는 부산, 인천, 신의주(평안북도), 1937년에는 나진세관지서가 세관으로 승격되어 4세관체제로 개편되었다.
해방 이후 1949년 세관관서설치법이 제정되어 8개 세관, 1개 출장소, 18개 감시서로 출발하였고, 관세법과 부속세율표가 제정 되었다. 이후 1970년대 관세청이 발족되었으며, 현재는 6개의 본부세관과 30개의 세관, 13개의 출장소, 7개의 감시소로 구성되어 세관업무를 수행하고 있다.