(데이터분석) 파이썬의 requests 라이브러리 이용하여 파일 다운로드하기

requests 라이브러리로 파일 다운로드하기

1) requrests 와 os 불러오기

 

2) 다운로드한 파일을 저장할 디렉터리 만들기

• os.path.exist : 파일 경로가 존재하는지 확인
• if not : 존재하지 않을 때만 디렉터리 만들기

 

3) url 리스트 만들기

 

4) requests

• requests.get(url)로 HTTP GET 요청 생성하기
• raise_for_statur 함수 : GET 요청에 오류가 발생했을 때 예외가 발생하도록 설정하기
• os.path.join : 콘텐츠를 다운로드할 파일 경로 구성하기 (folder_name과 url결합해서 이름으로 지정 위의 예시에서는 /로 구분된  것중 끝에서 첫번째 요소니깐 ebert_review_2017/1-the-wizard-of-oz-1939-film.txt가 됨)
• 파이썬의 open 함수를 사용해서 파일 경로로 지정한 파일을 바이너리 쓰기 모드(wb)로 열기 (url에서 가져와서 파일에 쓰는 응답 객체가 바이트로 되어있기 때문)
• file.write 함수 : 바이너리 content를 파일에 씀

결과

• 네 번째 URL에 대한 코드 실행 안됨 (맨밑줄 보면 Bumblebee라는 불필요한 단어 있음) => 403 오류코드

5) os.listdir 이용해서 확인

• 나머지 세 개의 URL에 대해서는 해당 내용이 디렉터리에 제대로 저장되었는지 확인하기

 

# GET 요청 프로그래밍 방식 전송 상태

• 200-299코드 : 요청에 성공했음을 나타냄
• 400-599코드 : 오류가 발생했음
  • 404오류 : 더 이상 존재하지 않는 웹사이트에 액세스할 때 반환
  • 403오류 : URL은 유효하지만 클라이언트가 그에 액세스할 수 없음을 나타냄