[GoogleColab] AIhub데이터를 코렙에서 다운로드 받기

구글 로그인 및 코렙 생성

1-1. 구글에 로그인을 합니다.

 

1-2. 구글 드라이브에 접속 후 빈 화면에 "우클릭"을 합니다.

[더보기] -> [Google Colaboratory]를 클릭합니다.

이렇게 되면 기본 준비가 끝났습니다.

 

---

다운로드 하기 위한 설정

 

1. aihubshell 다운로드

!curl -o "aihubshell" https://api.aihub.or.kr/api/aihubshell.do

curl 명령어를 이용하여 aihubshell을 다운로드 받습니다.

 

2. 구글 드라이브 마운트

from google.colab import drive
drive.mount('/content/drive')

※ 해당 마운트는 자신의 드라이브에 직접 파일을 넣어주는 작업때문에 진행하였습니다.

 

3. 자신의 AI허브 계정 정보 입력

import os

os.environ['AIHUB_ID'] = '아이디'
os.environ['AIHUB_PW'] = "비밀번호"

AI허브에 로그인 했던 아이디, 비밀번호를 입력합니다.

 

4. 자신이 원하는 경로 및 다운로드 받을 위치로 이동합니다.

mypath="/content/drive/MyDrive/AIHub"
%cd "$mypath"
os.getcwd()

※ 저는 구글 드라이브에 AIHub라는 폴더를 만들어서 해당 경로로 이동하였습니다.

▶ 경로수정을 원하시면 mypath부분을 수정하시면 됩니다.

 

5. 다운로드한 aihubshell 복사하기

!cp /content/aihubshell "$mypath"

※ aihubshell을 다운로드 받으면 /content라는 폴더에 있는것을 지정했던 path에 복사를 합니다.

 

6. aihubshell 퍼미션 권한 부여

!chmod 755 aihubshell

※ aihubshell에 권한을 부여하여 실행할 수 있도록 권한을 부여하였습니다.

 

이렇게 하시면 aihubshell 작업 및 다운로드 준비가 끝났습니다.

---

aihubshell을 이용하여 다운로드 하기

 

1. aihub list보기

!./aihubshell -mode l

더 많이 있지만 사진을 잘랐습니다.

 

2. list중에서 내가 원하는 데이터만 보기

!./aihubshell -mode l | grep 과적차량

 

3. 자신이 보고 싶은 데이터셋 정보보기

!./aihubshell -mode l -datasetkey 530

※ 530은 [2. list중에서 내가 원하는 데이터만 보기]에서 나온 맨 앞 숫자입니다.

 

4. 530번 데이터셋 전체 다운로드

!./aihubshell -mode d -datasetkey 530

 

5. 530번에서 일부(한개) 데이터셋 다운로드

!./aihubshell -mode d -datasetkey 530 -filekey 55300

※ 55300이란 번호는 [ 3. 자신이 보고 싶은 데이터셋 정보보기 ] 에서

▶ 파일명| GB | 55300 이런식으로 되어있는데 마지막 숫자를 입력하면 해당 데이터만 다운로드 됩니다.

 

6. 530번에서 다중(여러개) 데이터셋 다운로드

!./aihubshell -mode d -datasetkey 530 -filekey 55302,55303

※ 자신이 원하는 번호를 입력을 하면 됩니다.

 

---

 

♣ 모든 데이터는 tar파일로 다운로드 됩니다 ♣

 

① 해당 tar파일을 자동으로 압축을 풀어줍니다.

 

② tar파일을 풀면 part라는 분활된 파일이 나오면서 자동으로 zip파일로 변경해줍니다.

 

③ 나중에 unzip 명령어를 사용하여 압축을 해제하시면 됩니다.

 

④ 네트워크가 안좋은곳에서 윈도우로 다운로드 받는것보다 빠릅니다.

 

모든 개발자분들 화이팅입니다.