10배 더 빠른 gcloud storage cp
🌩️

10배 더 빠른 gcloud storage cp

Tags
GCP
Cloud
Published
Published July 1, 2024

GCS에서 복사할때 두 가지 옵션

gsutil cp

notion image
무려 python의 pip로도 설치가 가능한 gsutil
정말 간편해서 기본 값으로 많이 써왔던 방식.
GCS → GCP VM으로 보내는 같은 리전인데도 속도가 110MiB/s 수준에 머물러서 네트워크 속도 한계인가 싶었고, 여러 파일을 전송시에는 gsutil -m cp 같은 방식으로 파일 단위에서 parallel 전송은 지원해서 아 서비스 한계인가 싶었는데…
 

gcloud storage cp

notion image
동일한 역할을 해 주지만, 단일 파일을 복사할 때도 파일을 쪼개서 네트워크 대역폭을 정말로 100%로 사용한다.
스크린샷처럼 평균 속도 1.1GiB/s, 즉 위 방식 대비 정확히 10배 빠르다.