らんだむな記憶

blogというものを体験してみようか!的なー

GCP

永続ディスク縮小

GCP

GCE 永続ディスクの縮小リサイズは本当にできないのか?! - Qiita あんまりやることはなさそうだけど、そういうこともできそうなのかなってことで。

GCP費用

GCP

4 月分 日 設定 時間 費用 総和 備考 1 n1-highmem-2 2.1 30 円 30 円 2 3.4 50 円 80 円 3 n1-highmem-4 1.6 24 円 104 円 4 1.8 32 円 136 円 5 2.8 48 円 184 円 6 1.5 36 円 220 円 内 Storage PD Capacity 10 円 7 0.3 28 円 248円 内 Storage PD Capac…

screen

#! /bin/sh TARGET_DIR=/path/to/target (cd $TARGET_DIR && screen -dmS lab jupyter lab) (cd $TARGET_DIR && screen -dmS board tensorboard --logdir logs --bind_all) とかすると便利すぎ。daemon の中で処理が続くから ssh セッションが切れても安心。…

The zone xxx does not have enough resources available to fulfill the request.

GCP

google cloud platform - the zone does not have enough resources available to fulfill the request/ the resource is not ready - Stack Overflow GPU の人気が高くて全然 rare ではないという話。

Compute Engine N1 Predefined Instance Core running in Americas

GCP

GCPの「料金の履歴」を見ているとシックリこないものがある。 GCPオベンキョ(7) — Deep Learning VM の VM インスタンス作成 - らんだむな記憶の“2日目”に保存した履歴によると 内容 金額(JPY) Compute Engine Nvidia Tesla T4 GPU attached to preemptibl…

GCPオベンキョ(9) — Jupyter lab設定

GCP

jupyter labをリモートから使う - Qiitaを参考にリモートから利用できるようにしておくと便利。 VPC のファイアフォールで IP 制限をかけておけば危険性は低いはず・・・。

nodeでCompute Engine APIを使って外部IPを取得したい

Using the Node.js Client Libraries | Compute Engine Documentation Getting Started with Authentication | Google Cloud ら辺を参考にする。 $ npm install --save googleapis して、「IAM と管理」の「サービス アカウント」から取得した credentials …

Compute Engine API

GCP

インスタンスの外部 IP アドレスと内部 IP アドレスの特定 | Compute Engine ドキュメント | Google Cloudを使おうかと思ったけど、Google APIのAccess Tokenをお手軽に取得する - Qiitaみたいな処理も必要なのかもしれない。Creating API requests and hand…

VM が起動できない

GCP

GCEのzone:asia-east1-aに構築するのはよくない。 - Qiitaみたいなメッセージが出て VM が起動できないことがある。 プリエンプティブルに設定しているからかもしれないし、それ以前にそもそも本当にリソースが枯渇なのかもしれない?

GCPオベンキョ(8) — 仮想環境(pyenv)設定

GCP

Python インタープリタについて確認すると、 $ which python /opt/conda/bin/python とのこと。 $ echo $PATH /usr/local/cuda/bin:/opt/conda/bin:/opt/conda/condabin:/usr/local/bin:/usr/bin:/bin:/usr/local/games:/usr/games の結果として anaconda の…

GCPオベンキョ(7) — Deep Learning VM の VM インスタンス作成

GCP

とりあえず GPU の申請ができたのでDeep Learning VM Image | Google Cloudを使う。 推定費用: $295.20/月 だが全力では使わないので・・・。 ソースからのビルド | TensorFlowより、tensorflow-2.1.0 は CUDA 10.1 でテスト済み。Start Locally | PyTorchよ…

プリエンプティブル VM インスタンス

GCP

どのくらい落とされるのか? GCEのプリエンプティブインスタンスがどのくらい落とされるのか調べてみた - Qiitaによると月初は厳しいこともある?

GCPオベンキョ(6) — GPU 申請

GCP

有料アカウントに切り替えて機械学習環境を構築してみたい。リージョンとしては、距離的なものではオレゴン (us-west1), 台湾 (asia-east1)かなと思うが、お値段的には us-west1 かな。 ゾーンごとの CPU の世代などの情報はRegions and Zones | Compute Eng…

GCPオベンキョ(5) — GCE の自動停止

GCP

GCE を自動で停止させたい。 GCEの自動起動・自動停止をスケジューリングする - Qiita Cloud Scheduler を使用した Compute インスタンスのスケジュール設定 | Cloud Scheduler のドキュメント | Google Cloud を見つつ。リリースから十分に経過しているし、…

GCPオベンキョ(4) — VPC/GCE/Cloud Functions

GCP

ここから一旦は無料枠で登録して色々試していく。¥32,565.00 クレジットが付与されるので色々試せる・・・はず。 これから始めるGCP(GCE) 安全に無料枠を使い倒せ - Qiita Google Cloud の無料プログラム を見た感じだと、リージョンはus-west1でマシンタ…

GCPオベンキョ(3)

GCP

機械学習用のGPU環境を作ろうとするとGCPでGPU+JupyterでDNN学習環境の構築 (CUDA8.0) - QiitaとかTensorFlowのGPU環境をGCPでさくっと作る方法 - Qiitaが参考になるのかもしれないけど、AWSのDeep Learning AMI 開発者ガイドに対応するのかもしれないDeep …

GCPオベンキョ(2)

GCP

Google Cloud SDK のドキュメント 注: Cloud SDK ではデフォルトで Python 2 が使用されますが、まもなく Python 3 に移行される予定です えぇぇ・・・ホンキですか・・・。GCEへはsshを使って、それ以外ではCloud Shell(からgcloudコマンドを実行)でも使っ…

クラウドサービスの無料枠

【AWS, GCP, Azure, OracleCloud, Firebase】無料で使えるクラウドのサーバリソースまとめ【2020年1月版】 - Qiita ふむふむ。GCPでGPU+JupyterでDNN学習環境の構築 (CUDA8.0) - Qiita 現時点でどうか分からないけど、GPUを使うために有料アカウントに移行…

GCPオベンキョ(1)

暇だから?1週間の無料トライアルでGoogle Cloud Platform Fundamentals: Core Infrastructure 日本語版 | Courseraを受講してみる。ということで、3/20 の 00:00 時過ぎに開始。3/26 に無料期間が終わるから忘れずに subscription を cancel せねば・・・。

GPUインスタンス見積もり

AWS Amazon EC2 P2 インスタンス| AWSとAmazon EC2 P3 インスタンス | AWSと料金 - Amazon EBS |AWSより。 汎用 SSD (gp2) ボリューム: 0.10 USD per 1 GB per 1 month Tesla K80 p2.xlarge: 0.900 USD per 1 hour Tesla V100 p3.2xlarge: 3.06 USD per 1 h…

Colaboratoryのマシンスペック

%%bash which lspci || (apt install pciutils > /dev/null 2>&1 && update-pciids) df -m free -m lsb_release -a uname -a cat /proc/cpuinfo lspci | grep -i nvidia で大体分かりそう。 【秒速で無料GPUを使う】深層学習実践Tips on Colaboratory - Qiit…