machine_learning
DDPM https://github.com/cloneofsimo/minDiffusion を使用。 MNIST, KMNIST 共に a2-highgpu-1g で 8494MiB 程度の VRAM を使用。 batch_size < 8 で、VRAM の使用量が 1GB 程度まで落ちる。batch_size = 8 で 6GB 程度。何故急に増えるかは未調査。 1 epoc…
基本的には WSL2 上で CUDA を使いたい - らんだむな記憶 を済ませて PyTorch をインストールするだけである。ところで、cuDNN を導入していなくて以下のような値が返ってくる: >>> import torch >>> torch.backends.cudnn.version() 8500 >>> torch.backend…
ちゃんと自分でダウンロードしたことがないらしく、CelebA (Large-scale CelebFaces Attributes) データセットのダウンロード を参考にさせてもらう。
CPU and MPS floating point math is different (in a significant way) · Issue #84936 · pytorch/pytorch · GitHub わりと悲しい。
minDiffusion/mindiffusion at master · cloneofsimo/minDiffusion · GitHub GitHub - ermongroup/ddim: Denoising Diffusion Implicit Models が参考になるはず。
次世代生成モデル、Diffusion Modelの紹介 - GMOインターネットグループ グループ研究開発本部（次世代システム研究室） 暇な時にでもやってみるかと思って twitter に投稿して埋もれてしまっていた・・・。どこに書いたか分からなくなるんだよなぁ・・・。
https://github.com/CompVis/stable-diffusion https://github.com/harubaru/waifu-diffusion/ https://huggingface.co/hakurei/waifu-diffusion 話題のStable Diffusionがオープンソース化されたのでローカルで動かしてみる Google Colab で はじめる Waifu…
torchsummaryよりtorchinfoがいいよという話 - Qiita たまに使うのに torchinfo の備忘録を残してなかった。PyTorch で summary を叩きたい時用。
python - How to remove progressbar in tqdm once the iteration is complete - Stack Overflow ちゃんと覚えてないけど、この内容を覚えておきたかったことだけ覚えている。
ML も QC も論文を見ても何が何やら分からない。ML は意味は分からないけど、まぁまぁやりたいことは分かる。分かるが、教師データなりを放り込んでゴリゴリ回したらどうして各モジュールがその役割を担うようにパラメータが収束していくことを期待できるの…
機械学習エンジニアのためのTransformers ―最先端の自然言語処理ライブラリによるモデル開発 論文読んでも結局よく分からない・・・というか自分で使える気がしないところにいい感じの本が出そう。ということでポチる。
小川雄太郎 on Twitter: "Google全体として、TensorFlowからJAXへと移行する気配です。 今後のTFのメンテはどうなるんだろう確かにJAXは使いやすい部分もあり、PyTorchもJAXの機能を取り込んでいます（FUNCTORCH：https://t.co/lENjbbzgHt）2階微分のヘシア…
https://github.com/ghmagazine/opencv_dl_book が対応するコードみたい。実装を見ると訓練済みウェイトを読み込むパターンが多いのかなぁ・・・。
GitHub - sayakpaul/probing-vits: Probing the representations of Vision Transformers. なんかこれそういうことができそう。
テンソルネットワークの基礎と応用 - 株式会社サイエンス社 株式会社新世社 株式会社数理工学社 を買ってみた。*1ボルツマン分布 (或いはギブス・ボルツマン分布) の話が少し触れられていたので、その関係で 深層学習 改訂第2版 | 書籍情報 | 株式会社 講談…
OCR処理プログラム及び学習用データセットの公開について | NDLラボ を触ってみた系の記事を結構見かけるようになったので、一応メモ的に残しておこう。GitHub - ndl-lab/pdmocrdataset-part1: デジタル化資料OCRテキスト化事業において作成されたOCR学習用…
GitHub - oreilly-japan/deep-learning-from-scratch-4 え・・・全然知らなかった。流石にもう続刊は出ないでしょって思ってた・・・。いまとても量子コンピュータに全振りしたいのにコレも気になるという・・・。どっかで時間を見つけてまた写経せねば・・…
記録を残していると思ったら全然残してなかった・・・。AI最新論文読み会2021年10月 - Speaker Deck に参加した時に聞いたのであった。論文としては、[2109.03814] Panoptic SegFormer: Delving Deeper into Panoptic Segmentation with Transformers が紹介…
Learning to Simplify: Fully Convolutional Networks for Rough Sketch Cleanup ふと見ると、ダウンサンプリングとアップサンプリングの層の数が U-Net によく似ている。そしてスキップ接続を除けば Pix2pix に似ているし、線画とラフスケッチというドメイ…
よく分からないけど ResNet の論文を読んでみる。深層ネットワークでは訓練精度が劣化してくるが、もしも超イケてるブロックだったら解決できると仮定してこれを $\mathcal{H}(\mathrm{x})$ としてみているようだ。何でかよく分からないけど、恒等写像 $\mat…
ここ数年は「〇〇を使わなくても SOTA に近い性能が出せる」というモデルをよく見かける気がする。例えば、Vision Transformer は CNN を使わなくても、CNN を使った SOTA モデルに近い性能を出せると謳っていたと思う。LightGBM の論文を読むと、既存の勾配…
自動微分に特化した NumPy とか言われる JAX。https://colab.research.google.com/github/google/jax/blob/main/docs/notebooks/quickstart.ipynb として Colab 用のサンプルがあった。 size = 3000 x = random.normal(key, (size, size), dtype=jnp.float32…
【1paper】英語論文を自然な日本語に一瞬で翻訳したいなら、論文翻訳AI 1paperにお任せください というのを見つけたけど、どれくらいの精度なのだろう？
for fam_name, passengers in families.items(): for p in passengers: print(p['Ticket'], get_n_members(p)) で確認すると分かるのだが、苗字が同じ場合に間違って別の家族の一員扱いされて SibSp や Parch がコピペされているケースがあるようだ。実際の…
家族という情報は何かしら特徴量になりそうな気がする。 train_df = pd.read_csv('train.csv') test_df = pd.read_csv('test.csv') df_concat = pd.concat([train_df, test_df]) def get_surname(item): return item['Name'].split(',')[0] def get_n_member…
比例尺度の 年齢 同乗した兄弟姉妹・配偶者の数 同乗した親と子供の数 運賃 および「チケットのクラス」と「性別」の数値化、「乗船した港」の one-hot エンコーディングをしてみた 9 つの数量を特徴量として決定木と簡単なニューラルネットワークで 2 クラ…
タイタニックのデータセットの特徴量は年齢, 同乗した兄弟姉妹・配偶者の数, 同乗した親と子供の数, 運賃, チケットのクラス, 性別, チケット番号, 客室の番号, 乗船した港, 名前である。これを名義尺度, 順序尺度, 間隔尺度, 比例尺度に分類してみよう。 名…
『実践Ｄａｔａ Ｓｃｉｅｎｃｅシリーズ ＰｙｔｈｏｎではじめるＫａｇｇｌｅスタートブック』（石原 祥太郎，村田 秀樹）｜講談社BOOK倶楽部 に Kaggle ではロジスティック回帰や SVM よりも GDM 系のほうが良さそうという感じのコラムが書かれている。なん…
2019 年の夏〜冬のどっかで登録した Kaggle のアカウントに久しぶりに入ってみる。コンペがやりたいのではなく、タイタニックのデータセットが欲しいからなんだけど。決定木と勾配ブースティング木を適用して iris データセットよりはもう少しマシな結果を見…
Greedy function approximation: A gradient boosting machine. の概要を読むと以下のようなことが書かれている: 関数の推定・近似を，パラメータ空間ではなく，関数空間における数値最適化の観点から捉える．段階的加法展開と最急降下法による最小化との間…
