とりあえず $ localstack start -d で LocalStack を起動して、CDK 用の “tmp S3 bucket” 的なものを用意するために bootstrap を実行する。 $ cdklocal bootstrap ⏳ Bootstrapping environment aws://000000000000/us-east-1... Trusted accounts for deplo…

幾らか気になっていたことは大体やってしまって、後は暫く本とか読んで調査しないと何も書けないフェーズに突入したような気もするので、他で気になっていた CDK (AWS Cloud Development Kit) を LocalStack で使ってみたい。LocalStack - らんだむな記憶 か…

torch.nn.Transformer の自己注意ブロックの実装を見ると、transformer.py#L352 のようになっている。 # self-attention block def _sa_block(self, x: Tensor, attn_mask: Optional[Tensor], key_padding_mask: Optional[Tensor]) -> Tensor: x = self.self…

分類器への入力部分を見ると、 class AttentionDecoder: def forward(self, xs, enc_hs): ... # enc_hs = ['吾輩', 'は', ...], dec_hs = ['i', 'am', ...], c = '吾輩' c = self.attention_forward(enc_hs, dec_hs) # '吾輩'+'i' out = np.concatename((c, …