今まで自分の頭のなかでごちゃごちゃになっていた LSTM / seq2seq / Attention の概念が整理できたのでとてもよかった。欲を言えば Transformer についてももう少し詳しく解説してほしかったが、初版が 2018 年であることを考えると触れられているだけでも十分であるように感じた。かの『Attention Is All You Need』が Submit されたのは、そのほぼ 1 年前である。
現在これがなくては仕事ができないというほどに LLM を使っているが、活用すべきところとそうでないところの境目が最近だんだんとわかってきた。特にその制約については仕組みを知ることでより理解が深まる部分もあるので、その意味でこの本の内容はとても勉強になった。大変重要な技術であることは間違いないのだが、過度の期待は禁物である。
ちなみにコードはほぼ Copilot に書いてもらった。「ゼロから作る」というコンセプトに反する行為であるとは認識しつつ、これはもう仕方がないだろうと言い訳しながら最後まで使い続けてしまった。