CUDA ではなくローカルの MPS (Mac) でサンプルコードを動かしたので少し苦戦したが、一通り試せたのはよかった。ファインチューニングを実装したのは実は初めてかもしれない。
こうして触ってみると RAG の便利さというのがなんとなくわかってくる。本書では両者ともに紹介されているので、それぞれの雰囲気を感じることができた。一方でモデルのコンテキストウィンドウもどんどん大きくなってきているから、 RAG をどこまで作り込むのかというのも考えなければいけないなとも思っている。
性能評価、 RAG 、ファインチューニング、分散並列学習と LLM を広く味わうことができたので、今後特に前者 2 つについてはもっともっと論文を読んでゆきたい。