＜OPAC＞ https://opac.jp.net/Opac/NZ07RHV2FVFkRq0-73eaBwfieml/QfH2OiPTlEMhF9BTdg3s5j1eLLi/description.html

LLMの仕組みを粗方理解するには最適な一冊だと思う。初学者向けの入門書なので、最初は難しい部分をブラックボックスにしているのかと思ったが、実際にはTransformerの中身まで丁寧に解説してくれている。 LLMの学習方法に関しても、意外なほどシンプルなアイディアで成り立っており、サム・アルトマンの「LLMは言っていることを理解しているわけではない」という発言の意味がよく分かる。

GPT-2相当のLLMをtiktokenやpytorchを用いて自作するという技術的にかなり踏み込んだ本です。 普段触っているサービスやツールがどのように動いているか実際に作りながら学びたい方は必見です！ 2025年03月現在、GPTの作り方に関する最も詳細な日本語書籍なのではないでしょうか。 読了したころには、GPTがシンプルな構成かつ自作できるものであり、いかに層の深さといったパラメータ数と事前学習が鍵かを理解できているかと思います。