中級編第1回：LLMの"脳"の仕組み - アーキテクチャと学習・推論の原理

- 作成日: 2025/06/15 - 作成者：ZEAL BOOT CAMP - 最終更新日：2025/07/19 - revision: 2 ----- ## 1. はじめに：AIの「思考」の源泉を探る 初級編では、VSCode を中心とした新しいワークフローを紹介してきましたが、その生産性を飛躍的に高める存在として、もはや LLM（大規模言語モデル）は欠かせません。しかし、その魔法のような能力は、一体どのような仕組みで成り立っているのでしょうか？ 中級編の初回となる本章では、LLM の **「"脳"の仕組み」** に焦点を当てます。ChatGPT や Gemini が、どのようにして文章を理解し、思考し、そして新たな文章を生成するのか。その根幹をなす **アーキテクチャ、学習、そして推論の原理** に関する 7 つの重要技術を、一歩踏み込んで解説していきます。 これらの基本原理を理解することで、急速な LLM の進歩の歴史を俯瞰します。 ----- ## 2. LLMの"脳"を構成する7つの基本技術 ![画像](/contents/tech/C01-llm-fundamentals-1/images/1_1_Transformaer.jpg) ### 2-1. Transformer アーキテクチャ：すべての基礎となる「背骨」 現在の高性能な LLM のほぼすべてが、 **「Transformer（トランスフォーマー）」** という基本設計に基づいています。これは 2017 年に発表された論文『Attention Is All You Need』で提唱されたもので、AI の進化における最大のブレークスルーの一つです。まさに、LLM の **「背骨」** と言えるでしょう。 ##### Transformerの進化：Encoder-DecoderからDecoder-onlyへ Transformer 登場以前のモデルは、文章を単語の「順番通り」に一つずつ処理していたため、長い文章の文脈を維持するのが苦手でした。しかし Transformer は、後述する **Attention** という仕組みにより、文章中のすべての単語の関係性を一度に計算できます。これにより、...