ファインチューン

Workers AI でファインチューニング済み推論を使う方法を説明します。

ファインチューニング（fine-tuning）は、追加データで学習を続けて AI モデルを調整する総称です。目的は、生成結果がデータセットに近づく確率を上げることです。ゼロからモデルを学習するのは、費用と時間がかかるため、多くの用途では現実的ではありません。既存の事前学習済みモデルをファインチューニングすると、その能力を活かしつつ、目的のタスクも達成できます。

Low-Rank Adaptation ↗（LoRA）は、LLM に限らずさまざまなモデルアーキテクチャに適用できるファインチューニング手法です。従来の手法では、事前学習済みモデルの重みを直接変更するか、追加のファインチューン重みと融合することが一般的です。一方 LoRA では、ファインチューン重みと事前学習済みモデルを分けたままにでき、事前学習済みモデルは変更しません。その結果、コード生成、特定の性格、特定のスタイルの画像生成など、特定タスクの精度を高める学習ができます。