AI LLMエンドポイントパラメータ (AWS)

AWS用のAI LLMエンドポイントパラメータオブジェクトのタイプ。このパラメータは必須です。

使用するサンプリングtemperature (0～1の間)。0.8のような高い値を指定すると、出力がよりランダムになるのに対し、0.2のような低い値を指定すると、出力はより焦点を絞った、決定的なものになります。一般的には、この値とtop_pの両方ではなく、いずれかを変更することをお勧めします。

temperatureによるサンプリングの代替手段 (核サンプリングと呼ばれます)。この場合、モデルはtop_pの確率質量を持つトークンの結果を考慮します。つまり、0.1の場合は、上位10%の確率質量で構成されるトークンのみが考慮されます。一般的には、この値とtemperatureの両方ではなく、いずれかを変更することをお勧めします。