ローカルAI

Ollamaのコンテキストウィンドウを広げてローカルLLMの可能性を探る話

ローカルで大規模言語モデル(LLM)を動かす際、多くの人が直面するのが「コンテキストウィンドウの狭さ」の問題です。特に、Ollamaのデフォルト設定(約4kトークン)では、少し長い会話や複雑なコード生成を試みると、すぐに文脈を忘れてしまい、「話にならない」と感じることも少なくありませんでした。

Read more...