AIを使っていてわかっていることは、最終的にはコストが問題になると思われる点
で、多少性能は落ちても低コストで使用できる。且つ、データの外部流出したくないというニーズは多くなると思う。
現状ローカルLLMでそれは実現できるんだが、性能がどんなもんかとか、設定はどんな感じかとかがよくわからんので、とりあえず設定してみた。
LLMはollamaというアプリを使うと簡単にDLして使える
https://ollama.com/
ただ、コレだけだとローカルで、プロンプトを使うので使い勝手が悪い
で、WEBI/Fとして、openwebuiというアプリを用意する。
自宅サーバーにdockerが入ってるので、そこに入れて、メインマシンのollamaと連携する
https://hub.docker.com/r/openwebui/open-webui/tags
意外と簡単につながった。

現状gemma4 26Bを使って実験してる。
性能は、いかんせんグラボが4060ti 8GBなので、まあまあだ。
ただ、情報が外部流出しないで、このくらいいければまぁ良いんじゃないかと思う
もうちょっといろいろ弄ってみるかな