LLM Opsを構築してLLMアプリケーションを継続的に改善するコツを解説するオンラインイベントが10月30日に開催

　LLM生成AI／LLMアプリケーション開発に関するイベント「LLMアプリケーションのトレース・評価と継続的改善～LangSmithを使ったLLMOps構築～」が、10月30日にオンラインで開催される。参加費は無料。

　同イベントでは、かかりつけオンライン薬局「YOJO」のエンジニアリング責任者を務めるPharmaX株式会社のAkihiro Ueno氏が登壇し、LLM Opsを構築してLLMアプリケーションを継続的に改善していくためのコツを中心に解説していく。

　「YOJO」では、LLMのマルチエージェント・アプリケーションを構築し、メッセージの薬剤師への提案や一部自動送信を行っている。LLMを用いることで柔軟でパーソナライズされた対応が迅速に可能になり、ユーザーのメッセージ返信率や初回購入率・継続率が劇的に向上した。

　また、安全性担保のため、LLMの出力のリアルタイム評価と、基準値を下回った場合の再生成機能なども導入している。このマルチエージェント構成はLangChain・LangGraphで構築されている。実験管理や評価にはLangSmithをフル活用しており、これによりLLMの精度改善のための高速なプロンプトチューニングサイクルを実現した。さらに、出力をアノテーションしたデータを蓄積してfine-tuningを行うことでさらなる精度向上とコスト削減を両立している。

　参加対象は以下の通り。

• LLM生成AI／LLMアプリケーション開発の最新トレンドを知りたい人
• 特にLLM生成AIを改善していくLLMOpsの具体的な方法が知りたい人
• 生成AI／LLMアプリケーションの他社開発事例などを詳しく知りたい人
• 生成AI／LLMアプリケーションを開発して本番運用しているorしようとしているプロダクトマネージャー・エンジニア

　また、同イベントではLLMの基礎的な解説が行われないため、LLM・AIの基礎知識のある人や、少しでもLLMを活用したアプリケーション開発をしたことがある人の参加を前提としている。

　開催日時は10月30日の19時30分～20時30分で、Zoomを使用して行われる。参加にはイベントページからの申し込みが必要で、定員は先着200名。

アジェンダ

• PharmaXのプロダクトの簡単な説明
• LLMマルチエージェントによるチャットアプリケーションの構成
• リリース前のフローエンジニアリングの設計
• リリース後のトレース
• リリース後のオンライン評価
• リリース後のデータセットの運用と継続的改善