LLM生成AI／LLMアプリケーション開発に関するイベント「LLMアプリケーションのトレース・評価と継続的改善～LangSmithを使ったLLMOps構築～」が、10月30日にオンラインで開催される。参加費は無料。
同イベントでは、かかりつけオンライン薬局「YOJO」のエンジニアリング責任者を務めるPharmaX株式会社のAkihiro Ueno氏が登壇し、LLM Opsを構築してLLMアプリケーションを継続的に改善していくためのコツを中心に解説していく。
「YOJO」では、LLMのマルチエージェント・アプリケーションを構築し、メッセージの薬剤師への提案や一部自動送信を行っている。LLMを用いることで柔軟でパーソナライズされた対応が迅速に可能になり、ユーザーのメッセージ返信率や初回購入率・継続率が劇的に向上した。
また、安全性担保のため、LLMの出力のリアルタイム評価と、基準値を下回った場合の再生成機能なども導入している。このマルチエージェント構成はLangChain・LangGraphで構築されている。実験管理や評価にはLangSmithをフル活用しており、これによりLLMの精度改善のための高速なプロンプトチューニングサイクルを実現した。さらに、出力をアノテーションしたデータを蓄積してfine-tuningを行うことでさらなる精度向上とコスト削減を両立している。
参加対象は以下の通り。
- LLM生成AI／LLMアプリケーション開発の最新トレンドを知りたい人
- 特にLLM生成AIを改善していくLLMOpsの具体的な方法が知りたい人
- 生成AI／LLMアプリケーションの他社開発事例などを詳しく知りたい人
- 生成AI／LLMアプリケーションを開発して本番運用しているorしようとしているプロダクトマネージャー・エンジニア
また、同イベントではLLMの基礎的な解説が行われないため、LLM・AIの基礎知識のある人や、少しでもLLMを活用したアプリケーション開発をしたことがある人の参加を前提としている。
開催日時は10月30日の19時30分～20時30分で、Zoomを使用して行われる。参加にはイベントページからの申し込みが必要で、定員は先着200名。
アジェンダ
- PharmaXのプロダクトの簡単な説明
- LLMマルチエージェントによるチャットアプリケーションの構成
- リリース前のフローエンジニアリングの設計
- リリース後のトレース
- リリース後のオンライン評価
- リリース後のデータセットの運用と継続的改善
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
ProductZine編集部（プロダクトジンヘンシュウブ）
「プロダクト開発」にフォーカスしたオンラインメディアです。プロダクトマネージャーや、プロダクトマネージャーを目指す方をはじめ、チームメンバーや事業責任者、テックリードなど、プロダクト開発を「正しく」進めていきたいすべての人のために、プロダクトマネジメントに関するあらゆる知見をお届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか？
この記事をシェア
