『PoCでは動いたAIサービス、なぜ本番で安定しない？』というテーマのウェビナーを開催

■PoCから本番運用へ、AI基盤に求められるものが変わる
生成AIやLLMを活用したサービスでは、PoC段階ではモデルが動作すること自体が重要でも、本番運用・商用化へ進むと、大量データを期限内に処理できるか、GPUやCPU、メモリなどのリソースを安定して使えるか、障害時に素早く原因を特定できるかといった運用面の課題が顕在化します。特にローカルLLMやGPU基盤では、モデル単体の性能だけでなく、処理量や納期、複数ジョブの並行実行まで含めて基盤全体を設計・管理する必要があります。

■GPUが動いていても、LLM処理の異常や停滞は見えない
GPU使用率が高いからといって、AIサービスの処理が正しく進んでいるとは限りません。InfraRed社の実運用では、高いGPU稼働率の裏で重複処理が発生したほか、コンテナやログ、プロセス上は正常に見えていても、実際には処理が進んでいないケースも確認されました。ローカルLLM環境ではパイプライン上での異常と停滞個所への可視化が必要です。GPUの稼働状況とLLMの処理性能・進捗を別々に見るだけでは、本番運用上の問題を捉えきれないことがあります。

■GPUとLLMを横断して可視化し、本番運用の状態を把握する
本セミナーでは、InfraRed社がAIサービスを開発・検証・本番運用する中で直面した課題と、その改善事例をご紹介します。GPUSOROBANによる大規模GPU環境の活用に加え、WhaTap GPU MonitoringでGPUの利用状況・プロセス・異常を可視化し、WhaTap LLM Observabilityでモデル・エージェント単位の処理状況やボトルネック箇所、ハルシネーション、プロンプトを確認することで、GPUという計算資源と、その上で動くLLM処理の双方からAIサービスの運用状態を把握する方法を解説します。


 ■主催・共催
ワタップ・ジャパン株式会社
株式会社ハイレゾ
インフラレッド合同会社

■協力
 マジセミ株式会社

マジセミは、今後も「参加者の役に立つ」ウェビナーを開催していきます。

過去セミナーの公開資料、他の募集中セミナーは▶こちらでご覧いただけます。

マジセミ株式会社

〒102-0094　東京都千代田区紀尾井町３番１２号
お問合せ： https://majisemi.com/service/contact/