[feature request] 続きを出力ボタン (continue button)

[ysekiy]

概要

「続きを出力」ボタンの実装をしてほしい

背景

出力に 30 秒以上かかるリクエストがユーザーから入力された場合、30秒経過後　「回答中にエラーが発生しました。」と出力が消えてしまいます。

再現手順

入力はながければなんでもいいのですが、例えば: https://qiita.com/kei31/items/82356c4130b3ab627d32　を入力します。

下記の図のように途中まで出力されます。

29秒後画面出力がクリアされ、「回答中にエラーが発生しました。」と表示されます。

根本原因は api-gw と lambda間の統合が max 29秒であることだと考えられます。
https://stackoverflow.com/questions/61617193/aws-api-gateway-websocket-timeout でも同じ議論が見えます。

期待する機能

ユーザー入力+途中まで出力された結果を記録し、再度推論させれば、続きが出力されると思うので、「続きを出力」させる機能がほしい。

{message: "Endpoint request timed out" をキャッチした場合は、以下の図のように「続きを出力」をさせるボタンを出してほしい

[statefb]

方針: https://github.com/aws-samples/aws-serverless-openai-chatbot-demo/blob/main/v2-websocket/README.md
10/Eまでに修正（目標）

[statefb]

@ysekiy
下記リリースにて対応しました
https://github.com/aws-samples/bedrock-claude-chat/releases/tag/v0.2.1

30秒以上かかるレスポンスに対応しています。max_tokensで終了する場合はconfig.pyをご調整いただくか、「続けて」などの文言でご対応いただければと存じます。「Continue generating」のボタンはひとまず本Issueでの対応は見送らせていただきました。

上記対応で難しい場合はまた別途Issue立てていただければと存じますmm

[ysekiy]

ありがとうございます！非常に助かります！

[statefb]

Implemented on #401