Warning
現在のバージョン(v0.3.x
)は DynamoDB テーブルの変更により以前のバージョン(v0.1.0
, v0.2.x
)との互換性がありません。v0.2.x
以前からv0.3.x
へのアップデート (cdk deploy
) は、既存の会話履歴の削除を伴いますのでご留意ください。
このリポジトリは、生成系 AI を提供するAmazon Bedrockの基盤モデルの一つである、Anthropic 社製 LLM Claude 2を利用したチャットボットのサンプルです。
-
Bedrock Model accessを開き、
Edit
>Claude
をチェックしSave changes
をクリックします -
CloudShellを開きます
-
下記のコマンドでデプロイ実行します
git clone https://github.com/aws-samples/bedrock-claude-chat.git
cd bedrock-claude-chat
chmod +x bin.sh
./bin.sh
- 20 分ほど経過後、下記の出力が得られるのでブラウザからアクセスします
Frontend URL: https://xxxxxxxxx.cloudfront.net
上記のようなサインアップ画面が現れますので、E メールを登録・ログインしご利用ください。
Important
このデプロイ方法では、URL を知っている誰でもサインアップできてしまいます。本番運用で使用する場合は、セキュリティリスクを軽減するために IP アドレス制限やセルフサインアップの無効化を強くお勧めします。設定方法は、IP アドレス制限の場合はDeploy using CDK、セルフサインアップの無効化の場合はセルフサインアップを無効化するをご覧ください。
AWS のマネージドサービスで構成した、インフラストラクチャ管理の不要なアーキテクチャとなっています。Amazon Bedrock の活用により、 AWS 外部の API と通信する必要がありません。スケーラブルで信頼性が高く、安全なアプリケーションをデプロイすることが可能です。
- Amazon DynamoDB: 会話履歴保存用の NoSQL データベース
- Amazon API Gateway + AWS Lambda: バックエンド API エンドポイント (AWS Lambda Web Adapter, FastAPI)
- Amazon SNS: API Gateway と Bedrock 間のストリーミング呼び出しを疎結合にするため使用しています。ストリーミングレスポンスにはトータルで 30 秒以上かかることがあり、これは HTTP インテグレーションの制約を超えてしまうためです(クオータを参照)。
- Amazon CloudFront + S3: フロントエンドアプリケーションの配信 (React, Tailwind CSS)
- AWS WAF: IP アドレス制限
- Amazon Cognito: ユーザ認証
- Amazon Bedrock: 基盤モデルを API 経由で利用できるマネージドサービス
- 認証 (サインアップ・サインイン)
- 会話の新規作成・保存・削除
- チャットボットの返信内容のコピー
- 会話の件名自動提案
- コードのシンタックスハイライト
- マークダウンのレンダリング
- ストリーミングレスポンス
- IP アドレス制限
- メッセージの編集と再送
- I18n
- モデルの切り替え (Claude Instant / Claude)
- カスタマイズされたボットの作成
- カスタマイズされたボットのシェア
- ファイルのアップロードと取得
- Web 情報の取得
上記 Easy Deployment はAWS CodeBuildを利用し、内部で CDK によるデプロイを実行しています。ここでは直接 CDK によりデプロイする手順を記載します。
-
お手元に UNIX コマンドおよび Node.js 実行環境を用意してください。もし無い場合、Cloud9をご利用いただくことも可能です
-
このリポジトリをクローンします
git clone https://github.com/aws-samples/bedrock-claude-chat
- npm パッケージをインストールします
cd bedrock-claude-chat
cd cdk
npm ci
- AWS CDKをインストールします
npm i -g aws-cdk
- CDK デプロイ前に、デプロイ先リージョンに対して 1 度だけ Bootstrap の作業が必要となります。ここでは東京リージョンへデプロイするものとします。なお
<account id>
はアカウント ID に置換してください。
cdk bootstrap aws://<account id>/ap-northeast-1
-
必要に応じてcdk.jsonの下記項目を編集します
bedrockRegion
: Bedrock が利用できるリージョンallowedIpV4AddressRanges
,allowedIpV6AddressRanges
: 許可する IP アドレス範囲の指定
-
プロジェクトをデプロイします
cdk deploy --require-approval never --all
- 下記のような出力が得られれば成功です。
BedrockChatStack.FrontendURL
に WEB アプリの URL が出力されますので、ブラウザからアクセスしてください。
✅ BedrockChatStack
✨ Deployment time: 78.57s
Outputs:
BedrockChatStack.AuthUserPoolClientIdXXXXX = xxxxxxx
BedrockChatStack.AuthUserPoolIdXXXXXX = ap-northeast-1_XXXX
BedrockChatStack.BackendApiBackendApiUrlXXXXX = https://xxxxx.execute-api.ap-northeast-1.amazonaws.com
BedrockChatStack.FrontendURL = https://xxxxx.cloudfront.net
config.pyを編集後、cdk deploy
を実行してください。
GENERATION_CONFIG = {
"max_tokens_to_sample": 500,
"temperature": 0.6,
"top_k": 250,
"top_p": 0.999,
"stop_sequences": ["Human: ", "Assistant: "],
}
cli および CDK を利用されている場合、cdk destroy
を実行してください。そうでない場合はCloudFormationへアクセスし、手動でBedrockChatStack
およびFrontendWafStack
を削除してください。なおFrontendWafStack
は us-east-1
リージョンにあります。
このアセットは、i18next-browser-languageDetector を用いて自動で言語を検出します。もし任意の言語へ変更されたい場合はアプリケーション左下のメニューから切り替えてください。なお以下のように Query String で設定することも可能です。
https://example.com?lng=ja
このサンプルはデフォルトでセルフサインアップが有効化してあります。セルフサインアップを無効にするには、auth.tsを開き、selfSignUpEnabled
を false
に切り替えてから再デプロイしてください。
const userPool = new UserPool(this, "UserPool", {
passwordPolicy: {
requireUppercase: true,
requireSymbols: true,
requireDigits: true,
minLength: 8,
},
// true -> false
selfSignUpEnabled: false,
signInAliases: {
username: false,
email: true,
},
});
- こちらを参照ください。
バグ修正や機能追加など、Pull Request は大変ありがたく思っています。下記をご参考にしていただけますと幸いです。
本サンプルでは Kendra を利用した RAG は実装しておりません。実導入する場合、アクセスコントロールポリシーやデータコネクタの有無、接続先データソースの認証・認可方法は組織により多様なため、シンプルに一般化することが難しいためです。実用するにはレイテンシーの低下やトークン消費量の増加などのデメリットや、検索精度を検証するための PoC が必須であることを考慮する必要があるため、以下のアセットを活用した PoC をおすすめします。
- generative-ai-use-cases-jp (In Japanese)
- simple-lex-kendra-jp (In Japanese)
- jp-rag-sample (In Japanese)