背景
- PTUを理解していないと、想定外の課金が発生する。
- その理解のためのメモ
結論
- ざっくりいうと、固定でリソース確保されるため、料金が極めて高くなる。
- スタンダート（標準）をまず試してみて、どうしても必要な場合にPTUを検討したほうがよさそう。
- PoC等で事前に要件がちゃんと出せるのであればPTUでコスパを出せるケースもあり。
概要
- ざっくり概要は下記。よほど大規模でAzure Open AIを使わない限りは、”標準”一択ではないかなと思っている。その確信を持つためにPoCは絶対やったほうがいい。
| 比較項目 | 標準（Standard / 従量課金） | プロビジョニング済み（PTU） |
|---|---|---|
| 課金体系 | トークン量（文字数）に基づく従量課金 | 予約したスループット（PTU）に基づく時間課金 |
| コスト発生のタイミング | APIを呼び出して実際に処理を行った時のみ発生 | 使用の有無に関わらず、デプロイしている間は常に発生 |
| 料金の目安 | 入力: 約 $2.00 / 100万トークン 出力: 約 $8.00 / 100万トークン | 1 PTUあたり 約 $1.00〜$2.00 / 1時間 ※最低 15〜50 PTU から |
| スループット（性能） | 他のユーザーとリソースを共有するため、負荷状況により変動 | 専用の処理容量を確保するため、常に一定で低遅延 |
| 主な用途 | 開発用途、個人利用、 アクセス数が予測できない小〜中規模運用 | 大規模エンタープライズ製品、 リアルタイム性が必須な業務 |
もう少し実際のところを解説
該当の機能部分
- 上記のように文字で書いてもさっぱりわからないと思うので、ポータル上でみると下記の部分になる。”プロビジョニング済み”とかかれているものが、PTUをつかうデプロイとなっている。表記の揺れがあるが、”XX標準”および”スタンダード”がその名の通りスタンダード機能。本ブログではこちらをまずはPoCや開発レベルで使ってみることを推奨。
リージョンやモデルによって選択できるデプロイが異なる。
- 下記に詳しいが、その中に下記の記載がある。実際モデルを変えて色々見てみると、”グローバル標準”しか選べないモデルなどもあるので、提案や実際試す際はMSドキュメントおよびポータルでも裏付けをとっておくことが重要。
リージョンによってプロビジョニングされたスループットのデプロイ オプションは、リージョンによって異なります。
Foundry モデルのプロビジョニングスループットとは何か - Microsoft Foundry
プロビジョニングされたスループットによって、安定した待機時間と割り当てられた容量で Azure OpenAI および Foundry モデルを効率的にデプロイできるようにする方法について説明します。 今すぐ始めましょう。
learn.microsoft.com
PTUは最小PTUという考え方がある。
PTUには最小PTUという考え方があり、ざっくりいうと15以上のデプロイが必要。
なので料金が一気に跳ね上がる。グローバルよりもリージョンのほうがより最小PTUが増える。
プロビジョニング済みスループット ユニット (PTU) に関連するコストについて - Microsoft Foundry
Microsoft Foundry のプロビジョニング済みスループット コストと課金について説明します。
learn.microsoft.com
実際どれくらいかかるのか？
料金ツールで実際にはじいてみる。私の試算では最低でも160万円/月くらいかかる。
コメント