AI開発ベンダー評価フレームワーク

ベンダーがAIを出荷できるかどうかの最良の予測指標は、最近AIを出荷したかどうかです。18ヶ月以上前の本番デプロイはチームに能力があったことを示しますが、AIツーリング、モデル選択、デプロイパターンは急速に変化します。「2024年に素晴らしいLLM作業をしました」は、最近の作業も示せない限り、2026年には黄信号です。過去18ヶ月で出荷した5つの本番AIデプロイ、それぞれLLMプロバイダ、モデル、規模(リクエスト/月)、測定可能な成果を要求してください。

成熟したAIエンジニアリングの最強シグナル：プロジェクトについて質問した時、ベンダーがモデルやプロンプトの前に評価方法論について話す。弱いシグナル：「GPT-4を使用しました」「お客様は満足しました」。強いシグナル：「200ケースの固定評価セットを構築、忠実性 + 回答関連性でスコアリング、CIゲート 0.92最低」。評価フレームワークは本番AIのオペレーティングシステム；持っていないベンダーはプロトタイプを出荷しています。

エージェントまたはRAGプロジェクトでは、アーキテクチャの詳細がシステムが2ヶ月目以降生き残るかどうかを決定します。メモリティア(ワーキング / 短期 / 長期の分離)、検索方法論(純粋セマンティック vs ハイブリッド + 再ランキング)、コールドスタート処理について質問してください。「ベクターデータベースを使用します」と答えるが、どのメモリティアに供給するか、検索がどう構造化されているかを指定しないベンダーは、メモリを単一ショットソリューションとして扱っています — これはスケールで失敗します。

ほとんどの本番AIは、チームが最適化に戻らないため、最適コストの70-90%増しで運用されています。成熟したAIベンダーは、モデルルーティング(分類器が安価なタスクを安価なモデルに振り分ける)、プロンプトキャッシング(Anthropic + OpenAI キャッシュ割引)、バッチティア(非同期ワークロードで50%オフ)、タスクごとのハードキャップ(病的な$4タスクを防ぐ)について話します。ディスカバリで言われずに言及しない場合、貴社プロジェクトは必要よりも5倍高価に運用されます。

MLOpsは午前3時のモデルリグレッションをデバッグできるチームと、できないチームを分けます。質問：モデルレジストリ(MLflow、SageMaker Model Registry、カスタム)、モデルコード用CI/CD、ドリフト検出、予測ロギング、キルスイッチ(インシデント時にAI呼び出しを無効化する単一設定トグル)。「AWSにデプロイします」は答えではありません。「MLflow Model Registryを使用、機密ワークロード向けにphi=true タグ付きのOpenTelemetryトレース、Datadogダッシュボード、キルスイッチはPagerDutyに配線」が答えです。

GDPR、HIPAA、PDPA、PIPEDA、APPI、EU AI法はすべて異なる規制です。一つでのベンダー経験は他に綺麗に転用されません。質問：チームが過去18ヶ月でどのコンプライアンス規制下で出荷したか、クライアント法域確認付きで。「GDPR認識あり」は「過去12ヶ月で3つのEUクライアント向けにGDPR準拠AIを出荷、DPIAテンプレートをご案内可能」とは異なります。

ユーザー提供入力(またはメール、スクレイピングされたページなどからのLLM入力)を持つ本番AIシステムはプロンプトインジェクション攻撃に直面します。あなたが言う前にこれを言及しないベンダーは敵対的入力について考えていません。質問：入力サニタイゼーション、デリミタベースのプロンプト分離、LLMモデル選択(RLHFでインジェクションに耐性のあるものもあれば、ないものもある)、出力フィルタリング、インジェクション成功時のインシデント対応。

AIデプロイは24-36ヶ月の運用ライフサイクルの始まりで、終わりではありません。質問：引き渡しには何が含まれますか？2ページのConfluenceページは引き渡しではありません。本物の引き渡しには以下が含まれます：オンコールチーム向けランブック、AI故障固有のインシデント対応手順、貴社チームが拡張可能な評価フレームワーク、モデルリフレッシュプレイブック、継続チューニングのための月次リテイナーオプション。引き渡してして消えることを最適化するベンダーは6ヶ月で腐る脆いシステムを出荷します。