自分の物差しでAIを測る。AWS設計ベンチマーク、はじめます

ここ数週間で、Claude Opus 5.5、ChatGPTのSol 6・Luna 6と、主要モデルのリリースが立て続けに起きました。そして先日、Claude Sonnet 5.5も、予告より早く登場しました。自分が普段Claude Codeでメインに使っているのはSonnet 5系なので、これでようやく、自分が実際に使う「ミドルレンジ」のラインが両社とも最新版で出揃ったことになります。

というわけで、この機会に自分なりのベンチマークを取って、2社2モデルを客観的に評価してみようと思います。今回はその準備段階の話です。

フラッグシップより、常用するモデルが気になる

Fable 5.1やAstra 6のようなフラッグシップモデルも確かにすごいのですが、実運用で毎日触るのは、コストと速度のバランスが取れたミドルレンジのモデルです。だからこそ、Sonnet系とGPT系のミドルレンジがどちらも最新になったこのタイミングは、自分にとって地味に大きな節目でした。

インフルエンサーの比較記事に、なぜか腑に落ちない

SolやLunaについては、すでに多くのインフルエンサーがSNSで比較や立ち位置の解説を発信してくれています。ありがたい情報ではあるのですが、正直なところ、あまり自分ごととして腑に落ちていません。

理由ははっきりしていて、そうした比較のほとんどがコーディング中心のレビューだからです。自分の主戦場はインフラ、特にAWSの設計・構築です。コーディング視点の評価をいくら読んでも、「自分の現場だとどうなのか」に変換できず、感覚的な印象以上のものが残りませんでした。

実はCodexを使い始めて1か月ほど経つのですが、Claudeとの使用感の違いを、未だに言葉で説明できずにいます。なぜだろうと考えて出た答えが、「自分基準の物差しがないから、腑に落ちないし、言語化もできない」ということでした。

自分の物差しは、AWSの設計・構築にする

そこで、Sonnet 5.5のリリースをきっかけに、自分専用のベンチマークを作ることにしました。軸に据えるのは、自分が一番AIエージェントを使っている局面である「AWSの設計・構築」です。

自分にとって一番なじみのある土俵で評価すれば、感覚ではなく、具体的にどこが強くてどこが弱いのかを言語化できるはずです。これは同じようにインフラを主戦場にしているエンジニアにとっても、汎用的なコーディングベンチマークより参考になる評価軸になるのではないかと思っています。

今、準備中です

というわけで、現在は独自ベンチマークの設計を進めています。正直、思っていたより準備が大変で、評価項目や実施手順の作り込みに時間がかかっています。

次のアクション

近日中には、実際の検証結果としてお届けできると思います。2社2モデルを、インフラ・AWS設計という共通の物差しで比較したら何が見えてくるのか、自分自身も楽しみにしています。