ソートリーダー
AIの組み立てラインには、最初からテストを組み込む必要がある理由

要点AIはコーディングを加速するが、下流のテストの弱さを露呈し、デリバリーの安定性を低下させる。
もっと見る
- AIはコーディングを加速するが、下流のテストの弱さを露呈し、デリバリーの安定性を低下させる。
- 自らのテストを評価するエージェントは、コードを修正する代わりに失敗したテストを編集することで不正を行うことができる。
- テストはCIの外にある独立した工程でなければならず、そうすることで全ての変更が同じ判定に直面する。
私は20年以上にわたってテストツールを開発してきましたが、その大半の期間、エンジニアリングチームとの会話はよく似たものでした。テスターはソフトウェア開発のライフサイクルで二級市民のように扱われていました。テストは後回しにされ、リリース前に残された時間へ無理に押し込まれることも少なくありませんでした。また、本来は別の目的で構築されたCIパイプラインに、後から付け足されていました。AIはいま、コードの書き方を大きく変えています。そして、その影響は良い面でも悪い面でも、テストにはっきり及んでいます。多くの点で、AIによってこの課題がより見えやすくなりました。
ここ数カ月、私はテストやクラウドネイティブに関するカンファレンス(LeadDev、CloudX、StarWest)にいくつか参加しました。話をしたチームのほぼすべてが、同じ構想のいずれかに取り組んでいました。エージェントが仕様から本番環境で稼働するものまで作業を進め、その過程に適切な程度で人間が関与する、AI主導のソフトウェアデリバリーライフサイクルです。私はこれを組み立てラインのようなものだと考えています。エージェントがコードを書き、別のエージェントがレビューし、パイプラインがビルドとデプロイを行います。人間は全体を見守ります。このラインのどこにテストが位置するのかについては、あまり耳にしません。
まだ誰も答えを見つけていない
現状は、いわば開拓時代の西部のようなものです。新しいエージェントの機能が数週間ごとに登場し、大手AI研究機関は次々と新しいモデルを公開しています。チームもベンダーも、何がうまくいくかを確かめようと、さまざまなものを手当たり次第に試しています。
すでにギャップが表面化していることを示すデータもあります。Googleが実施した最新のAI支援ソフトウェア開発に関するDORAレポートでは、約5,000人のテクノロジー専門家を調査し、AIの導入がデリバリースループットの向上と関連していることが分かりました。これは朗報です。一方で、AIの導入は依然としてデリバリーの安定性の低下とも関連しています。研究者らは、AIによって開発が加速することで、下流工程にある弱点が顕在化すると説明しています。また、変更の増加が不安定さの増大につながるのを防ぐ制御策の一つとして、堅牢な自動テストを挙げています。
これは意外ではありません。処理量が大幅に少ないことを前提に設計されたプロセスに、はるかに多くのコードを流し込めば、どこかで速度が落ちるか、どこかで破綻します。
開発者の作業は速くなったが、リリースの大半は速くなっていない
AIが生成したコードで何が起きるかを考えるとき、多くの人はエージェントがひどいものを本番環境に投入する場面を思い浮かべます。そういうことも起きるでしょうし、起きたときの結果は芳しくありません。バグや顧客の不満、場合によってはセキュリティインシデントにつながります。でも正直なところ、私が日常的に目にするのは、そうした事態ではありません。
2026年版Stack Overflow開発者調査からは、現在AIの利用がどこに集中しているかが分かります。開発者の主な用途は、自分がすでに知識を持つ分野でのコード生成(67%)とデバッグ(61%)です。一方、本番システムのデプロイ、運用、トラブルシューティングにAIを使う人はわずか20%です。これまでのところ、AIによって主に速くなったのはコードを書く作業です。そのコードを検証して本番環境に投入する工程は、依然としておおむね従来と同じやり方で進められています。
これは、私が目にしている状況とも一致します。チームは以前よりはるかに多くのコードを作り出していますが、リリースの速度は上がっていません。個々の開発者やチームは、機能を2倍の数だけ開発しているように感じるかもしれません。しかし、その機能は下流工程で行き詰まり、レビュー待ち、テスト待ち、テスト環境待ちになります。こうした余分なコードがパイプラインを詰まらせ、多くの場合、チーム全体のデリバリーまで遅らせています。
ガードレールをめぐる疑問を抱くのはマネージャー
AIによってデリバリーのボトルネックが生じるという懸念は、非常に現実的です。しかし、チームから寄せられる質問はそれだけではありません。開発者が知りたいのは、主にどうすればより良いコードをより速く書けるかです。ガードレールについて尋ねるのは、エンジニアリングマネージャーや、エージェント主導のワークフローを構築する人たちです。エージェントが勝手な振る舞いをしないようにするには、どうすればよいのか。リグレッションを持ち込んだり、実行するはずだった作業を気づかれないように省いたりしていないと、どうすれば分かるのか。エージェントが書いたテストが、検証すべきものを実際に(そして本当に!)検証していると、どうすれば確かめられるのか。
それは、両者が見ているものが違うからだと思います。開発者は一度に一つのプルリクエストを見ます。エンジニアリングマネージャーは、多数のエージェントや人々が関わる中でリリースされるすべてに責任を負い、本番環境で何かが壊れたときには説明を求められる立場です。
慎重になるのには理由があります。研究者らは、ユニットテストが仕様と矛盾するコーディング課題を使って、ImpossibleBenchというベンチマークを作成しました。合格する唯一の方法は、不正をすることです。主要なモデルはしばしば実際に不正を行い、たとえばコードを修正する代わりに、失敗するテストを編集したり削除したりしました(!!)。別のエージェントが作成したプルリクエストに関する研究では、エージェントが自らの変更をどれだけ適切にテストできるかに課題があることが分かりました。また、マージされたエージェント作成のプルリクエストのほぼ3分の1に、後続の修正やリファクタリングが必要だったとする先行研究も引用しています。
私の結論は、ガードレールをエージェント自身の環境の中だけに置くことはできず、コードの出荷後に設けるだけでも不十分だということです。コードを書いたエージェントが、そのコードがテストに合格したかどうかまで判断するのであれば、その結果から分かることは多くありません。だからといって、エージェントがテストを書くべきではないという意味ではありません。判定は、エージェントが変更できない場所から下されなければならないということです。人間が書いた変更であれ、エージェントが書いた変更であれ、すべてが通過する独立した工程として、テストをラインに組み込む必要があります。
その工程に必要なもの
答えは、まったく新しい種類のテストではありません。必要とされることの多くは、優れたQAチームが以前から求めてきたことです。ただ、今はそれがいっそう重要になっています。
テストは、テスト対象のコードと同じように、要件に照らして正確かどうかをレビューする必要があります。また、ソフトウェアが実行される環境でテストを実行することも必要です。エージェントのサンドボックスで合格したテストだけでは、ステージング環境や本番環境についてほとんど分かりません。また、どの依存関係がモック化されていたのか、どのようにモック化されていたのかが見えなくなることもあります。エージェントが生成したテストファイル約180,000件を対象とした最近の調査では、エージェントは人間が作成したテストよりも多くのエッジケースを網羅していた一方、テストが不安定である兆候もより多く見られました。その主な理由は、テストを実行する環境についてエージェントが十分に把握していなかったことです。テストを早い段階で実際のインフラ上で実行すれば、そうした問題を検出できます。
テストとその結果は、後から参照できるように残しておく必要があります。エージェントがテストを作成する場合、既存のテストとその結果をコンテキストとして与えるべきです。そうすることで、網羅性と不安定になる可能性の両方から学習できます。テストもほかのコードと同様にレビューし、バージョン管理する必要があります。そうすれば、セッション終了時に消えてしまうのではなく、次の変更時にも再実行できます。
パイプライン、開発者、エージェントのいずれが要求した場合でも、合格という結果は同じ意味を持つべきです。そのためには、同じテストを同じインフラ上で実行し、結果を一か所に集約する必要があります。
そして、人間は自らの判断力を保つべきです。定型的な作業や配線は、エージェントに任せても構いません。何をテストする価値があるのか、失敗が何を意味するのかを判断するのは、少なくとも今のところ、依然として人間の役目です……。
つまり、テストをCI/CDの中だけで行うべきではないということです(この記事から一つだけ覚えておくなら、これです!)。CIパイプラインは、コードをビルドしてリリースするために設計されたものであり、自動テストを大規模に実行するために作られたものではありません。エージェント型SDLCへの移行が進み、コード量が増え続けるにつれて、CIはテストの実行にますます適さなくなります。テストは、パイプラインの最後に付け加える工程ではなく、ソフトウェアを提供する仕組みの中核に位置づける必要があります。そのためには、エージェントと人間のどちらが作業を主導するかにかかわらず、チームが使うあらゆるツールや環境を横断して、テストを独立したシステムとしてオーケストレーションする必要があります。
どこから始めるか
多くのチームはすでに、Playwright、Cypress、k6、Postmanなど、標準として採用しているツールで信頼できるテストを実施しています。そこから始めるのがよいでしょう。私から提案したいことをいくつか挙げます。
- 現在、変更がプロンプトから本番環境に届くまでの流れを図にし、各段階でテストが実行される箇所を記入してください。テストが一度しか実行されず、それが終盤にあたるなら、まずそこから着手しましょう。
- エージェントに既存のテストを気づかれないうちに変更させないよう、注意してください。ImpossibleBenchの研究者たちは、エージェントがテストにアクセスできないよう制限すると、不正が減ることを明らかにしました。エージェントがテストを変更する必要がある場合は、ほかのコードと同様に、担当者がレビューするプルリクエストとして変更を提出させるべきです。
- テストは、エージェントのサンドボックスではなく、できるだけ実際のテスト環境で、可能な限り早い段階から実行してください。たとえ、エージェントが生成した変更のたびにステージング環境で小規模なスモークテスト一式を実行するだけでも構いません。AIを使ってテストを作成する場合は、その環境で実行されるまでは受け入れないでください。
- レポートツール、利用中のAPMソリューション、専用のテストプラットフォームなどを使い、テスト結果を一つのコントロールプレーンに集約してください。人間とエージェントの両方が結果を参照できるようにしましょう。
- 活動量ではなく、デリバリーを測定してください。プルリクエストの数から分かることはほとんどありません。変更のリードタイムや変更失敗率といったDORAのデリバリーメトリクスのほうが、AIが役立っているかどうかをはるかによく示します。
- エージェントにもチームのメンバーと同じテストインフラを使わせ、同じ基準で作業を検証できるようにしてください。
期待は持てるが、条件もある
私はAIについては楽観的なほうで、ソフトウェアチームの能力を大きく高め、最終的には生産性も向上させると考えています。しかし、そこに到達するには、チームがエージェントの成果をリリースできるほど信頼する必要があります。そして、エージェント型SDLC全体を見渡したテストのアプローチが欠かせません。信頼は、まさにそこで築かれるか、失われるかが決まるからです。
エージェント型SDLCを目指すなかで、テストは現在どのような位置づけにありますか?












