Puppet Labs: State of DevOps Report 2015

Puppet Labs: State of DevOps Report 2015は、IT業界における最近のDevOpsトレンドを示すものだ。デプロイメントの成功と安定性の観点からパフォーマンスの高い人低い人を比較し、アーキテクチャと開発者の生産性との関係を調査している。

約5,000名の回答者の大部分 (81%) はITの運用、開発、DevOps部門に所属しており、その70%は100以上のサーバをインフラに持つ会社に勤務する。18%は1,000以上のサーバを持つ会社に勤務する。特にこの調査では以下のメトリクスを調べることで、業界全体のデプロイメントのスループットとサービスの安定性を評価している。

  • デプロイメントの頻度 – 組織がコードをデプロイする回数
  • デプロイメントのリードタイム – コミットされたコードをプロダクションに渡すための変更に要する時間
  • 平均復旧時間 (MTTR) – エラーでダウンした時、サービス復旧に要する時間
  • 変更成功率 – コード変更がプロダクション投入に成功する割合

回答を評価するにあたり、このレポート作成者はパフォーマンスの高い人と低い人とで分類した。その差異を次のテーブルに示す。昨年のレポートから変わったところは、MTTR(パフォーマンスの高い人はエラーから非常にすばやく復旧する)と変更成功率(Change Success Rate)(パフォーマンスの高い人はプロダクションにプッシュ成功するコードが20倍以上ある)だ。

メトリクス 2015 (高い人 vs. 低い人) 2014 (高い人 vs. 低い人)
デプロイメントの頻度 30x 30x
デプロイメントのリードタイム 200x 200x
平均復旧時間(MTTR) 168x 48x
変更成功率  60x 3x

組織におけるリーンマネジメントおよび継続的デリバリーとITパフォーマンスの影響を測定するのに、レポート作成者は構造方程式モデリングを使った。彼らは、WIP(Work in Progress)を制限すること、品質、生産性、WIPをモニタリングするのに視覚的な方法を使うこと、ビジネス判断にモニタリングツールを使うことが、組織のパフォーマンスに直接的な影響を与える、と結論づけた。また、テストとデプロイメントの自動化、トランクベースの開発と継続的インテグレーション、アプリとシステムの構成をバージョン管理システムに保持することが、デプロイメントの苦痛と変更失敗率を抑え、デプロイメントのスループットと安定性を高め、結果的に、生産性とマーケットシェア、利益率を高めることになると述べた。

今年の調査では、ソフトウェアアーキテクチャと開発者の生産性との関係についても評価している。彼らは開発者1日当たりのデプロイメント数を記録した。次の図は、プロジェクトに関わる開発者が増えるほど、パフォーマンスの低い人の生産性は下がり、パフォーマンスの高い人の生産性は指数的に向上することを示している。

image

調査結果は高いITパフォーマンスに寄与する要因を次のように述べている。「ゴール指向の活力のあるカルチャー、モジュラーアーキテクチャ、継続的デリバリーを実現するエンジニアリングプラクティス、効果的なリーダーシップ」

レポートでは、ITマネージャー向けのアドバイスに一章をあてて、チームのパフォーマンス向上に役立つ方法、組織カルチャーが重要な理由、活力のある(パフォーマンス指向の)カルチャーの構築方法、DevOpsの導入方法を説明している。また従業員の燃え尽きにも一章をあて、業務の過負荷、コントロールの欠如、不十分な報酬、コミュニティの崩壊、公平感の欠如、価値の衝突といった主要な原因について説明している。