概要

Docker の daemon metrics の機能を使うと簡単に Prometheus と連携することができます
Docker Damon metrics を有効にする方法と Prometheus との連携方法を紹介します

環境

事前に停止が必要なコンテナは停止しておいてください

{
  "metrics-addr" : "0.0.0.0:9323",
  "experimental" : true
}

これで 9323 ポートでメトリックが取得できるようになります
念のため netstat -an | grep 9232 などでポートが開いているか確認してください

scrape_configs に以下の job_name を追加しましょう

scrape_configs:
  - job_name: 'worker2_docker'
    static_configs:
    - targets: ['192.168.100.12:9323']

追記したら Prometheus のコンテナを再起動します

prometheus の部分は Prometheus のコンテナ名またはコンテナ ID になります

Status -> Targets を確認すると監視対象が追加されていると思います
メトリックの名前は daemon_ と swam_ から始まる項目になります

dockerd の Daemon metrics の機能を使って使って Prometheus と連携してみました
連携自体はかなり簡単に行えます

ただ、Daemon metrics はかなり簡易的な情報しか取得できません
非公式ではありますが cAdvisor と連携する方法があります
cAdvisor の方が確かに各コンテナの情報を取得できるので細かい情報まで確認することができます

今回の方法は docker 公式のページで紹介されている方法なので今後取得できるメトリックの量などが増えるといいなーと思っています