NGINX Plus

NGINXとNGINX Plusの高性能キャッシング

この記事はNGINX,Inc.のブログ記事「High‑Performance Caching with NGINX and NGINX Plus」を和訳した内容となります。

URL: https://www.nginx.com/blog/nginx-high-performance-caching/

この投稿はAndrew Alexeevに紹介されたOwen Garrettのウェビナーからのものです。

目次

はじめに

0:00 はじめに

1:22 このウェビナーについて

2:17 コンテンツキャッシングの基本原則

2:35 基本原則

3:59 HTTPキャッシュの仕組み

7:46 NGINXキャッシュとは何か?

 

コンテンツキャッシュとNGINX

9:55 NGINXの運用

10:06 NGINXの設定

11:14 キャッシングプセス

15:32 キャッシュはHTTPのためだけではありません

17:10 何が起こっているのか理解する方法

17:38 キャッシュ・インスツルメンテーション

19:08 キャッシュ・インスツルメンテーション(続き)

20:09 キャッシュステータス

21:57 コンテンツキャッシュがNGINXでどのように機能するか

22:40 どのように動作するか

23:53 キャッシュされたコンテンツはどのように保存されるか

26:36 ディスクからのキャッシュのロード

28:07 ディスクキャッシュの管理

29:22 ディスクからのコンテンツの除去

 

キャッシュの制御

31:27 キャッシュの制御

32:30 遅延キャッシング

34:45 キャッシュ時間の制御

36:18 キャッシュ/キャッシュしない

37:25 複数のキャッシュ

39:07 クイックレビュー – なぜキャッシュ?

39:44 Page Speedはなぜ重要か?

40:46 Googleがルールを変更した

41:28 パフォーマンス低下のコスト

43:00 NGINXキャッシングでできること

45:21 最後に

 

Q&A

47:20 Byte-Rangeリクエスト

49:13 プロキシキャッシュの再検証

50:07 等しいディスク間でキャッシュを分散する

50:50 Vary ヘッダ

51:25 キャッシングプリミティブ

51:52 アップストリームヘッダーとデータ

52:13 *-Encoding ヘッダー

52:56 SPDY

53:15 Vary ヘッダー、第2ラウンド

53:45 PageSpeed

54:00 その他のキャッシュ

 

0:00はじめに

Andrew Alexeev:最新のウェビナーへようこそ。私の名前はAndrewです。NGINXは世界のウェブサイトをより速く、反応良く、簡単に拡張できるようにするため、Igor Sysoevによって書かれました。今日、NGINXはトップサイトの30%以上、インターネット上の全ウェブサイトの20%以上を占めています。[ 編集注 – この統計は2014年5月にウェブセミナーが配信されたときのものです。現在の数値は、こちらを参照してください] このウェブセミナーの内容が皆さんのお役に立ち、既存、または新規計画中のNGINX環境に当てはまれば幸いです。

 

それでは、みなさんにOwen Garrettを紹介させてください。OwenはNGINXで製品開発を担当しています。今日、Owenは、NGINXの強力なキャッシュメカニズムを適用して、同じコンテンツを何度も繰り返し生成する負荷から、アプリケーションを解放する方法について説明します。

 

1:22このウェビナーについて

スライド内文章
コンテンツキャッシングは、ウェブサイトのパフォーマンスを劇的に改善する最も有効な方法の一つです。このウェビナーでは、NGINXのキャッシング性能と使われているアーキテクチャー、デバッグ技術や応用的な設定を詳しく見ていきます。ウェビナーが終わるまでには、ご自身のニーズに合わせてコンテンツをキャッシュするために、NGINXを設定する十分な知識を得られます。

 

Owen Garrett: Andrew、ありがとう。そして皆さん、これから45分から50分間、お付き合いいただきますが、ありがとうございます。これから、コンテンツキャッシュについて、NGINXの機能をお話しし、パフォーマンスを向上させる方法をいくつか見ていきます。NGINX内で何が起きているのかをデバッグして診断するために、コンテンツキャッシュが実際にどのように機能するかを少し詳しく説明します。そして、キャッシュ可能なコンテンツに対して、NGINXの処理を細かく制御するヒントやコツをまとめてお伝えします。

 

Andrewが言ったように、これらにはすべて、中心となる同じ目的があります。アップストリームサーバーから反復するコンテンツを生成する負荷を取り除き、ビジネスが本当に必要とするアプリケーションを実行できるようにする、というものです。インターネットからのトラフィックが急増し、潜在的には上流のサーバーに障害が発生するような状況に直面しても、エンドユーザーのサービスレベルを向上させ、サービス全体としての信頼性を向上させます。

 

2:17コンテンツキャッシングの基本原則

NGINXの実装設定に入る前に、皆さんが同じ地点、同じ基本的なコア情報からスタートできるよう、コンテンツキャッシュ機能の基本的な内容を素早くおさらいしておきたいと思います。

 

2:35基本原則

コンテンツキャッシングの基本原則は、アップストリームサーバーを反復作業から開放することです。第1のユーザーがWenサイト上のコンテンツ(青いアイコンと線で示されています)を要求すると、HTTPリクエストはNGINXに転送され、そこから右側に描かれている灰色のアップストリームサーバーに転送されます。

 

レスポンスはリモートユーザーに転送されますが、キャッシュ可能な場合は(この後、その意味についてはお話しします)、すぐにNGINXがそのレスポンスのコピーを保存します。オレンジ色の別のユーザーが同じコンテンツを要求すると、NGINXはアップストリームサーバーからリクエストを構成するのではなく、ローカルキャッシュから直接配信することができます。

 

キャッシュ可能で不変なコンテンツを保存するこの基本原則は、Webブラウザに、CDNを使ったみなさんがアクセスしているサイトに、そして他のデバイス上のNGINXによって使われています。これは、リバースプロキシキャッシュとして動作します。通常は、WebコンテンツやWebアプリケーションをホストしているオリジンサーバーの横のデータセンターやクラウドに展開されます。

 

3:59 HTTPキャッシュの仕組み

オリジンサーバーは、よく知られ、理解されているHTTPレスポンスヘッダーのうちの1つ以上を使用して、コンテンツのキャッシャビリティを宣言します。もちろん、サーバーをキャッシュすることで、この動作を無視したり、上書きしたり、変更したりすることができます。しかし、構成されたコンテンツキャッシングを理解するには、コンテンツがキャッシュ可能であり、かつ変更されておらず、キャッシュされたコピーが一定の存続期間持つことについて、オリジンサーバーで宣言する方法をよく理解する必要があります。

 

コンテンツのキャッシュは、Expiresと呼ばれる単純なHTTPレスポンスヘッダーで開始されました。オリジンサーバーは何らかのコンテンツを提示し、Expiresヘッダーの日付までコンテンツが有効であると宣言します。その方法は、より効果的で柔軟な方法であるCache-Controlヘッダーにすぐに取って代わりました。

 

Expiresは、やや使いにくく、非効率的です。日付は適切にフォーマットされ、解析される必要がありますが、Cache-Controlはコンテンツキャッシュのニーズとスピードに合わせてより合理化されています。Cache-Controlはコンテンツをpublicまたはprivateのいずれかと宣言し、publicの場合はmax-age 、つまりキャッシュオブジェクトがそのコンテンツを再要求する必要が生じるまでにキャッシュできる秒数を宣言します。

 

キャッシングを直接制御する3番目のヘッダーが、X-Accel-Expiresです。このヘッダーはNGINXにとって特別で、NGINXだけがそれを理解します。上記のヘッダーの動作を無効にし、コンテンツのアイテムがキャッシュされる期間を直接正確にNGINXに伝えたい場合に使用されます。

 

コンテンツをWebブラウザに長期間キャッシュさせたい場合があるかもしれませんが、プロキシキャッシュ(NGINXはオリジンサーバーの前に置かれています)がそれらを短時間でキャッシュして、変更がより迅速に反映されて新しいクライアントに届けられます。

一方古いクライアントは、不必要にコンテンツを再要求し続けることはありません。

 

ただし、このメソッドは、最後の2つのヘッダーを使用して実装することもできます。オリジンサーバーは、コンテンツの項目が最後に変更されたかを宣言することができ、またETag(エンティティタグ)―不透明な文字列で、しばしばそのコンテンツを識別するハッシュ値―と呼ばれるものを宣言することができます。

 

クライアントは、条件付きのGETを使ったリクエストを行うことができます。リクエストには、If-Modified-SinceまたはIf-None-Matchヘッダーを含めることができます。これを行うことで、クライアントは、最後に特定の日付に変更された、または特定のETagを持つコンテンツバージョンがキャッシュされていることを宣言します。サーバーが保持している最新のバージョンとクライアントのバージョンが一致している場合、サーバーは単純に 304 Not Modifiedで応答します。これは、ネットワーク帯域幅を節約する高速なレスポンスであり、クライアントが余裕のある時に、キャッシュされたコンテンツのコピーが依然として有効かどうかを確認できるようにします。

 

これらの5つのヘッダーは、オリジンサーバーの観点から、コンテンツのキャッシュ可能性(有効性、最新性、およびETagに関しては、コンテンツ自体の詳細)を定義します。

 

7:46 NGINXキャッシュとは何か?

NGINXなどのプロキシキャッシュは、それらのヘッダーにどのくらい厳密に準拠するかを、比較的自由に解釈できます。明らかにキャッシュ可能ではないものはキャッシュするべきではありませんが、元のサーバーがキャッシュ可能であると言った場合にも、キャッシュする義務はありません。

 

基本的なNGINXのふるまいは、オリジンサーバーがキャッシュ可能とするGETおよびHEADリクエストは、すべてキャッシュするというものです。これは、レスポンス内にSet-Cookieヘッダーがないことが条件です。これは、Set-Cookieヘッダーには通常、各リクエストに固有のデータが含まれており、デフォルトではその値をキャッシュするのは適切でないためです。

 

NGINXは各リソースを特定のキー(キャッシュキー)でキャッシュします。同じキャッシュキーを生成するすべてのリクエストは、同じリソースで満たされます。デフォルトでは、キャッシュは生のURLにマップされるか、設定ではこのスライドに示された文字列[$scheme$proxy_host$uri$is_args$args]にマップされます。NGINXがコンテンツをキャッシュする際には、X-Accel-Expiresヘッダーがあれば、またはCache-Controlヘッダー、レガシーExpiresヘッダーによって、(優先順に)有効期限が定義されます。

 

NGINXを調整して、これらのヘッダーの一部をマスクしたり、元のサーバーの内容に関係なく、固定キャッシュ時間を指定することができます。参考までに、RFC 2616は、HTTPに関するプロキシキャッシュの望ましい動作を定義しています。

 

ここでは、キャッシングの普遍性と、NGINXがコンテンツをキャッシュする際のデフォルトの基本動作を簡単にお伝えしましたが、これはウェブサイトを高速化し、オリジンサーバーから負荷を減らすために、通常はキャッシュするのが安全なコンテンツです。

 

9:55 NGINXの運用

次に動作中のNGINXを少し見てみましょう。NGINXでコンテンツキャッシュを有効にする設定は、本当にごくごく簡単です。

 

10:06 NGINXの設定

設定は、NGINX設定ファイルの数行です。1つめは、ファイルがどのようにレイアウトされるか、そのキャッシュ内のオブジェクトの有効期限とそのキャッシュのサイズを宣言する特定のパラメーターセットを使ってディスク上にキャッシュを作成します。次に、2番目のproxy_cacheディレクティブはNGINXプロキシに関連付けられ、コンテンツ(結果、レスポンス)が名前付きキャッシュにキャッシュされるように指示します。

 

ここでは、oneと呼ぶキャッシュを作成しました。メタデータ用のメモリのサイズは10MBですが、キャッシュされるコンテンツのディスク上のサイズは無制限です。コンテンツがキャッシュされてから、60分間非アクティブになっている場合はNGINXの恩恵を受けています。oneと命名したキャッシュは、私たちのデフォルトのサーバーで使用されています。これら2つのディレクティブproxy_cache_pathproxy_cache、NGINXのプロキシサーバーの信頼性、一貫性のあるキャッシュを有効にするのに十分です。

 

11:14キャッシングプロセス

NGINXがリクエストを受信して​​キャッシュに問い合わせる際のプロセスは、次のように定義されます。リクエスト(このスライドの左上のボックス)を読み込み、キャッシュキーを生のURIと、そのリクエストに対応するリソースを識別するために使うその他のパラメータに組み立てることから始めます。次に、メモリ上のメタデータにアクセスしてディスク上のキャッシュをチェックし、そのリクエストに対する有効な最新のコピーがあるかどうかを確認します。

 

その場合、それはキャッシュヒットとみなされます。その後、NGINXはキャッシュから直接応答できます。NGINXが静的コンテンツを提供するのとまったく同じように、ディスクからコンテンツを提供し、キャッシュから応答します。したがって、NGINXが設計したパフォーマンス、信頼性、およびスケーラビリティのレベルを得ることができます。静的コンテンツでは、NGINXのコンテンツキャッシュからコンテンツを提供するときに、正確に同程度のパフォーマンスを得られます。

 

一方、キャッシュをチェックすると、キャッシュミスが発生する可能性があります。これは、キャッシュにコンテンツがないこと、またはキャッシュ内のコンテンツが期限切れであり、コンテンツをリフレッシュする必要があることを意味します。もっとも単純なケースでは、そのキャッシュミスは、オリジンサーバーからコンテンツを要求し、レスポンスを受信し、キャッシュ可能かどうかを確認することを意味します。

 

であれば、私たちはプロキシモードで扱われる大きなレスポンスに対してNGINXと同様にディスクにストリームします。ディスクにストリームされると、それをキャッシュにコピーし、キャッシュから直接応答します。このアプローチの課題の1つは、NGINXが同じコンテンツに対して複数のリクエストを同時に受信し、すべてがミスした場合です。

 

NGINXは通常、これらのリクエストをすべてオリジンサーバーに転送して、過負荷にする可能性があります・・・特に、レスポンスの生成に時間がかかるリクエストについては。そのため、キャッシュロックを使用することができます。このproxy_cache_lockディレクティブは、コンテンツがリフレッシュされている場合、一度に1つのリクエストだけがアップストリームサーバーに送信されるようにします。

 

したがって、私がご説明したシナリオでは、最初のリクエストはアップストリームサーバーに送られますが、同じコンテンツに対する残りのリクエストは、レスポンスが生成され、キャッシュに挿入される(すべてのリクエストが満たされる)時まで、またはproxy_cache_lock_timeoutディレクティブで設定されたタイムアウト値まで留め置かれます。つまり、コンテンツがオリジンサーバーから戻ってくるまでNGINXが十分待った時点で、リリースされたリクエストはオリジンサーバーに転送されます。

 

つまりproxy_cache_lockおよびタイムアウトを使えば、皆さんのサイトで同じコンテンツに多数のリクエストが発生している中、キャッシュでそのコンテンツの有効期限が切れた時でも、突然、複数のリクエストでオリジンサーバーに過負荷をかけることがないよう、いくつかの強力な制御が可能になります。

 

NGINXのキャッシングプロセスには、このフローチャートに完全には収まらないもう1つの要素がありますが、それはチャートのほぼすべての段階を網羅しているためです。それがproxy_cache_use_staleディレクティブで設定される機能です。いずれにしても、何らかの理由でこれらのステージのいずれかが失敗した場合、たとえばコンテンツを更新してタイムアウトが発生した場合や、アップストリームサーバーからのレスポンスが悪い場合、その他のタイプのエラーの場合、キャッシュされたコンテンツが古くてもキャッシュから直接応答する選択もできます。

 

これは、アップストリームサーバーがトラフィックで圧倒されたり、メンテナンスや致命的なエラーのために失敗した場合に、本当に強力なツールです。これによってNGINXは、エラーメッセージをクライアントに返すのではなく、キャッシュから古いコンテンツを使って、コンテンツを引き続き配信できます。

 

15:32キャッシュはHTTPのためだけではありません

NGINXでのキャッシュは、HTTPのためだけのものではありません。NGINXは、上流のWebサーバーにリクエストを転送する単なるHTTPプロキシではありません。一般に、これらの上流のWebサーバーは、FastCGIやSCGIなどのAPIとのインターフェースを確立します。NGINXは、HTTPプロキシとよく似たプロキシ方式でこれを直接行うことができます。

 

NGINXは、HTTPプロキシFastCGIプロキシuWSGIプロキシ、およびSCGIプロキシのキャッシュ技術を使用できます。すべては、HTTPプロキシとほぼ同じように動作します。キャッシュはディスクに保存されて直接応答され、これらのアップストリームサービスにプロキシする必要はありません。

 

NGINXはmemcachedサーバーとのインターフェースとして利用可能です。これはやや異なるキャッシングアプローチです。この場合、NGINXはコンテンツを直接格納せず、memcachedをプロキシとして使用し、外部エージェントに依存して必要なコンテンツをmemcachedに取り込みます。これはもう1つの便利なツールになり得ますし、必要に応じて外部サイトからmemcachedを取り込む方法はたくさんあります。したがって、これがビジネス要件であれば、これをNGINXのキャッシュを設定する方法としてみなすことができます。

 

17:10何が起こっているのか理解する方法

複数の層を持つ大規模なインフラの場合、キャッシングを行うもの、行わないもの、コンテンツを生成するもの、生成しないものと、キャッシュは潜在的に非常に複雑になる可能性があります。すると何が起こっているのか、つまりコンテンツがどこから来ているのかを追跡し、起こった問題を診断してデバッグすることは非常に難しくなり得ます。NGINXは、これを可能な限り簡単にします。

 

17:38キャッシュ・インスツルメンテーション

洗練された計測機能を使って計測器を動的に制御すれば、コンテンツがどこから来ているのか、キャッシュに格納されている場所、キャッシュ内のステータスを追跡できます。

 

最初のステップは、$upstream_cache_status変数ですが、これはNGINXが応答したリクエストごとに計算された変数です。キャッシュからのものであるかどうかは関係ありません。そして、add_headerディレクティブを使用して、継続的にその変数の値をレスポンスに加えます。従来は、その値をレスポンスのX-Cache-Statusヘッダーに入れました。そのコンテンツがどのように配信されたかを宣言し、7つの異なる値のいずれかを取ることができます。キャッシュをバイパスしたかどうか、再検証から来たかどうか、ヒットしたかどうかです。

 

これは、あなたのレスポンスがどこから来ているかを理解するための最初のステップです。ローカルのNGINXキャッシュから来ているのか、それとも上流サーバーから来ているのか?また、応答ヘッダーをさまざまな方法で調べることができます。curlのようなツールを使用してコマンドラインから実行したり、非常に一般的な対話型デバッガを使うWebブラウザ内で行うことができます。

 

もちろん、すべてのエンドユーザーに対して、その値を宣言したくない場合もあります。ヘッダーレスポンスにいつその値を挿入するかに関しては、選択的に行いたいと思われるでしょう。

 

19:08キャッシュ・インスツルメンテーション(続き)

NGINXの設定言語には、柔軟な選択を可能にします。方法はたくさんありますが、以下に、そのうちの一例を示します。リモートアドレスを取得し、localhostの場合$upstream_cache_statusは、一時変数($cache_status)に格納します。最後に、レスポンスを返すときに、一時変数をレスポンスに入れます。

 

この方法では、選択的なIPアドレスからのリクエストにのみ$upstream_cache_status変数の値が表示されます。他にも多くのことができますが、この後、コンテンツをディスクに保存する方法を見ていきます。ディスク上の位置を計算するために使用されるキーをレスポンスに入れられます。すべての種類のパラメータをレスポンスに入れて、実行中のキャッシュの診断に役立てることができます。

 

20:09キャッシュステータス

NGINXの商用バージョンであるNGINX Plusには、キャッシュのような使用例を支援する多くの追加機能があります。NGINX Plusは、モスクワのエンジニアリングチームが構築したNGINXの商業サポート版のビルドであり、正しい動作を保証するために広範な回帰テストを実行しています。

 

NGINX Plusには、NGINXをリバースプロキシやロードバランサーとして検討する企業を対象とした多くの機能があります。ロードバランシング、ヘルスチェック、高度なビデオストリーミングなどの機能です。そしてこれに関連して、NGINXで起こっていることの拡張ステータス、より良い診断、および視覚化に関する機能があります。

[編集注 – 上のスライドと次の段落は、NGINX Plus APIを参照するように更新されました。このAPIは、ここで最初に説明した別のステータスモジュールを置き換えて複製しています。]

 

デモの場合、demo.nginx.com / dashboard.htmlに飛ぶと、NGINX Plusから公開されているステータスデータをNGINX Plus APIを使って表示するページを見られます。表示されたcurlコマンドを実行すると、NGINX Plusバイナリから直接取得された生のJSONデータが表示されます(ここでは、jq各要素を独自の行に配置し、階層的にインデントしてユーティリティにパイプされます)。

 

そのJSONデータには、NGINX Plusデプロイメントの各キャッシュの状態に関するリアルタイムのデータが含まれます。これは、$upstream_cache_status変数やその他の方法でキャッシュを計測することができ、NGINXがどのようにコンテンツをキャッシュし、個々のリクエストまでドリルダウンしてそのリクエストがキャッシュから来たものか、キャッシュ内の現在のステータスを確認します。

 

21:57コンテンツキャッシュがNGINXでどのように機能するか

さて、コンテンツキャッシングを調べる方法を外部から見てきたので、内部からも見てみましょう。NGINX内ではどのように機能するのでしょうか?前述のように、NGINXのコンテンツキャッシュは、ディスク上のファイルが処理されるのと同じように機能します。静的なコンテンツを処理する際に、コンテンツキャッシュからコンテンツを提供するのと同じパフォーマンス、同じ信頼性、同じオペレーティングシステムの最適化、つまりNGINXが高く評価されているパフォーマンスが得られます。

22:40 どのように動作するか

 

コンテンツキャッシュは、パーシステントキャッシュ内のディスクに格納されます。オペレーティングシステムと連携してディスクキャッシュをメモリにスワップし、オペレーティングシステムのページキャッシュにどのようなコンテンツをメモリに保存するかのヒントを提供します。つまり、キャッシュからコンテンツを提供する必要がある場合、非常に迅速にコンテンツを配信できます。

 

キャッシュ周りのメタデータ、そこにある情報、およびその有効期限は、すべてのNGINXプロセスの共有メモリセクションに別々に格納され、常にメモリ内に存在します。したがって、NGINXはキャッシュを照会し、非常に高速にキャッシュを検索することができます。レスポンスをプルしてエンドユーザーに返す必要があるときにのみ、ページキャッシュに移動する必要があります。

 

コンテンツがキャッシュにどう保存されるのか、起動時に空のNGINXワーカープロセスにパーシステントキャッシュがどうロードされるのかを見ていきます。また、NGINXがキャッシュ上で自動的に行うメンテナンスのいくつかを見てから、特定の状況でキャッシュからコンテンツを手作業で取り除く方法をまとめましょう。

 

23:53キャッシュされたコンテンツはどのように保存されるか

コンテンツキャッシュは、proxy_cache_pathと呼ばれるディレクティブを使って宣言されていることを思い出してください。このディレクティブは、ファイルシステムにキャッシュが格納されている場所、キャッシュの名前、メタデータのメモリ内のキャッシュのサイズ、およびディスク上のキャッシュのサイズといった、多くのパラメータを指定します。この場合、ディスクには40 MBのキャッシュがあります。

 

コンテンツが格納されている場所を理解するための鍵は、キャッシュキー(NGINXが各キャッシュ可能なリソースに割り当てる一意の識別子)を理解することです。デフォルトでは、識別子はリクエストの基本パラメータ、つまりスキーム、Hostヘッダー、URI、および任意の文字列引数から組み立てられます。

 

しかし、Cookie値や認証ヘッダー、あるいは実行時に計算した値を使用したい場合は、これを拡張することができます。ことによると、あなたは米国のユーザーと英国のユーザーには、異なるバージョンを保存したいと思うかもしれません。これはすべて、proxy_cache_keyディレクティブを設定することで可能になります。

 

NGINXがリクエストを処理すると、proxy_cache_keyを計算し、その値からMD5の合計を計算します。スライドのさらに下に表示されたコマンドラインの例を使用して、ご自分でそれを複製することができます。私たちは、キャッシュキーのhttplocalhost:8002 / time.phpを取得し、それをmd5sumを介してハッシュ値を生成します。コマンドシェルからこれを実行しているときには、新しい行で同様にハッシュ値を生成しないように注意してください。

 

上記が、そのキャッシュ可能なコンテンツに対応するMD5ハッシュ値を計算します。NGINXはそのハッシュ値を使用して、コンテンツを格納するディスク上の場所を計算します。proxy_cache_path内では、1文字と2文字のディレクトリを持つ2レベルのキャッシュを指定しています。これらの文字を文字列の最後から抜き出して、4というディレクトリと9bというサブディレクトリ を作成し、キャッシュの内容(ヘッダーと少量のメタデータ)をディスク上のファイルにドロップします。

 

ご自分で、コンテンツキャッシュをテストできます。キャッシュキーをレスポンスヘッダーの1つとして出力し、md5sumを通じて聞き出し、その値に対応するハッシュを計算することができます。次に、ディスク上の値を調べて、実際にそこにあることと、NGINXがキャッシュしたヘッダーであることを確認して、これらすべてがどのように関係するかを理解できます。

 

26:36ディスクからのキャッシュのロード

コンテンツがディスクに保存されてパーシステントになったので、NGINXが起動すると、コンテンツをメモリにロードする必要があります。そうでなければ、そのディスクキャッシュを経由してメタデータを抽出し、各ワーカープロセスによって使われる共有メモリセグメントにあるメモリに、メタデータをロードする必要があります。これは、キャッシュローダーと呼ばれるプロセスを使用して行われます。

 

キャッシュローダーは起動時にスピンアップし、いったん実行されると小さな塊でディスクにメタデータをロードします。一度に100ファイル、200ミリ秒にサンドボックス化された後、50ミリ秒間一時停止した後、全キャッシュをこの方法で処理し、共用メモリセグメントに移入するまでこれを繰り返します。

 

NGINXが再起動または再設定され、共有メモリセグメントを再び初期化する必要がないかぎり、キャッシュローダーは終了して、再実行する必要はありません。非常に高速なディスクがあり、負荷が軽い場合には適切かもしれませんが、キャッシュローダーの動作を調整することもできます。もし膨大な数のファイルのキャッシュを保存していてディスクが遅く、NGINXの起動時にキャッシュローダーが過度のCPUを使用することを望まないなら、キャッシュローダーを早く実行させることもできますし、おそらく少し落ち着かせたいと思うかもしれません。

 

28:07ディスクキャッシュの管理

キャッシュがメモリに格納され、ファイルがディスクに保存されると、アクセスされないキャッシュファイルが永久に残り続ける危険性があります。NGINXは初めて出てきた時にそれらを保存しますが、ファイルに対するリクエストがなくなれば、そのファイルは何かがやってきてそれを削除するまでディスク上に残り続けます。

 

この何かとはキャッシュマネージャーです。一定期間内にアクセスされていないファイルをディスクから取り除き、キャッシュが大きすぎて宣言されたサイズをオーバーフローした場合にファイルを削除します。直近に使われた方法でそれらを削除します。この動作は、キャッシュローダーを設定するのと同じように、proxy_cache_pathディレクティブに対するパラメータを使って設定できます。

 

  • Inactive 時間のデフォルトは10分です。
  • max-sizeパラメータにはデフォルトの制限はありません。キャッシュにmax-size制限を課すと、その制限を超えることがありますが、キャッシュマネージャーが実行されると、直近で使用されたファイルを整理して、その制限の下に戻します。

 

29:22ディスクからのコンテンツの除去

最後に、ディスクからコンテンツを除去したい場合があります。あなたはファイルを見つけてそれを削除したい。以前にお話ししたテクニック(キャッシュキーの実行)を知っている場合は、比較的簡単です。ファイルシステム全体でmd5sum を通してキャッシュキーを実行するか、単に繰り返しのgrepを実行して、削除する必要のあるファイルを特定します。

 

またはNGINX Plusを使用している場合、その製品に組み込まれているキャッシュパージ機能を使用できます。キャッシュパージ機能を使用すると、リクエストから特定のパラメータを取得できます。一般にキャッシュパージリクエストであることを識別する方法として、PURGEと呼ばれるメソッドを使用します。

パージは、URIを検査し、そのURIと一致するすべてのファイルをキャッシュから削除する特別なNGINX Plusハンドラによって処理されます。URIにはアスタリスクが付いているため、ステムになります。この場合、パージ機能を使用してローカルホストのポート8001から提供されるすべてのファイルを削除しますが、もちろんサブディレクトリにも置くことができます。

 

いずれの方法を使う場合も、ディスク上のキャッシュや、rm -rfキャッシュディレクトリ全体からファイルを削除することは、常に安全です。NGINXは一瞬足りとも止まりません。ディスク上のファイルの存在を確認し続けます。見つからない場合、キャッシュミスが発生します。NGINXは次に、オリジンサーバーからキャッシュを取り出し、ディスク上のキャッシュに戻して格納します。したがって、キャッシュから個々のファイルを消去する必要があっても、常に安全で信頼性が高く安定しています。

 

31:27キャッシュの制御

ここまで、キャッシングの仕組み、NGINXでの実装を見て、静的コンテンツと同じ種類のパフォーマンスを得るためにファイルをディスクに保存する方法について深く掘り下げてきました。さて、キャッシングをもう少し賢くしていきましょう。

 

単純なサイトでは、キャッシングをオンにすることができます。一般に、パフォーマンスのレベルと必要なキャッシュ動作を維持するために必要な処理を正確に実行します。しかし、常に最適化を行う必要があり、デフォルトの動作が必要な動作と一致しないことがよくあります。

 

おそらく、オリジンサーバーが正しいレスポンスヘッダーを設定していないか、NGINX自体の内部で指定している内容を上書きしたいことが考えられます。キャッシュの動作を微調整するよう、NGINXを設定する方法はたくさんあります。

 

32:30遅延キャッシング

キャッシュを遅らせることができます。コンテンツの大部分が1時間または1日に1、2回しかアクセスされないなら、これはごく一般的な状況です。その場合、ごく少数の読者しか読まない会社のパンフレットなら、それをキャッシュするのは時間の無駄です。遅延キャッシングを使用すると、ウォーターマークを適所に置くことができます。特定の回数リクエストされた場合にのみ、このコンテンツのキャッシュバージョンが保存されます。proxy_cache_min_usesウォーターマークに届くまで、キャッシュにバージョンを保存しません。

 

これにより、よりいっそう、キャッシュするコンテンツを区別することができます。キャッシュ自体は限られたリソースで、通常はサーバーのメモリ容量によって制限されています。これは、キャッシュができるだけメモリにページされるようにするためです。そのため、しばしば特定のコンテンツを制限し、一般的なリクエストだけをキャッシュに入れたいと考えます。

 

キャッシュの再検証は、コミュニティ版NGINXとNGINX Plusに最近追加された機能です。これは、If-Modified-Since機能を修正し、NGINXがキャッシュされた値をリフレッシュする必要があるときに、そのコンテンツの新しいバージョンを取得するのに単純なGETを行わないようにします。条件付きGETを使い、「この特定の日時に変更されたキャッシュバージョンがあります」と言います。

 

オリジンサーバーは、304 Not Modifiedで応答し、あなたが持っているバージョンが依然として最新のバージョンであるということを効果的に示すことができます。これは、アップストリームの帯域幅を節約できます。オリジンサーバーは変更されていないコンテンツを再送する必要はなく、潜在的にディスクへの書き込みも節約します。NGINXはディスクへのコンタクトをストリーミングしてから、古いバージョンを上書きしてその場所に置き換える必要がありません。

 

34:45キャッシュ時間の制御

コンテンツをキャッシュする期間をきめ細かく制御できます。多くの場合、オリジンサーバーは、ブラウザに適したキャッシュヘッダーを使用してコンテンツを提供します。これは、コンテンツへの更新リクエストが比較的頻繁に行われる、長期間のキャッシュです。しかし、オリジンサーバーの直前にNGINXプロキシを置いておくと、ファイルを少し頻繁に更新して、変更をより迅速に拾うことができて良いかもしれません。

 

ブラウザのキャッシュタイムアウトを60秒から10秒に減らすと、負荷が大幅に増加しますが、NGINXのキャッシュタイムアウトを60秒から10秒に増やすと負荷が非常に小さくなります。リクエストごとに、オリジンサーバーに1分あたり5つのリクエストが追加されますが、リモートクライアントの場合は、サイト上で同様のものがアクティブなクライアントの数によって異なります。

 

したがって、オリジンサーバーが示す論理と意図を上書きすることができます。NGINXが、X-Accel-Expires、Cache-ControlまたはExpiresといった特定のヘッダーをマスクまたは無視するようにできます。またNGINXの設定で、proxy_cache_validディレクティブを使い、デフォルトのキャッシュ時間を指定できます。

 

36:18キャッシュ/キャッシュしない

オリジンサーバーがキャッシュ可能としているコンテンツをキャッシュしない場合や、NGINXに保存されているバージョンのコンテンツをバイパスしたい場合があります。The proxy_cache_bypassproxy_no_cacheディレクティブは、そのレベルの制御を実現します。

 

特定のリクエストヘッダーセット(HTTP認証など)が設定されている場合、またはリクエストパラメータが存在する場合は、キャッシュをバイパスするショートカットとして使うことができます。キャッシュをバイパスする方法は、NGINXのキャッシュを自動的に更新するか、完全にスキップして常にオリジンサーバーから取得するようにします。

 

通常、これはかなり複雑なキャッシング判断のために行います。クッキーの値と承認ヘッダーの値を細かく決定して、キャッシュするものと、元のサーバーから常に受け取るべきものと、 NGINXキャッシュに消して格納しないものをコントロールします。

 

37:25複数のキャッシュ

最後に、非常に大規模な構成の場合、いくつかの理由から、個々のNGINXインスタンス内の複数のキャッシュを調べることが必要な場合があります。サイトの性質やそのサイトのパフォーマンスの重要性に応じて、さらには各テナントが共有ホスティング環境でサインアップしている特定の計画にも応じて、NGINXプロキシ上の異なるテナントに対し、異なるキャッシュポリシーが適用される場合があります。

 

または、NGINXホスト上に複数のディスクが存在するかもしれませんが、各ディスクに個別のキャッシュを配置するのが最も効率的です。黄金ルールは、あるディスクから別のディスクへのコピー数を最小限に抑え、各ディスクにキャッシュを固定し、そのキャッシュを正しいディスクに使用する各プロキシの一時ファイルを固定することで実現できます。

 

標準的な運用では、NGINXがアップストリームプロキシからコンテンツを受け取ると、メモリに収まるほど小さくない限り、コンテンツをディスクにストリーミングします。その後、コンテンツはいったんディスクにストリームされ、キャッシュに移動します。この操作は、一時ファイル(一時ファイルが格納されているディスク)のキャッシュ上の場所が、キャッシュが格納されているディスクと同じ場合は、限りなく効率的です。

 

39:07クイックレビュー – なぜキャッシュ?

ここまでキャッシングについてお話ししてきました。NGINXが使っているメソッド、NGINX内での実装、および調整方法についてご説明しました。終わりが近づいてきましたので、そもそもコンテンツをキャッシュする理由を思い出すために簡単に振り返ってみましょう。NGINXは世界中1億1400万のWebサイトに導入されており、その導入の理由は、Webアクセラレーション機能とコンテンツキャッシュ機能です。[ 編集注 – 2014年5月にウェブセミナーが配信された時点の統計情報です ]

 

39:44ページスピードはなぜ重要か?

これらの機能で、Webサイトのスピードが向上し、エンドユーザーにはより高レベルのエクスペリエンスを提供します。そこではWebページのスピードは本当に、本当に重要です。アナリストは何年もの間ユーザーの行動を観察し、「N秒ルール」として知られる現象を見つけています。これは、平均的なユーザーが飽きてうんざりし、別のWebサイト、競合サイトに移動する前に、どれくらいならページの読み込みと描画を待つことができるか、という時間です。

 

基準が改善され、ユーザーの期待がますます高くなっているため、ユーザーの待機時間は、どんどん短くなっています。若干疑わしい数学ですが、推論すると、ユーザーの忍耐力は2016年までにマイナスレベルになると結論づけることができます。

 

40:46 Googleがルールを変更した

 

「本をめくるのと同じくらい素早く、Webでもページからページへと移動できるようにしたい」

Urs Holzle, Google

 

でも、実際にはテクノロジーが私たちを追い抜いてしまっています。Googleは数年前にGoogleのインスタント検索を導入する際に、これを図解しました。今やGoogleでは、検索ボックスに検索用語を入力すると、入力を完了する前でさえ、検索結果の候補を提示します。これは、現代インターネットにおける期待の大きな変化を示しています。Google自身が言っているように、「ユーザーは今や、書籍のページをめくるのと同様の反応を、ウェブページに期待しています」 ・・・すばやく、シームレスに、そして滑らかに。

 

41:28パフォーマンスの低下のコスト

画像内文章――――――――――

  • Google:検索機能の強化により、ページロードが0.5秒低下
    ― 広告のCTRが20%低下
  • Amazon:人工的にページロードを100ms増加
    ― 顧客収益が1%ダウン
  • Walmart, Yahoo, Shopzilla, Edmunds, Mozilla
    ― すべて収益に対する似たような影響を報告
  • Google Pagerank – ページスピードはページランクに影響する
    ― 最初の1バイトまでの時間が重要

――――――――――

そのレベルのパフォーマンスを達成できない場合は、WebサイトまたはWebサービスに与えられたKPIに重大な影響を与える可能性があります。広告のクリックスルー率でも、検索ページの読み込みに0.5秒多くかかると、広告のクリック率が20%低下したことを、Google自身が発見しました。収益でも、遅いWebページの影響を調べるため熟慮した試みの一環として、Amazonは意図的に100ミリ秒の倍数でページ負荷を増加させました。結果、影響を受けた顧客からの収益は、通常100ミリ秒の増加ごとに1%減少しました。

 

他の多くのアナリスト、ウェブサイト、調査者も、ウェブサイトのメトリクスに対して同様の影響を報告しています。ページ上の滞在時間や直帰率などです。最近、Googleは検索結果のページランクを計算するときにページスピードを考慮に入れるようになりました。重視されているように見えるのは、最初の1バイトまでの時間です。ページロードの最初の1バイトを取得するのにかかる時間が長いほど、ページランクに大きなペナルティが課されます。ウェブサイトがGoogle検索結果の3ページ、4ページ、または5ページに表示される結果、アクセスすらされないという状況に陥る可能性があるのです。

 

43:00 NGINXキャッシングでできること

画像内
NGINXキャッシングでできること

  • エンドユーザー性能を向上
  • Webインフラの統合と単純化
  • サーバー能力の強化
  • サーバー不具合と無縁に

 

NGINXのキャッシング機能を使って最初の1バイトまでの時間を短縮し、Webコンテンツをよりキビキビと反応的なものにすることで、エンドユーザーエクスペリエンスを向上させることができます。

 

NGINXを使用すると、Webインフラを統合して簡素化できます。NGINXは単なるスタンドアロンのWebキャッシュではありません。NGINXにはWebのオリジンサーバーが含まれており、FastCGIなどのAPIへのダイレクトゲートウェイが含まれています。また、NGINX Plusには、高度なエンタープライズ対応のロードバランサーとアプリケーション デリバリ コントローラを構築する機能があります。これにより、Webインフラストラクチャ内の複数の異なるネットワークコンポーネントを単一のコンポーネント(NGINXまたはNGINX Plus)に統合することができ、より信頼性が高く、デバッグしやすく、迅速なソリューションを提供します。

 

NGINXを使用すると、反復作業をアップストリームサーバーから取り除くことで、サーバーの容量を増やすことができます。実際、キャッシングできないように見えるコンテンツ(例えば、ブログサイトのトップページ)でさえ、NGINXプロキシでわずか1秒キャッシングすることにはメリットがあります。

 

100人のユーザーが同じコンテンツを同じ瞬間にリクエストすると、NGINXはそれをオリジンサーバーに対する1回のリクエストに減らし、キャッシュからそれらのユーザーにコンテンツを返します。また、そのコンテンツは確実に最新のものです。これはたいてい、ブログやそれに類するサイトでは充分以上ですが、アップストリームサーバーへの負荷や、十分な容量を管理、構成する経費の両方において、パフォーマンスに大きな違いがあります。

 

最後に、NGINXの戦略的な使い方の1つをぜひ覚えておいてください。プロキシキャッシュの「古いものを使う」機能で、アップストリームサーバーの障害知らずになることです。アップストリームサーバーが遅い場合、エラーを返す場合、何らかの障害がある場合、NGINXはローカルのキャッシュされたバージョンのコンテンツにフォールバックして、アップストリームサーバーが回復するまでそれを使い続けることができます。

 

45:21最後に

世界で最も頻繁に利用されているウェブサイトの38%は、Webアクセラレーション機能とコンテンツキャッシュ機能を目的に、圧倒的にNGINXを使用しています。[ 編集注 – この統計は2014年5月にウェブセミナーが配信されたときのものです。ここで現在の値を参照してください。] より多くのソリューションや詳細については、NGINXとNGINX Plusの機能について説明するnginx.com で、ブログや機能概要をご覧ください。また、ウェビナーのリストもご覧ください。将来のウェビナーだけでなく、このシリーズの過去のイベントからのウェビナーもすぐに追加されます。

 

これらの機能をさらに調査したいのであれば、もちろんnginx.orgnginx.comで見つかるドキュメントや解決策もありますが、ダウンロードして試してみることに勝るものはありません。オープンソース製品はnginx.orgから、または追加の負荷分散、アプリケーションデリバリ、管理、および使いやすい機能をもつ商用のサポート付き製品はnginx.comからご覧ください。

 

それでは皆さん、この時間を頂いたこと、ご清聴頂いたことに感謝します。ここにおられる皆さんにとって、このプレゼンテーションと、一通りお話ししたNGINXでのコンテンツキャッシングがお役に立ち、ヒントになるものであったなら幸いです。

 

Q&A

では、質問に移って、私たちのやり方を見ていきましょう。

 

47:20 Byte-Rangeリクエスト

Byte-Rangeリクエストについて質問があります。Byte-Rangeリクエストは、クライアントがコンテンツの一部をリクエストしたときに使用されますが、そのコンテンツのサブセットのみが必要です。例えば、それがビデオファイルで、クライアントはビデオの一部だけを必要としているとします。または、よくあるケースとしてPDFファイルだと、ユーザーはPDFファイルにインデックスを持つヘッダーを読み込んでおり、クライアントは特定のページセットをダウンロードしたいだけです。NGINXのコンテンツキャッシュでは、これはどのように動作しますか?

 

プロセスは次のとおりです。NGINXがあるリソースに対してByte-Rangeリクエストを受信し、リソース全体がすでにキャッシュに入っている場合、NGINXはクライアントからリクエストされたバイト範囲でキャッシュから応答します。そのリソースがキャッシュにない場合、NGINXはリソース全体をアップストリームサーバーに要求し、そのリソースをキャッシュに格納します。現在のところ、その時点ではNGINXはByte-Rangeリクエストに従わず、リソース全体をクライアントに返します。ほとんどの場合、それは容認できる動作です。

 

たとえば、クライアントがPDFドキュメントをダウンロードしている場合、いずれにせよ最初のリクエストはドキュメント全体に対してであり、そのドキュメントがストリーミングされている場合にのみ、クライアントは接続を打ち切り、Byte-Rangeリクエストを開始します。したがって、キャッシュされたコンテンツの場合、NGINXはByte-Rangeリクエストを受け入れます。キャッシュされていないコンテンツの場合、NGINXはアップストリームサーバーからコンテンツ全体を取得し、コンテンツ全体をその1つのインスタンスのクライアントに返します。

 

49:13プロキシキャッシュの再検証

これは、プロキシキャッシュの再検証機能に関する質問です。これは、コンテンツが変更されたかどうかを確認するため、NGINXがアップストリームサーバーに対し条件付きGETを送信する機能です。質問はこんな内容です。

 

プロキシキャッシュの再検証係数はETagまたは単にコンテンツのIf-Modified-Since日付ですか?

 

答えは、コンテンツのIf-Modified-Since日付をチェックするだけです。実践のポイントとしては、常にIf-Modified-Sinceをあなたのレスポンスに含めること、ETagをオプションとして扱うことです。ETagは、みなさんがレスポンスで扱う”last modified:最終更新日”の日付ほどには、一貫して幅広く取り扱われていないためです。

 

50:07平等なディスク間でキャッシュを分散する

最高のパフォーマンスを得るため、数台のディスク間で単一サイトのキャッシングを負荷分散することは、NGINXで可能ですか?

はい、できます。 少し作業が必要です。一般的なシナリオでは、RAIDなしで多数のディスクを設定してから、各ディスクに固定された個々のキャッシュを設定します。トラフィックに対し、追加の設定とパーティショニングが必要です。設定に手助けが必要でしたら、私たちのコミュニティにご連絡ください。具体的なリクエストに対応いたします。NGINX Plusをご利用の場合は、サポートチームにご連絡いただければ、喜んでお手伝いさせていただきます。

 

50:50 Varyヘッダー

NGINXはVaryヘッダーが要因でキャッシュヒットやキャッシュミスしますか?

 

いいえ、NGINXはVaryヘッダーを自動的に処理しません。それが問題ならば、Varyヘッダーをプロキシキャッシュキーに追加するのは簡単ですので、レスポンスを格納するのに使われる一意のキーに、Varyヘッダーの値が含まれるようにできます。それで、複数の異なるバージョンを保存することができます。

 

51:25キャッシングプリミティブ

すべてのキャッシングプリミティブとディレクティブは尊重されていますか?

 

はい、一般的には。Varyヘッダーのようないくつかの微妙なケースでは、尊重されていません。多くの場合、さまざまなキャッシュがRFCの要件をどのように解釈するかについては、ある程度の自由度があります。私たちは可能な限り、信頼性が高く、一貫性があり、設定が簡単な実装を行ってきました。

 

51:52アップストリームヘッダーとデータ

アップストリームヘッダーとデータの両方がキャッシュされていますか?

 

はい、そうです。キャッシュから応答を受け取った場合、ヘッダーはレスポンス

と同様にキャッシュされます。

 

52:13 *-Encodingヘッダー

ヘッダーの値はレスポンス本体と同様にキャッシュされていますので・・・、もしNGINXがさまざまなTransfer-Encodingの組み合わせで正しく動作しないと、私はかなり驚くと思います。Accept-Encodingは、Varyヘッダーを使用して実装されることが多いため、Varyヘッダーをキャッシュキーに入れる必要があるという以前のコメントはそこに適用されます(それをサポートしていないクライアントの場合)。

 

52:56 SPDY

SPDYのキャッシュは機能しますか?

 

もちろんです。実際にはNGINXカーネルに非常に深く絡み合っていますが、それをNGINXのフロントエンドプロキシと考えることができます。はい、SPDYはキャッシュに対して機能します。

 

53:15 Varyヘッダー、第2ラウンド

Varyヘッダーに関しては別の質問があります。確認のため、Vary-headerレスポンスとgzips を使用している場合は、Tracまたはコミュニティサイトのディスカッションを参照してください。最も一般的な方法は、Varyヘッダーをキャッシュキーに埋め込むことです。

 

53:45 PageSpeed

Q:PageSpeedはNGINXのキャッシングを使っていますか?または独自のキャッシュメカニズムですか?

 

それはPageSpeed開発者と共有する必要がある質問ですね。

 

54:00その他のキャッシュ

Q:他のコンテンツキャッシュ手法は、NGINXと比較してどうですか?

 

CDNは非常に効果的なコンテンツキャッシングソリューションです。CDNはサービスとして展開されます。コンテンツがキャッシュされる方法や、その中でどう期限切れにするかに関しては、より限定的な制御となりますが、コンテンツをエンドユーザーの近くにもっていくためには非常に効果的なツールです。NGINXは、Webアプリケーションを高速化する非常に効果的なツールであり、両方一緒にデプロイされることはよくあります。Varnishのようなスタンドアロンのキャッシュの場合はどうでしょう。これらもまた、多くの点でNGINXと似たやり方で動作し、非常に能力の高い技術です。NGINXのメリットの1つは、オリジンサーバーからアプリケーションゲートウェイ、キャッシング、およびロードバランシングを1つのソリューションにまとめて提供することです。そのため、展開が容易で、管理が簡単で、問題があればデバッグや診断が容易な、よりシンプルで統合されたインフラを実現できるのです。

 

この投稿の元になっているウェブセミナーを見るには、こちらにアクセスしてください。

NGINX Plusを試すには、今すぐ30日間無料トライアルを開始するか、当社までご連絡ください

ホワイトペーパー「最新のアプリケーションデリバリーがもたらすビジネス価値」

今日のデジタル世界でビジネスの成功を握る鍵は、かつての「規模」から「スピード」に移行しました。


アプリケーションがリリースされるまでの期間はどんどん短くなっています。10年前であれば「6ヶ月」でも許されたものが、現在そして将来においては、「数週間から数日」になっていくでしょう。


このようなスピードを実現するには、これまでのモノリシックなデスクトップアプリケーションやクライアントサーバーアプリケーションから、軽量で疎結合型のRESTfulなサービスや、APIベースのサービスに移行する必要があります。


そして、アプリケーションデリバリー・インフラストラクチャは、変更が簡単で自動管理されるソフトウェアベースのプラットフォームでなければならないのです。


このホワイトペーパーでは、


◇ ビジネスでアプリケーションデリバリーが重要な理由

◇ ビジネス効果を高める10の方法

◇ NGINXはアプリケーションデリバリーをどのように変えるのか


事例をまじえて、わかりやすく解説します。


ダウンロード

コメントを残す

*