> For the complete documentation index, see [llms.txt](https://docs.cloudeka.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.cloudeka.ai/deka-gpu-documentations/panduan-untuk-enterprise/deka-gpu/deka-gpu-autoscaling/keda-autoscalling/example-autoscaling-vllm-with-keda-based-on-gpu-kv-cache-usage/metric-gpu-kv-cache-usage.md).

# Metric: GPU KV Cache Usage

Panduan penggunaan *GPU KV Cache*:

{% hint style="success" %}
Berdasarkan [dokumentasi *NVIDIA NIM Operator*](https://docs.nvidia.com/nim-operator/latest/service.html), ambang batas 50% direkomendasikan sebagai nilai awal untuk pemicu penskalaan.
{% endhint %}

{% hint style="info" %}
Metrik untuk penskalaan harus disediakan oleh pelanggan. Sampaikan *endpoint* metrik, misalnya `http://<SERVICE_IP>:<SERVICE_PORT>/metrics`, kepada tim operasional Lintasarta.
{% endhint %}

<table><thead><tr><th width="146.6666259765625">Rentang penggunaan</th><th>Deskripsi</th></tr></thead><tbody><tr><td>0% - 30%</td><td>Penggunaan rendah — sumber daya belum dimanfaatkan secara optimal.</td></tr><tr><td>30% - 70%</td><td>Penggunaan sedang — rentang yang sehat pada beban normal.</td></tr><tr><td>70% - 90%+</td><td>Penggunaan tinggi — berisiko menyebabkan penghapusan cache atau perlambatan inferensi.</td></tr></tbody></table>