AI slovar

Predpomnjenje pozivov

Angleško: Prompt caching

Ko pri API-ju večkrat pošljete enak začetek prompta (na primer dolg priročnik), ga ponudnik shrani in ga pri naslednjih klicih zaračuna precej ceneje. Pri avtomatizacijah lahko to stroške občutno zniža.