implement and use striped LRU cache to lower mutex contention (#15764)
* Implement Striped LRU cache * ci * fix Co-authored-by: Mattermod <mattermod@users.noreply.github.com>
Этот коммит содержится в:
Florent Peterschmitt
коммит произвёл
GitHub
GitHub
родитель
96d76760f0
Коммит
349b83f23a
133
services/cache/provider_test.go
поставляемый
133
services/cache/provider_test.go
поставляемый
@@ -15,16 +15,39 @@ func TestNewCache(t *testing.T) {
|
||||
p := NewProvider()
|
||||
|
||||
size := 1
|
||||
c := p.NewCache(&CacheOptions{
|
||||
c, err := p.NewCache(&CacheOptions{
|
||||
Size: size,
|
||||
})
|
||||
require.NoError(t, err)
|
||||
|
||||
err := c.Set("key1", "val1")
|
||||
require.Nil(t, err)
|
||||
err = c.Set("key1", "val1")
|
||||
require.NoError(t, err)
|
||||
err = c.Set("key2", "val2")
|
||||
require.Nil(t, err)
|
||||
require.NoError(t, err)
|
||||
err = c.Set("key3", "val3")
|
||||
require.NoError(t, err)
|
||||
l, err := c.Len()
|
||||
require.Nil(t, err)
|
||||
require.NoError(t, err)
|
||||
require.Equal(t, size, l)
|
||||
})
|
||||
|
||||
t.Run("with only size option given", func(t *testing.T) {
|
||||
p := NewProvider()
|
||||
|
||||
size := 1
|
||||
c, err := p.NewCache(&CacheOptions{
|
||||
Size: size,
|
||||
})
|
||||
require.NoError(t, err)
|
||||
|
||||
err = c.Set("key1", "val1")
|
||||
require.NoError(t, err)
|
||||
err = c.Set("key2", "val2")
|
||||
require.NoError(t, err)
|
||||
err = c.Set("key3", "val3")
|
||||
require.NoError(t, err)
|
||||
l, err := c.Len()
|
||||
require.NoError(t, err)
|
||||
require.Equal(t, size, l)
|
||||
})
|
||||
|
||||
@@ -34,21 +57,24 @@ func TestNewCache(t *testing.T) {
|
||||
size := 1
|
||||
expiry := 1 * time.Second
|
||||
event := "clusterEvent"
|
||||
c := p.NewCache(&CacheOptions{
|
||||
c, err := p.NewCache(&CacheOptions{
|
||||
Size: size,
|
||||
Name: "name",
|
||||
DefaultExpiry: expiry,
|
||||
InvalidateClusterEvent: event,
|
||||
})
|
||||
require.NoError(t, err)
|
||||
|
||||
require.Equal(t, event, c.GetInvalidateClusterEvent())
|
||||
|
||||
err := c.SetWithDefaultExpiry("key1", "val1")
|
||||
require.Nil(t, err)
|
||||
err = c.SetWithDefaultExpiry("key1", "val1")
|
||||
require.NoError(t, err)
|
||||
err = c.SetWithDefaultExpiry("key2", "val2")
|
||||
require.Nil(t, err)
|
||||
require.NoError(t, err)
|
||||
err = c.SetWithDefaultExpiry("key3", "val3")
|
||||
require.NoError(t, err)
|
||||
l, err := c.Len()
|
||||
require.Nil(t, err)
|
||||
require.NoError(t, err)
|
||||
require.Equal(t, size, l)
|
||||
|
||||
time.Sleep(expiry + 1*time.Second)
|
||||
@@ -58,6 +84,93 @@ func TestNewCache(t *testing.T) {
|
||||
require.Equal(t, ErrKeyNotFound, err)
|
||||
err = c.Get("key2", &v)
|
||||
require.Equal(t, ErrKeyNotFound, err)
|
||||
err = c.Get("key3", &v)
|
||||
require.Equal(t, ErrKeyNotFound, err)
|
||||
})
|
||||
}
|
||||
|
||||
func TestNewCache_Striped(t *testing.T) {
|
||||
t.Run("with only size option given", func(t *testing.T) {
|
||||
p := NewProvider()
|
||||
|
||||
size := 1
|
||||
c, err := p.NewCache(&CacheOptions{
|
||||
Size: size,
|
||||
Striped: true,
|
||||
StripedBuckets: 1,
|
||||
})
|
||||
require.NoError(t, err)
|
||||
|
||||
err = c.Set("key1", "val1")
|
||||
require.NoError(t, err)
|
||||
err = c.Set("key2", "val2")
|
||||
require.NoError(t, err)
|
||||
err = c.Set("key3", "val3")
|
||||
require.NoError(t, err)
|
||||
l, err := c.Len()
|
||||
require.NoError(t, err)
|
||||
require.Equal(t, size+1, l) // +10% from striping
|
||||
})
|
||||
|
||||
t.Run("with only size option given", func(t *testing.T) {
|
||||
p := NewProvider()
|
||||
|
||||
size := 1
|
||||
c, err := p.NewCache(&CacheOptions{
|
||||
Size: size,
|
||||
Striped: true,
|
||||
StripedBuckets: 1,
|
||||
})
|
||||
require.NoError(t, err)
|
||||
|
||||
err = c.Set("key1", "val1")
|
||||
require.NoError(t, err)
|
||||
err = c.Set("key2", "val2")
|
||||
require.NoError(t, err)
|
||||
err = c.Set("key3", "val3")
|
||||
require.NoError(t, err)
|
||||
l, err := c.Len()
|
||||
require.NoError(t, err)
|
||||
require.Equal(t, size+1, l) // +10% rounded up from striped lru
|
||||
})
|
||||
|
||||
t.Run("with all options specified", func(t *testing.T) {
|
||||
p := NewProvider()
|
||||
|
||||
size := 1
|
||||
expiry := 1 * time.Second
|
||||
event := "clusterEvent"
|
||||
c, err := p.NewCache(&CacheOptions{
|
||||
Size: size,
|
||||
Name: "name",
|
||||
DefaultExpiry: expiry,
|
||||
InvalidateClusterEvent: event,
|
||||
Striped: true,
|
||||
StripedBuckets: 1,
|
||||
})
|
||||
require.NoError(t, err)
|
||||
|
||||
require.Equal(t, event, c.GetInvalidateClusterEvent())
|
||||
|
||||
err = c.SetWithDefaultExpiry("key1", "val1")
|
||||
require.NoError(t, err)
|
||||
err = c.SetWithDefaultExpiry("key2", "val2")
|
||||
require.NoError(t, err)
|
||||
err = c.SetWithDefaultExpiry("key3", "val3")
|
||||
require.NoError(t, err)
|
||||
l, err := c.Len()
|
||||
require.NoError(t, err)
|
||||
require.Equal(t, size+1, l) // +10% from striping
|
||||
|
||||
time.Sleep(expiry + 1*time.Second)
|
||||
|
||||
var v string
|
||||
err = c.Get("key1", &v)
|
||||
require.Equal(t, ErrKeyNotFound, err)
|
||||
err = c.Get("key2", &v)
|
||||
require.Equal(t, ErrKeyNotFound, err)
|
||||
err = c.Get("key3", &v)
|
||||
require.Equal(t, ErrKeyNotFound, err)
|
||||
})
|
||||
}
|
||||
|
||||
|
||||
Ссылка в новой задаче
Block a user