Spring ES動態索引
本文主要探討Spring中利用spring-data-elasticsearch（以下簡稱sde）操作es時如何使用動態索引。
何為動態索引？
動態索引一個典型的場景是ES中索引按照時間劃分，比如按天生成索引，那么生成的索引的名稱就形如index_2018_05_11
SDE中的索引
sde中通過Document注解來制定索引名，該注解應用于Document的對象類上，其定義如下
@Persistent
@Inherited
@Retention(RetentionPolicy.RUNTIME)
@Target({ElementType.TYPE})
public @interface Document {
String indexName();
String type() default "";
boolean useServerConfiguration() default false;
short shards() default 5;
short replicas() default 1;
String refreshInterval() default "1s";
String indexStoreType() default "fs";
boolean createIndex() default true;
}
來看下SDE中生成索引是如何做的
@Override
public <T> boolean createIndex(Class<T> clazz) {
return createIndexIfNotCreated(clazz);
}
private <T> boolean createIndexIfNotCreated(Class<T> clazz) {
return indexExists(getPersistentEntityFor(clazz).getIndexName()) || createIndexWithSettings(clazz);
}
private <T> boolean createIndexWithSettings(Class<T> clazz) {
if (clazz.isAnnotationPresent(Setting.class)) {
String settingPath = clazz.getAnnotation(Setting.class).settingPath();
if (isNotBlank(settingPath)) {
String settings = readFileFromClasspath(settingPath);
if (isNotBlank(settings)) {
return createIndex(getPersistentEntityFor(clazz).getIndexName(), settings);
}
} else {
logger.info("settingPath in @Setting has to be defined. Using default instead.");
}
}
return createIndex(getPersistentEntityFor(clazz).getIndexName(), getDefaultSettings(getPersistentEntityFor(clazz)));
}
可以看到上述代碼中有一段出現了兩次
getPersistentEntityFor(clazz).getIndexName()
來看看這段代碼做了什么
@Override
public ElasticsearchPersistentEntity getPersistentEntityFor(Class clazz) {
Assert.isTrue(clazz.isAnnotationPresent(Document.class), "Unable to identify index name. " + clazz.getSimpleName()
+ " is not a Document. Make sure the document class is annotated with @Document(indexName=\"foo\")");
return elasticsearchConverter.getMappingContext().getRequiredPersistentEntity(clazz);
}
MappingContext#getRequiredPersistentEntity是個接口default方法
@Nullable
E getPersistentEntity(Class<?> type);
/**
* Returns a required {@link PersistentEntity} for the given {@link Class}. Will throw
* {@link IllegalArgumentException} for types that are considered simple ones.
*
* @see org.springframework.data.mapping.model.SimpleTypeHolder#isSimpleType(Class)
* @param type must not be {@literal null}.
* @return never {@literal null}.
* @throws MappingException when no {@link PersistentEntity} can be found for given {@literal type}.
* @since 2.0
*/
default E getRequiredPersistentEntity(Class<?> type) throws MappingException {
E entity = getPersistentEntity(type);
if (entity != null) {
return entity;
}
throw new MappingException(String.format("Couldn't find PersistentEntity for type %s!", type));
}
getPersistentEntity則是在抽象類AbstractMappingContext中實現的
@Nullable
public E getPersistentEntity(Class<?> type) {
return getPersistentEntity(ClassTypeInformation.from(type));
}
@Nullable
@Override
public E getPersistentEntity(TypeInformation<?> type) {
Assert.notNull(type, "Type must not be null!");
try {
read.lock();
// 這里是直接從一個map的緩存中獲取
Optional<E> entity = persistentEntities.get(type);
if (entity != null) {
return entity.orElse(null);
}
} finally {
read.unlock();
}
// 如果是java簡單類則直接返回null
if (!shouldCreatePersistentEntityFor(type)) {
try {
write.lock();
persistentEntities.put(type, NONE);
} finally {
write.unlock();
}
return null;
}
if (strict) {
throw new MappingException("Unknown persistent entity " + type);
}
return addPersistentEntity(type).orElse(null);
}
addPersistentEntity代碼太長就不貼了，重點是它調用了本類的抽象類方法
protected abstract <T> E createPersistentEntity(TypeInformation<T> typeInformation);
簡單來說，addPersistentEntity方法就是為指定的typeInformation生成一個MutablePersistentEntity對象放置在一個自己持有的map中作為緩存。
createPersistentEntity有一個實現類SimpleElasticsearchMappingContext，該類比較簡單就不多說了。
綜上可知：如果我們在Document中寫死了indexName顯然是沒法做到動態索引的，那我們能不能動態改被Document注解修飾的類定義呢（比如字節碼修改類定義）？太費勁了，因為SDE中用到了緩存，即便我們修改了類定義還得自己去刷緩存，況且修改字節碼還得引入第三方框架。
思考
翻翻源碼可以看到ElasticSearchTemplate類中索引名都是通過ElasticsearchPersistentEntity.getIndexName來獲取的。盡管框架緩存了ElasticsearchPersistentEntity實例，但是getIndexName是每次都要執行的，我們看能不能從這個方法著手。這個接口只有一個實現類-SimpleElasticSearchPersistentEntity，來看看它的getIndexName方法
@Override
public String getIndexName() {
Expression expression = parser.parseExpression(indexName, ParserContext.TEMPLATE_EXPRESSION);
return expression.getValue(context, String.class);
}
我們發現這個方法并不是簡單的返回了indexName，而是用一個解析器去解析處理，最后才返回。再去看看這個parser是個啥
private final SpelExpressionParser parser;
原來是Spel表達式解析器，不清楚Spel的請自行搜索。思路很清晰了，那就是利用Spel實現我們想要的動態索引。
解決方案
Spel中調用方法
Spel十分強大，可以在表達式中直接調用Java方法，那我們就寫個方法生成我們想要的索引名，放在Spel中調用就行了。
indexName表達式設置為 "index_#{ T(com.example.springdemo.SpringDemoApplicationTests).getDateStr() }"
public static String getDateStr() {
return new DateTime().toString("yyyy-MM-dd");
}
需要注意的是getDateStr方法必須為public靜態方法，當然也可以扔到一個bean里去作為一個普通方法，Spel也是支持調用bean方法的。
引用Bean屬性
可以將indexName作為一個bean的屬性，然后在Spel中引用即可
其他
本文只談論如何在SDE中解決動態索引的問題，當然java原生es jar中可直接指定索引名，而不是作為注解的一部分。SDE和原生es jar孰好孰壞本文不討論。
