Evoluční algoritmy
jsou v posledních 20 letech jednou z nejúspěšnějších metod pro řešení
netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů
obsahujících požadované informace, objevování nejzajímvějších informací
v dostupných datech či další typy optimalizačních úloh, při nichž lze
hodnoty cílové funkce získat pouze empiricky. Protože evoluční algoritmy
pracují pouze s funkčními hodnotami optimalizované funkce, blíží
s k jejímu optimu podstatně pomaleji než optimalizační metody pro
hladké funkce, které využívají rovněž informace o gradientu optimalizované
funkce, případně o jejích druhých derivacích. Tato vlastnost evolučních
algoritmů je zvláště nepříjemná ve spojení se skutečností, že empirické získání
hodnoty optimalizované funkce bývá obvykle značně nákladné i časově náročné.
Evoluční algoritmy však lze podstatně urychlit tím, že při vyhodnocování
funkční hodnoty optimalizované funkce používají empirickou optimalizovanou
funkci jen občas, zatímco většinou vyhodnocují pouze její dostatečně přesný
regresní model. Právě přesnost modelu určuje, jak úspěšnou náhražkou původní
empirické funkce bude. Proto se po získání každé nové generace bodů,
v nichž byla empirická funkce vyhodnocena, model zpřesňuje opakovaným
učením zahrnujícím tyto body. Lze však jít ještě dále a již při volbě bodů pro
empirické vyhodnocení brát kromě hodnoty empirické funkce také v úvahu,
jak při opakovaném učení modelu přispějí k jeho zpřesnění. Takový přístup se
označuje jako aktivní učení. Používání aktivního učení k urychlení
evolučních algoritmů je však teprve v úplných začátcích a měla by ho
podpořit i navržená diplomová práce.
Student si k tomuto
rámcovému tématu může vybrat z několika konkrétních diplomových prací
podle toho, zda ho zajímá spíše aktivní učení nebo spíše evoluční algoritmy a
také podle toho, jestli pracuje radši s benchmarkovými nebo reálnými daty.
Evolutionary
algorithms are, in the last 20 years, one of the most successful methods for
solving non-traditional optimization
problems, such as search for the most suitable documents containing
required information, discovery of the most interesting knowledge in available
data, or other kinds of optimization tasks in which the values of the objective
function can be obtained only empirically. Because evolutionary algorithms
employ only function values of the objective function, they approach its
optimum much more slowly than optimization methods for smooth functions, which
make use of information about the objective function gradients as well,
possibly also about its second derivatives. This property of evolutionary
algorithms is particularly disadvantageous in the context of costly and
time-consuming empirical way of obtaining values of the objective function.
However, evolutionary algorithms can be substantially speeded up if they employ
the empirical objective function only sometimes when evaluating objective
function values, whereas they mostly evaluate only a sufficiently accurate
regression model of that function. It is the accuracy of the model that
determines how successful surrogate of the original empirical function it will
be. Therefore, the model is made more accurate after obtaining each new
generation of points in which the empirical function has been evaluated,
through re-learning including those points. However, it is possible to go even
further and to consider, when choosing points for empirical evaluation, besides
the value of the empirical function also how they contribute, during model
re-learning, to making it more accurate. Such an approach is termed active
learning. However, using active learning to accelerate evolutionary algorithms
is only at a very beginning, and should be supported also by the proposed
master thesis.
·
S.
Abdullah, J.C. Allwright. An active learning approach for radial basis function
neural networks. Jurnal Teknologi,
45: 77–96, 2006.
·
I.
Couckuyt, D. Gorissen, H. Rouhani, E. Laermans, T. Dhaene. Evolutionary
Regression Modeling with Active Learning: An Application to Rainfall Runoff
Modeling. In Adaptive and Natural Computing Algorithms.
Springer, 2009, 548–558.
·
D.R.
Jones. A taxonomy of global optimization methods based on response surfaces. Journal of Global Optimization, 21:
345-383, 2001.
·
R.H.
Myers, D.C. Montgomery, C.M. Anderson-Cook. Response
Surface Methodology: Proces and Product Optimization Using Designed Experiment.
John Wiley and Sons, 2009.
·
M.
Sugiyama, N. Rubens. A batch ensemble approach to active learning with model
selection. Neural Networks, 21:
1278–1286, 2008.