Suivez le guide ! Optimiser un modèle complexe suppose une bonne démarche et - PowerPoint Presentation

Slide1

Suivez le guide ! Optimiser un modèle complexe suppose une bonne démarche et des outils.

Stéphanie Mahévas1, Victor Picheny2, Patrick Lambert3, Nicolas Dumoulin4, Lauriane Rouan5, Jean-Christophe Soulié5, Hilaire Drouineau3,Rodolphe Leriche, Robert Faivre, Sidrid Lehuta, Dimo Brockoff

Réunion annuelle du réseau Mexico – 16 et 17 Novembre 2017 - Montpellier

Slide2

 Optimisation et modèles complexes 

CalibrationReproduire la perception du système étudié(paramètres, hypothèses de fonctionnement)Aide à la

décisionCalculer une décision optimale

Modèle

Mathématique

ConceptuelProgrammation

Slide3

Calibration

F(X) = dist(Ysim,Yobs) = dist(M(X),Yobs)

X?Arg(X)=min(

dist(Ysim,Yobs))

F

non analytique Non linéaire, multimodale,…

Coûteuse à évaluer

Optimisation – approche numériqueOptimiseur = algorithme itératif

Modèle

M(X

)

Sorties

Y

sim

Observations

Y

obs

paramètres

X

Slide4

Calibration

ModèleM(X)SortiesYsim

ObservationsYobs

ParamètresX

X

i

1

:

M(X

i

1

)= Y

sim

1

X

i

2

:

M(X

i

2

)=

Y

sim

2

…

Xin: M(Xi

n)= Ysimn

Y

obs

Y

obs

F

1

F

2

F

n

< Ɛ

X

i

=X

i

n

X

?

Arg

(X

)=

min(F(

Y

sim

,Y

obs

)

)

Slide5

Pourquoi l’optimisation peut être difficile ?

Nombre de paramètres : dimension de l’espace d’exploration très grande

Multi-modalités

Stochasticité

1 paramètre

2 paramètres

Temps de simulation : évaluation coûteuse pour une valeur des paramètres

plusieurs minutes à plusieurs heures

Beaucoup de paramètres

F

X

Slide6

Regard croisé modélisateurs/numériciens

Démarche choisie Au doigt mouilléMoindres carrésUtiliser la méthode de son voisin : simplexe, gradient conjugué, génétique, ABC, …Tordre le bras à sa question pour pouvoir utiliser cet algorithmeLogiciels existants : ADMB, Bugs (pas d’algorithme récent efficace), R,…Souvent peu convaincus de la solution (frustrés et démunis):Est-ce que la solution est optimale?Est-ce la bonne methode? Quels sont les bons outils?

MEOW2014

Slide7

Revue des outils existantsIdentifier les manques

3 étapes : pre-processingchoix algorithmepost-processingPRE-PROCESSING

POST-PROCESSINGSELECTION OF

THE ALGORITHMProposer une démarche pragmatique

Slide8

Pre-processing

Bien expliciter la question d’optimisation Calibration : capacité prédictive du modèle ? Valeurs des paramètres? compréhension du système? Liste des données disponibles (Calibration): observations, connaissance

experteListe de tous les paramètres à estimer :

bornes, contraintes, discrètes/continuesListe des incertitudes

: données, processusConstruire une première fonction

d’objectif : point le plus critique? Fonctions les plus communes (moindres carrés

, vraisemblance (Fournier et al. (2012, 1990) ), plus spécifiques ( statistiques pour l’ABC

(e.g. Menneni et al. (2008) ) , multi-objectifs ( pondérations (e.g. Francis, 2011,;

Deriso

et al., 2007),

fronts Pareto fronts

(dominance, >4 difficult, Deb and

Sundar

, 2006; Fleming et al.,

2005)

Les Classiques indispensables:

Les indispensables moins classiques:

Exploration des

données

et

réduction

de la dimension

outliers,

surdispersion

, ,correlations

, etc. Et analyse de sensibilité, ACP,…Exploration et adaptation de la fonction d’objectif re-parametrisation qui consiste

en une transformation de la fonction d’objectif et/ou des variables (

Bolker et al 2013)

Rarement… voire jamais explicité

Slide9

Quel algorithme ?

Une abondante littérature (très technique surtout pour les numériciens)

Slide10

F

X

unknown

F

X

unknown

“Local sampling”

“Global sampling”

M(X) – 1 paramètre

6 évaluations

n

n

+1

Slide11

F

X

unknown

F

X

unknown

“Local model” (with approximation to the objective function

)

“Global model” (with approximation to the objective function

)

n

n

+1

Slide12

Deux grilles pour guider la sélection

Grille 1 : positionner les différentes familles dans l’espace des deux critères Grille 2 : aider

au choix de la famille d’optimisationUn petit nombre d’algorithmes (présentés à MEAOW ‘14 ) –

affreux acronymes

Grille 1 : Espace de projectionGrille 2: Aide à la sélection

Slide13

Deux grilles pour guider la sélection

EGO : efficient global optimisation - Jones et al. (1998)DIRECT : Dividing RECTangles – Jones et al 1993EDA : Estimationof Distribution Algorithms (

Larranag and Loranzo 2001)SBB : Spatial Branch and Bound (Horst a,d

Tuy 2013)ABC Approximate Bayesian Computation (Csillery et al 2010)

SA : Simulated Annealing – recuit simule (Van Laarhoven et al 1987)

CMA-ES :Covariance Matrix Adaptation Evolution Strategy (Hansen et al 2003)PSO : Particle swarn optimisation (Kennedy 2011)MADS :

Mesh Adaptative Direct Search (Audet et al 2006)Nelder-Mead (Nelder et al 1965)

NEWUOA : (Powell 2006) L-BFGS-B : extension of Broyden-Fletcher-Goldfarb-Shanno 1987

Slide14

Deux grilles pour guider la sélection

EGO : efficient global optimisation - Jones et al. (1998)DIRECT : Dividing RECTangles – Jones et al 1993EDA : Estimationof Distribution Algorithms (

Larranag and Loranzo 2001)SBB : Spatial Branch and Bound (Horst a,d

Tuy 2013)ABC Approximate Bayesian Computation (Csillery et al 2010)

SA : Simulated Annealing – recuit simule (Van Laarhoven et al 1987)

CMA-ES :Covariance Matrix Adaptation Evolution Strategy (Hansen et al 2003)PSO : Particle swarn optimisation (Kennedy 2011)MADS :

Mesh Adaptative Direct Search (Audet et al 2006)Nelder-Mead (Nelder et al 1965)

NEWUOA : (Powell 2006) L-BFGS-B : extension of Broyden-Fletcher-Goldfarb-Shanno 1987

Slide15

Deux grilles pour guider la sélection

EGO : efficient global optimisation - Jones et al. (1998)DIRECT : Dividing RECTangles – Jones et al 1993EDA : Estimationof Distribution Algorithms (

Larranag and Loranzo 2001)SBB : Spatial Branch and Bound (Horst a,d

Tuy 2013)ABC Approximate Bayesian Computation (Csillery et al 2010)

SA : Simulated Annealing – recuit simule (Van Laarhoven et al 1987)

CMA-ES :Covariance Matrix Adaptation Evolution Strategy (Hansen et al 2003)PSO : Particle swarn optimisation (Kennedy 2011)MADS :

Mesh Adaptative Direct Search (Audet et al 2006)Nelder-Mead (Nelder et al 1965)

NEWUOA : (Powell 2006) L-BFGS-B : extension of Broyden-Fletcher-Goldfarb-Shanno 1987

Slide16

Deux grilles pour guider la sélection

EGO : efficient global optimisation - Jones et al. (1998)DIRECT : Dividing RECTangles – Jones et al 1993

EDA : Estimationof Distribution Algorithms (Larranag and Loranzo 2001)SBB : Spatial

Branch and Bound (Horst a,d Tuy 2013)ABC Approximate

Bayesian Computation (Csillery et al 2010)SA :

Simulated Annealing – recuit simule (Van Laarhoven et al 1987)CMA-ES :Covariance Matrix Adaptation Evolution Strategy (Hansen et al 2003)

PSO : Particle swarn optimisation (Kennedy 2011)MADS : Mesh Adaptative Direct Search (Audet et al 2006)

Nelder-Mead (Nelder et al 1965)NEWUOA : (Powell 2006) L-BFGS-B : extension of

Broyden

-Fletcher-

Goldfarb

-

Shanno

1987

Slide17

Post-processing

Évaluer la qualité de l’optimisation convergence, global/local Évaluer l’identifiabilité des paramètres et l’adéquation de la fonction d’objectif Structures des résidus Résoudre le multi-critèresStop ou encore

Des tentatives mais peu voire pas d’outils disponibles clés en main

Slide18

Pour tous les algorithmes

A chaque itération, l’algorithme calcule un ensemble de solutions et les valeurs de la fonction d’objectif associées : la trace de l’algorithme

dans l’espace de X et

dans l’espace de F

F

X

Sur X :

Oscillations , distances entre solution, directions dominantes, fréquences,

Sur F :

Série des meilleures solutions, (

e.g

.

Maier

et al

2014)

Sensibilité aux points initiaux

Analyse de sensibilité autour de la solution

(

e.g

.

Kleijnen

et Sargent 2000)

Fitness

landscape

: trous, barrières, plateaux,

correlations

(

e.g

. Wright 1932)

Reformulation de la fonction d’objectif

Slide19

Model

algorithms : une approximation de la fonction, des dérivées de premier et second ordre de la fonction autour de l’optimum (optimum ?, identifiabilité ?, intervalles

de confiance ?) – Hessian (e.g. Gill et al., 1981)Selon la famille d’algorithmes

Slide20

Model

algorithms : une approximation de la fonction, des dérivées de premier et second ordre de la fonction autour de l’optimum (optimum ?, identifiabilité ?, intervalles

de confiance ?) – Hessian (e.g. Gill et al., 1981)Selon la famille d’algorithmes

Sampling based algorithms donnent un optimum

mais aussi une famille de solutions autour de l’optimum (approcher la

forme de la fonction d’objectif et des covariances des paramètres, distribution …) (e.g. Kendall and Nichols 2002)

Slide21

Model

algorithms : une approximation de la fonction, des dérivées de premier et second ordre de la fonction autour de l’optimum (optimum ?, identifiabilité ?, intervalles

de confiance ?) – Hessian (e.g. Gill et al., 1981)Selon la famille d’algorithmes

Sampling based algorithms donnent un optimum mais

aussi une famille de solutions autour de l’optimum (approcher la forme

de la fonction d’objectif et des covariances des paramètres, distribution …) (e.g. Kendall and Nichols 2002)

Global search

algorithms capturent une forme approchée de la fonction d’objectif sur l’espace

des variables (la

précision

dépendra

de

l’équilibre

entre la phase d’exploration et celle d’intensification)

Slide22

En résumé

L’optimisation : une démarche pas si linéaire

ODDO :

Overview, Design, Details of Optimisation

(ODD Grimm 2010)

Slide23

Recommandations

PRE-PROCESSINGPOST-PROCESSING

SELECTION OF THE ALGORITHM

N

umériciens

ODDO en annexe

(slow science

academy

2010)

Slide24

Merci de votre attention

Merci à MEAOW2014

Slide25

ReferencesFournier, D A, J R

Sibert, J Majkowski, et H Hampton. « MULTIFAN a likelihood-based method for estimating growth parameters and age composition from multiple length frequency data sets illustrated using data for southern bluefin tuna (Thunnus maccoyii) ».

Canadian Journal of Fisheries and Aquatic Sciences 47, no 2 (1990): 301–317.Fournier, David A., Hans J. Skaug,

Johnoel Ancheta, James Ianelli, Arni Magnusson, Mark N. Maunder, Anders Nielsen, et John

Sibert. « AD Model Builder: using automatic differentiation for statistical

inference of highly parameterized complex nonlinear models ».

Optimization Methods and Software 27, no 2 (2012): 233–249. doi:10.1080/10556788.2011.597854.Menneni, Sandeep, Carlos Sun, et Peter Vortisch

. « Microsimulation Calibration Using Speed-Flow Relationships ». Transportation Research Record: Journal of the Transportation Research Board 2088 (2008): 1–9. doi:10.3141/2088-01.Bolker, Benjamin M., Beth Gardner, Mark Maunder, Casper W. Berg, Mollie Brooks, Liza Comita, Elizabeth

Crone

, et al. « 

Strategies

for

Fitting

Nonlinear Ecological Models in R, AD Model

Builder

, and BUGS ».

Methods

in

Ecology

and Evolution

4, n

o

6 (2013): 501–512. doi:10.1111/2041-210X.12044.Grimm, V., Berger, U., Bastiansen, F., Eliassen, S., Ginot, V., Giske

, J., Goss-Custard,J., Grand, T., Heinz, S., Huse, G., Huth, A., Jepsen, J.U., Jørgensen, C., Mooij, W.M

.,Müller, B., Pe’er, G., Piou, C., Railsback, S.F., Robbins, A.M., Robbins, M.M., Rossmanith,E., Rüger, N., Strand, E., Souissi, S., Stillman, R.A., Vabø, R., Visser, U

.,DeAngelis, D.L., 2006. A standard protocol for describing individual-based and agent-based models. Ecol. Model. 198, 115–126.Gill

, Philip E., Walter Murray, et Margaret H. Wright. Practical optimization. Academic press, 1981.V. Grimm ,

Uta

Bergerb

, Donald L.

DeAngelisc

, J. Gary

Polhill

d, Jarl

Giskee

, Steven F.

Railsbackf

The ODD protocol: A review and first

update.

Ecological Modelling 221 (2010) 2760–2768Maier

, H. R., Zoran Kapelan, J. Kasprzyk, J. Kollat, L. S. Matott, M. C. Cunha, G. C. Dandy, et al. « Evolutionary algorithms and other metaheuristics in water resources: current

status, research challenges and future directions ». Environmental Modelling & Software 62 (2014): 271–299.Kendall, William L., et James D. Nichols. « Estimating State-Transition Probabilities for Unobservable States Using

Capture-Recapture/Resighting Data ». Ecology 83, no 12 (2002): 3276–3284. doi:10.2307/3072078.Kleijnen, Jack P. C., et Robert G. Sargent. « A methodology for fitting and validating metamodels in simulation1 ». European

Journal of Operational Research 120, no 1 (janvier 2000): 14–29.Wright, Sewall. The roles of mutation, inbreeding, crossbreeding, and selection in evolution. Vol. 1. na

, 1932. http://www.esp.org/books/6th-congress/facsimile/contents/6th-cong-p356-wright.pdf.