Le séminaire du SAMOS  2004-2005

 

Vendredi 15 octobre 2004, à 10h

 

José Léon (Université Centrale de Caracas, Venezuela)

 

Représentation dans le Chaos de Îto-Wiener  et TLC pour des fonctionnelles non linéaires de processus et de champs stationnaires gaussiens et quelques applications

 

 

Résumé : Nous montrons une Loi des Grands Nombres et un TLC pour des fonctionnelles additives d’un processus gaussien stationnaire en utilisant une approximation pour des processus m-dépendants. En suite, nous utilisons ce type de résultats pour obtenir la consistance et normalité asymptotique des estimateurs du paramètre de Hurst d’un mouvement brownien fractionnaire, nous appelons cette situation non-ergodique. Après en utilisant une représentation dans le chaos du nombre de franchissements d’un processus gaussien stationnaire et de la longueur d’une courbe de niveau d'un champ, nous appliquons à nouveau notre premier résultat pour obtenir des TLC pour ces fonctionnelles de niveau.

 

Vendredi 29 octobre 2004, à 10h

 

José Léon (Université Centrale de Caracas, Venezuela)

 

Caractéristiques géométriques de vagues gaussiennes

 

 

Résumé : Dans cette conférence, nous étudions quelques propriétés géométriques d’un champ gaussien modélisant la surface marine et pour cela on utilise le spectre d’énergie directionnel. Nous considérons la longueur des crêtes et la vitesse moyenne des contours, ces deux objets peuvent être exprimés comme des intégrales par rapport aux ensembles de niveau. Nous donnons aussi un TLC pour la longueur de crêtes en utilisant le développement dans le chaos de Itô-Wiener.

 

Vendredi 5 novembre 2004, à 10h

Michel Verleysen (Université Catholique de Louvain, Belgique)

 Le Fast-Bootstrap pour la sélection de modèles

 

Transparents.pdf

Résumé : L'utilisation de méthodes de rééchantillonnage, comme la validation croisée et le bootstrap, est une nécessité dans le développement de modèles tels que les réseaux de neurones artificiels. En effet, la plupart des modèles possède des « méta-paramètres », ou paramètres de complexité, dont la valeur ne peut que difficilement être fixée par apprentissage traditionnel; c est le cas par exemple du nombre d'unités dans un perceptron multi-couches (MLP), dans un réseau à fonctions radiales de base (RBFN), etc... La seule solution effective pour optimiser la valeur de tels méta-paramètres, et donc pour sélectionner la structure de modèle adéquate, consiste alors à estimer les performances d'une large gamme de modèles; les performances à estimer étant des performances de généralisation, et non d'apprentissage, l'utilisation de méthodes de rééchantillonnage, gourmandes en temps-calcul, s'avère nécessaire. Le bootstrap est une de ces méthodes. Il s'agit d'une méthode performante, résultant une variance peu élevée (comparée à d'autres méthodes) de l'estimation de l'erreur de généralisation. Malheureusement, la charge de calcul associée est en général peu compatible avec la réalité des applications. Cet exposé présente la méthodologie Fast-Bootstrap. Le Fast-Bootstrap utilise le fait que le terme du bootstrap qui entraîne la charge-calcul importante (l'« optimisme ») est en général une fonction simple du méta-paramètre à estimer. En utilisant une approximation de ce terme, on parvient alors à diminuer considérablement le nombre de simulations nécessaires. La méthodologie Fast-Bootstrap est illustrée sur les perceptrons multi-couches (MLP), les réseaux à fonctions radiales de base (RBFN), et les « Least-Square Support Vector Machines » (LS-SVM).

 

Vendredi 26 novembre 2004, à 10h

 Patrick Letrémy  (SAMOS, Université Paris 1)

Traitements de données qualitatives par des algorithmes fondés sur l’algorithme de Kohonen

 

Transparents.pdf

 

Résumé : Il est bien connu que l’algorithme SOM réalise une classification des données qui peut, du fait de sa propriété de conservation de la topologie, s’interpréter comme une extension de l’Analyse en Composantes Principales. Cependant l’algorithme SOM s’applique uniquement à des données quantitatives. Dans des précédents papiers, nous avons proposé différentes méthodes basées sur l’algorithme SOM pour analyser des données d’enquête qualitatives (catégorielles). Dans ce papier, nous présentons ces méthodes de manière unifiée. La première (Kohonen Analyse des Correspondances Multiples, KACM) ne gère que les modalités, alors que les deux autres (Kohonen Analyse des Correspondances Multiples avec individus, KACM_ind et Kohonen sur le tableau DISJonctif complet, KDISJ) prennent en compte les individus et les modalités simultanément.

 

 

Vendredi 10 décembre 2004, à 10h

Olivier Perrin (Université Toulouse 1)

Identification d'une isométrie du drap brownien standard

(en commun avec Serge Cohen, Xavier Guyon et Monique Pontier)

 

Résumé Nous utilisons un jeu de variations quadratiques pour identifier presque sûrement le système de coordonnées dans lequel le drap brownien standard est défini.

 

 

Vendredi 21 janvier 2005, à 11h

Madalina Olteanu (Université Paris 1)

Sur les propriétés de beta-mélange des modèles hybrides à chaîne de Markov cachée

 

Résumé : Dans le cadre de l'utilisation des modèles à chaîne de Markov cachée, l'estimation du nombre d'états du modèle reste un problème ouvert à cause de la non-identifiabilité des paramètres sous l'hypothèse nulle. Récemment, un estimateur de maximum de vraisemblance marginale pénalisée à été proposé par E. Gassiat pour des mélanges à régime markovien. On se propose d'étendre ce résultat pour des modèles hybrides intégrant des perceptrons multi-couche et des chaînes de Markov cachées. Pour cela, on a besoin de s'assurer dans un premier temps de la stationnarité stricte et du caractère beta-mélangeant des processus et, à cette fin, on donnera des conditions suffisantes pour ces deux propriétés.

 

Vendredi 4 février 2005, à 10h

Nathalie Villa-Vialaneix  (Université Toulouse 2, Le Mirail)

Réseaux neuronaux et SVM à entrées fonctionnelles: une approche par régression inverse

 

Transparents.pdf

 

Résumé : Dans le domaine de l'analyse des données fonctionnelles, les méthodes statistiques classiques sont confrontées à des problèmes nouveaux dus au fait que les variables aléatoires étudiées vivent dans des espaces de dimension infinie. Beaucoup de méthodes statistiques classiques ont donc été repensées pour s'adapter aux données fonctionnelles. Nous nous intéressons ici à l'utilisation des perceptrons multi-couches pour traiter des problèmes de régression et de classification à entrées fonctionnelles : la méthode proposée est basée sur une approche par régression inverse permettant d'obtenir un pré-traitement pertinent des données ; des résultats théoriques et des applications sur données réelles montrent l'efficacité de cette approche. Nous expliquons également comment cette méthodologie peut être adaptée à d'autres types de traitements statistiques et, notamment, aux Support Vector Machine ; là aussi, des simulations illustrent notre propos.

 

 

Vendredi 18 février 2005, à 10h

Jean-Marc Azaïs (Université Toulouse 3, Paul Sabatier)

Bornes et développements asymptotiques de la loi du maximum d'un champs aléatoire

 

Résumé : La distribution du maximum de champs aléatoires est un thème qui intervient notamment dans les problèmes de statistique spatiales, d'étude de la houle et de statistique asymptotique. De manière générale, ce problème est loin d'être résolu de façon explicite même pour les processus les plus simples (par exemple gaussiens et stationnaires). Plusieurs méthodes d'approximation sont proposées dans la littérature:

- la méthode de Rice, basée sur le nombre de maxima locaux.

- la méthodes de la caractéristique d'Euler de l'ensemble d'excursions au-dessus d'un niveau donné.

- la méthode des record basé sur les points extrêmaux dans un direction donnée sur la courbe de niveau.

Nous faisons ressortir les liens entre les méthode et nous les comparons tant sur le plan théorique que numérique.

 

 

 

Vendredi 4 mars 2005, à 10h

Barbara Hammer (Technical University of Clausthal, Allemagne)

Consultez le site de Barbara Hammer

Relevance Determination in Learning Vector Quantization

 

Résumé : Prototype based classifiers like Kohonen's Learning Vector Quantization  (LVQ) constitute intuitive and efficient classification mechanisms in machine learning which application area ranges from speach recognition  up to bioinformatics. However, the basic algorithm has  several drawbacks:

it does not explicitely obey a cost function such that the behavior  can be instable in particular for overlapping classes; the algorithm  depends crucially on the euclidean metric and fails if dimensions  are inappropriately scaled or disrupted. Thus, problems occur in  particular for high dimensional and noisy real-life data.  In this talk, we introduce an alternative derivation of LVQ-type  algorithms by means of an appropriate cost function. This general formulation allows to include arbitrary differentiable  metrics within the problem. These metrics can be designed in a  problem dependent way, and metric parameters can be automatically adapted during training. We demonstrate the improved behavior on two  examples, a technical application and an application from computational  biology. In addition, we accompany the experimental results by a  theoretical counterpart showing that the algorithm can be interpreted  (for specific metrics) as large margin algorithm including formal  generalization bounds from statistical learning theory.

 

Vendredi 11 mars 2005, à 10h

Barbara Hammer (Technical University of Clausthal, Allemagne)

Consultez le site de Barbara Hammer

Supervised Recursive Networks

 

Résumé : Nowadays, supervised recursive neural networks (RecNNs) constitute  well-established neural methods for the automatic learning of functions on tree structured data. Application areas range from natural language parsing, bioinformatics, chemistry, up to logo recognition.  Their training agorithms and theoretical properties such as the approximation capability and learnability are well-established. In recent years, an increasing interest can be observed to generalize the models, which have been proposed for recursive structures with a distinct direction of processing, towards more general objects such as spatial sequences and graphs. However, results on their capacity in these domains are so far rare. In this talk, we first give an overview about recursive neural networks, their training methods, applications, and theoretical properties. Afterwards, we examine one specific generalization of RecNNs to graph structures which includes context. This model is based on the popular Cascade Correlation (CC) architecture, a very powerful and fast learning architecture. We discuss the universal approximation capability of this model within several variants: the original CC architecture for time series, an extension which includes tree processing, and an extension by means of context which can approximate mappings on acyclic graph structures (including real valued outputs as well as IO-isomorphic mappings).

 

Vendredi 18 mars 2005, à 10h

Barbara Hammer (Technical University of Clausthal, Allemagne)

Consultez le site de Barbara Hammer

Recursive Self-Organizing Maps for Structures

 

Résumé : The Self-Organizing Map (SOM) and alternatives like Neural Gas (NG) constitute powerful and universal tools for clustering, data-mining, and visualization. However, in their original form, they have been proposed for vectorial data, and problems arise if more complex data such as time series or structures are considered. In recent years, several different extensions of SOM to recursive structures have been proposed based on a variety of different schemes of time and context integration, the temporal Kohonen map (TKM) being one of the earliest approaches, the SOM for structured data and recursive SOM being two recent ones. In this talk, we propose a general framework for different context and time integration schemes and we discuss the benefits of the specific choices with respect to real-life applications. We add a further model which can be interpreted as a more powerful realization of the original TKM and demonstrate its benefit within a task for speaker identification. Finally, we have a look at principled theoretical issues. These include the question of cost functions for learning, the representational issues, induced metrics, and the connection to classical mechanisms for processing time series such as finite automata.

 

Vendredi 25 mars 2005 : deux séminaires

 

A 10h :

Barbara Hammer (Technical University of Clausthal, Allemagne)

Consultez le site de Barbara Hammer

Rule Extraction from Prototype-based Classifiers

 

Résumé : Neural methods constitute quite efficient classifiers, but they have the lack that their decisions can usually not be understood by humans since distributed, subsymbolic modelling is used instead of symbolic rules. This is a drawback if machine learning is used to acquire explicit knowledge to guide humans, if an explicit identification of the relevant parts for a decision is required, or safety-critical problems are tackled. Nevertheless, subsymbolic methods have the benefit to provide smooth, fault-tolerant, and robust solutions for real-life problems. This fact makes the development of intuitive hybrid methods which combine neural classifiers with explicit symbolic rules attractive. Within the talk, prototoype-based classifiers will be considered and two different ways to efficiently extract rules from the neural classifiers will be presented: the first method directly extracts decision trees based on trained network and, afterwards, optimizes the result with respect to the decision borders automatically.

The second method iteratively extracts a decision border and trains a neural classifier on the resulting new subproblems until a desired degree of accuracy is achieved. Both methods are thereby intuitive and require little extra cost with respect to the neural classifier. We demonstrate the good performance of the methods on several classical rule-extraction benchmark problems.

 

A 11h15 :

Elina Miret Barroso, Universidad de La Habana (Cuba), 

Un point de vue unifié pour les techniques de représentation euclidienne

Résumé : Dans ce travail, plusieurs méthodes d’Analyse des Proximités (MDS, de l’anglais, Multidimensional Scaling) sont étudiées pour trouver des liens avec les techniques d'exploration définies dans la théorie générale des coordonnées canoniques proposée par R. Rao [1995]. Un point de vue unifié pour toutes les techniques avec représentation euclidienne est établi. Les ressemblances entre le MDS et les techniques usuelles que Rao a introduites dans sa théorie permettent de considérer méthodologiquement le MDS comme une méthode d'exploration avec représentation euclidienne. Différentes stratégies des MDS seront utilisées pour résoudre des problèmes donnés (à l’aide du logiciel MATLAB). En particulier, on considérera deux exemples pratiques que l’on étudiera par les MDS, mais aussi par les réseaux de neurones de Kohonen. L’avantage de la méthode de Kohonen est son utilisation comme technique de classification qui renforce la procédure MDS, étant donné que la représentation obtenue par le MDS perd beaucoup d’information. Le second exemple prouve la pertinence dans certains cas de l’utilisation des MDS. En effet, appliquer ces méthodes permet de résoudre un problème qui ne peut être en général résolu par l’approche des réseaux de neurones

 

Vendredi 8 avril 2005, à 10h

 

Ciprian Tudor (Samos, Université Paris 1)

 

Sur le mouvement brownien bi-fractionnaire

 

Résumé : Nous étudions le mouvement brownien bifractionnaire introduit par Houdre et Villa. Ce processus est un processus gaussien, auto-similaire qui dépend de deux paramètres H et K et représente une généralisation naturelle du mouvement brownien fractionnaire (obtenu pour K=1). Un cas particulierintéressant est le cas HK=1/2, car dans ce cas la variation quadratique du processus est égale à t, modulo une constante.

 

 

Vendredi 15 avril 2005, à 10h

 

Clémentine Prieur (INSA, Université Toulouse III)

 

Dépendance faible : coefficients et applications statistiques

 

Résumé : Il existe déjà une littérature assez fournie concernant les théorèmes limite ou les applications statistiques pour des suites mélangeantes. Cependant, les conditions de mélange ne sont pas toujours satisfaites, même pour des modèles classiques en modélisation. C’est pourquoi nous avons défini des versions affaiblies des coefficients de mélange, pour lesquelles nous avons plus de classes de modèles. Après avoir introduit ces coefficients, je présenterai les différents théorèmes limite et les différentes applications statistiques que nous obtenons dans ce cadre moins contraignant.

 

Vendredi 22 avril 2005, à 10h

 

Catherine Aaron (Samos, Université Paris 1)

 

Connexité et analyse des données non linéaires

 

Résumé : L'hypothèse de connexité est le pendant non linéaire à l'hypothèse courante de convexité dans les méthodes linéaires. En partant de ce constat on présente deux méthodes de segmentation en composantes connexes, l'une reposant sur des graphes, l'autre sur les interactions entre classification et estimation de densité. Enfin on présentera des méthode d'analyse d'une classe connexe : normalisation et recherche des axes principaux ainsi que recherche de dimension intrinsèque.

 

Vendredi 20 mai 2005, à 10h

 

Olivier Winterberger (Samos, Université Paris 1)

 

Classification de courbes par apprentissage

 

Résumé : Nous souhaitons résumer l'information apportée par un grand nombre de données, ici les courbes d'évolution journalière de la vitesse moyenne des voitures observées sur une portion de route pendant deux ans. Nous utilisons une nouvelle méthode de classification non supervisée afin de regrouper les observations en classes cohérentes. Une méthode classique consiste à choisir les classes présentes à un même niveau dans une classification ascendante hiérarchique (CAH), puis de s'entraîner sur un échantillon distinct pour atteindre le niveau optimal. A partir de la CAH, nous effectuons une optimisation multicritère pour sélectionner de manière plus systématique les classes recouvrant le plus de courbes ayant le plus de similarités. L'algorithme atteint de meilleurs résultats que la méthode classique car il prend en considération les asymétries possibles dans la CAH.

 

Vendredi 27 mai 2005, à 10h et à 11h15

 

Gilles Teyssière (Samos, Université Paris 1)

 

 10h : Artificial Neural Network and Semiparametric Long-Memory ARCH

 

Résumé : We propose a new class of processes, the Long-Memory Nonlinear Asymmetric GARCH (LM-NGARCH), which extend the Nonlinear Asymmetric GARCH by \cite{engle:1990} to fractional situations. We also consider the stationary semi long-memory ARCH processes, which mix hyperbolic and exponential rate of decay of the lag polynomials, and the Artificial Neural Network Long--Memory ARCH. We apply these models to the series of log of returns on the S\&P500 index. We compare the forecasting performance of these models.

 

11h15 : Change-point detection in GARCH models : asymptotic and bootstrap tests

 

Résumé : Two classes of  tests designed to detect changes in volatility are proposed. Procedures based on squared model residuals and on the likelihood ratio are considered. The tests are applicable to parametric nonlinear models like GARCH. Both asymptotic and bootstrap tests are investigated by means of a simulation study and applied to returns data. The tests based on the likelihood ratio are shown to be generally preferable, and appear to have a better power that the semiparameteric and parametric competing tests for change--point detection. A wavelet based estimator of long memory is applied to returns data to shed light on the interplay of change--points and long memory.

 

Vendredi 3 juin 2005, à 10h

 

Ibrahim Ahamada (Eurequa, Université Paris 1)

 

Testing covariance stationarity for high frequencies  panel data : a nonparametric approach based on the evolutionary spectral density

 

Résumé : This paper proposes a nonparametric test of  covariance stationarity  for high frequencies  panel data. The Alternative hypothesis is the existence of at least an individual series  which present a time varying covariance structure. Our approach is based on the concept of time varyng spectral density. Simulaton experiments confirm the efficiency of our approach. We show how our test detects diverse types of instabilities that classical test can do. An application to a panel data of financial returns reveals  some instabilities in the covariance structure. This result confirm some recent works and call to take some  precautions before using traditional stationarity tools to describe the behavior of some long sizes financial data.

 

Vendredi 10 juin 2005, à 10h

 

Istvan Gyongy (Edinburgh University, Grande Bretagne)

 

Solutions of SDEs as saddle points of mini-max problems

 

Résumé : Adapting an idea of Nicolai Krylov we show that SDEs can be associated with mini-max problems in suitable infinite dimensional spaces. More precisely, if the coefficients of an SDE satisfy the so called monotonicity condition, then one can construct a mini-max problem such that its saddle point is the solution of the given SDE. This connection between SDEs and mini-max problems can be useful in many ways. In a recent joint paper with Annie Millet we make use of the corresponding construction for stochastic PDEs to obtain results on numerical approximations. In the talk we show that the existence of a (strong) solution of the SDE follows directly from a suitable mini-max theorem. This has been observed in recent joint work with Shirley Chen.

 

Vendredi 17 juin 2005, de 10h à 13h

 

Matinée spéciale de Calcul Stochastique au Samos

organisée par Ciprian Tudor

 

 

10h - 10h 50 :  Istvan Gyongy (Edinburgh University, Grande Bretagne)

 

Wong-Zakai approximations. Rate of convergence

 

Résumé : We investigate the rate of convergence of the Wong-Zakai approximations, obtained by approximating the multi-dimensional driving process W of the SDE with continuous processes W_n of finite variation on a finite interval [0,T]. Our main result reads as follows. Suppose that W_n and its 'area processes' converge almost surely in the supremum norm to $W$ and its area processes, respectively, with some given speed. Then the solutions of the approximating equations converge also almost surely in the supremum norm with essentially the same speed. This result is obtained in a joint paper with Anton Shmatkov.

 

11h - 11h 50 :  Frédéric Viens (Purdue University, Etats-Unis)

 

Estimées précises d'exposants de Lypapunov pour le modèle d'Anderson continu

 

Résumé : We give the sharpest estimates to date for the large-time exponential behavior of the stochastic Anderson model in continuous space. Our analysis is based on a general almost-sure result obtained by Malliavin differentiation and sub-Gaussian estimtes, as well as on a detailed analysis of the expected logarithm of the Anderson model. Our results form the latest installment in a series of works begun nearly 15 years ago. We have come to the point where we believe the above two ingredients are the most appropriate for the study of almost-sure Lyapunov exponents for Anderson models, and that these ingredients are essentially disjoint.

 

12h10 - 13h :  Giovanni Peccati (Université de Paris 6, France)

 

Intégration de Skorohod basée sur la notion de dépendance faible

 

Résumé : Dans cet exposé, on présentera différentes notions d'intégrale stochastique basée sur la décomposition chaotique sur l'espace de Wiener, dite d'espace-temps.

 

 

Les séminaires de 2003-2004

Les séminaires des années précédentes


SAMOS (Statistique Appliquée et MOdélisation Stochastique)

Université Paris 1