italo-francese

Comme vous vous etes surement rendus compte vous-memes au fur et à mesure de la lecture des notes publiées ici, la plus grande difficulté dans l'extrapolation des cotations de bourse ne réside pas dans les petits mouvements intra-day, comme malheureusement beaucoup semblent encore le croire, mais bien dans l'analyse puis l'extrapolation des "basses fréquences", donc les mouvements lents et de grande ampleur, qui sont systématiquement sous-échantillonnées (et on ne peut rien y faire puisque c'est un problème directement lié à leurs longues périodes temporelles). C'est cette dernière remarque qui justifie l'usage des fonctions Prolate puisque celles-ci sont obtenues en maximisant la concentration de toutes les fonctions à bande limitées sur un intervalle borné; elles sont donc capables d'extraire le plus d'information possible des cotations relevées ...

Commençons par regarder un cas "qui va super-bien"; le DAX 30 du 29 mai 2010. A droite l'extrapolation sur 5 jours, à gauche, les paramètres de controle pour le bruit résiduel:

Bon, je pense que c'est un exemple du maximum de précision que l'on peut espérer d'un algorithme d'extrapolation conçu avec ce genre de fonctions de base. Maintenant, allons ouvrir le capot et essayons de "déconstruire" le "pourquoi ça marche" ... A gauche, diverses représentations des coefficients dans la base Prolate et à droite, la décomposition usuelle de l'indice en tendance/fluctuation/bruit résiduel:

La clef, c'est le graphique de gauche, mais il est compliqué, alors restons calmes! A gauche vous avez 3 courbes (bleue, rouge et noire): la noire, ce sont les valeurs propres de l'opérateur (compact) qui consiste à tronquer une fonction à bande limitée sur un intervalle de mesures borné (vous savez qu'une fonction à bande limitée est analytique et donc son support est toujours infini), la courbe bleue représente les coefficients obtenus en projetant les cotations du DAX sur les prolate paires (lorsqu'on fait la décomposition d'un opérateur compact de ce type, on obtient toujours une base consituée de fonctions alternativement paires ou impaires, c'est un résultat standard), la courbe rouge représente donc les coefficients impairs. Bien sur, le DAX n'est pas complètement une fonction à bande limitée, il y a du bruit; donc nous ne pouvons prendre en compte que les premiers coefficients, parce que les suivants sont pollués par du résidu (les fluctuations à petite échelle, justement, sur lesquelles tout le monde se focalise). Comme le bruit est en général à haute fréquence, on peut espérer que les premiers coefficients en soient vides; il devrait donc y avoir une transition entre la partie stable (le trend) et la partie instable (le bruit) bien visible sur les coefficients. Et c'est justement ce qui arrive: vous voyez que la courbe bleue comme la courbe rouge commencent par décroitre de façon presque parallèle à la courbe noire, puis font un plateau. Le moment où elles cessent de décroitre est précisément la transition entre signal et bruit, entre stabilité et instabilité.

Pour inverser l'opérateur de troncature (et donc avoir un opérateur d'extension, ou d'extrapolation en bon français), il faut diviser les coefficients prolate (bleus et rouges) par les valeurs propres (la courbe noire). Or, vous voyez que cette courbe noire tombe à pic (c'est une conséquence de la smoothness du noyau de convolution, là encore, c'est standard): c'est ce que l'on voit dans la petite fenètre en haut à droite. Sur cette image, vous voyez que les courbes bleues et rouges commencent par faire un plateau (les coefficients divisés par les valeurs propres sont bornés), puis explosent à la hausse (ils cessent d'etre bornés); on ne retient que la partie correspondant au plateau de façon à ne pas obtenir de comportement erratique. On obtient les extrapolations paires et impaires se trouvant sur la figure en bas à droite; lorsqu'on les met ensembles, on a l'extrapolation globale visible sur la figure au-dessus de celle représentant la fluctuation mean-reverting.

Maintenant, pourquoi est-ce que ça marche bien ? Réponse: parce que la transition stable/instable saute aux yeux! Il est impossible de la manquer puisque les coefficients pairs et impairs décroissent bien puis font "un coin". Il y a des cas où ce beau comportement ne se produit pas, et là, il devient terriblement difficile de trouver la transition, c'est-à-dire le niveau à partir duquel il faut "jeter" les coefficients qui sont pollués par le bruit à haute fréquence. Un exemple pathologique est le suivant (c'est le CAC 40 pendant le mois de juin 2007):

Pratiquement toute la tendance passe dans la partie impaire (rouge), la partie paire (en bleu) devrait simplement etre une constante égale à la moyenne des cotations sur l'intervalle des mesures. Or, une constante ne se représente pas bien dans la base Prolate; du coup, ce qui devrait etre très simple devient une structure présentant des oscillations artificielles avec des fortes variations aux 2 bords (rappelez-vous que la fonction bleue est paire, donc le bord droit est identique au bord gauche). Que fait la routine d'extrapolation ? Elle suit ces oscillations alors que celles-ci n'ont rien de réel ... Si on calcule la part des cotations passant dans la partie impaire, on constate qu'elle est 4 fois plus importante que la part prise par les prolate paires. Mais au moment d'extrapoler, le bon pronostic impair est ruiné par la partie paire ... qui ne devrait pas exister! Dans le cas du DAX "qui va bien", le rapport impair/pair est seulement de 2 fois, et nous obtenons le bon pronostic puisque la décomposition est équilibrée entre la partie paire et impaire, et la transition stable/instable est très visible. Ci-dessous, un autre exemple de transition très difficile à trouver, sur le Nikkei 225 la semaine dernière:

Il n'y a pratiquement pas de zone de décroissance sur la partie impaire (en rouge) alors que les coefficients pairs (toujours en bleu) montrent bien un "coin" très visible (graphique de gauche): on ne sait donc pas bien où "couper" la partie impaire du signal observé. On peut dire ça autrement: le rapport signal/bruit de la partie impaire est trop faible. Sur ce cas particulier, le seuil en-dessous duquel les coefficients sont bruités se trouve autour de 0.01/0.001 et cela représente la majorité des coefficients impairs. Ce qui sauve l'extrapolation, c'est que la répartition paire/impaire est à peu près équilibrée (autour de 0.9, soit moitié-moitié). On termine avec un autre exemple où "tout se passe bien", à savoir le NDX 100 à la fin du mois de mars 2010:

Dans ce dernier cas, la décroissance des coefficients pairs et impairs est tellement belle que malgré la tentative de la partie paire d'approcher une fonction constante, l'effet indésirable ne se produit pas lorsqu'on extrapole et on obtient un pronostic tout à fait raisonnable. Ici, le seuil en-dessous duquel on est "dans le bruit" correspond à 0.01 et nous avons beaucoup de coefficients impairs (rouges) et évidemment aussi pairs au-dessus de ce niveau: le signal to noise ratio du NDX pendant cette période est élevé. Le niveau de "coupure" correspond au trait vertical bleu: pour extrapoler, il faut couper au-delà du trait vertical vert et on ne gagne plus rien en termes de précision à couper au-delà du trait vertical rouge.

Pour les curieux qui, comme moi, se demandent encore d'où pouvait bien sortir le résultat miraculeux de l'extrapolation à 10 jours du CAC 40 qui est tombée pile poil sur le bon résultat, voilà un élément de réponse:

La décroissance des coefficients pairs qui "collent" littéralement aux valeurs propres, responsables de l'extrapolation baissière (voir figure en bas, à droite) explique vraiment beaucoup de choses ... Les cotations du CAC 40 à cette date étaient très proches d'une "vraie" fonction à bande limitée et donc l'extrapolation a parfaitement fonctionné.

Décidemment, après Mélenchon à Arret sur Images, voici fleurir une animation très réussie traitant d'une approche marxiste de la crise économique actuelle; à voir, ne serait-ce que pour la mise en scène.