News PredPol - Minority Report, mais sans les Precogs.

[MadHatter]

PredPol, abréviation de predictive policing, est un nouveau logiciel embarquant un puissant algorithme probabiliste utilisé depuis peu par la LAPD, NYPD... Et qui semble fournir des résultats plutôt très efficaces.
Son rôle ? Prédire les infractions, grâce au parcours du réseau statistique d'une base de données, permettant ainsi aux forces de l'ordre de se planquer en attendant le flagrant délit en toute tranquillité.

Informations complètes ici.

[DarkAngel36]

ça fait grave penser au film en effet... ça fait limite peur vous trouvez pas ?

[SAKAROV]

Non. Tant que c'est pour la bonne cause. L'application des mathématiques dans des domaines "exotiques" est de plus en plus courante.

J'ai pas lu l'article (en diagonale accélérée) car je suppose qu'on a rien sur leur formule de calcul, donc ce n'est pas très intéressant.

Il y a quelques semaines, depuis que je regarde à nouveau le foot (enfin, gentiment hein, je suis le PSG, c'est tout) je m'étais dit bêtement : "tiens il serait intéressant de se pencher sur la mise en application de formules statistiques et probabilistes aux données footballistiques" (et je ne pensais absolument pas qu'aux résultats, mais à une belle liste de critères). Bon bien sûr je m'étais dit que j'allais pouvoir me pencher sur le cas du PSG uniquement, mais la réalité m'est vite apparue : 1. si je veux me pencher là-dessus, uniquement pour le PSG, je dois me pencher sur tous les adversaires du PSG, soit au minimum les 19 autres équipes de ligue 1. Et là je me suis dit "la flemme, je suis les résultats du PSG depuis quelques semaines, je ne vais pas me pencher sur tout le foot français, j'en ai rien à foutre". Et 2. je me suis dit : "de toutes façons, je ne suis certainement pas le premier à avoir pensé à cela, ils ont très certainement déjà tout ce qu'il faut, et ce, depuis bien longtemps".

Tout ça pour dire que, si les clubs de foot font appel aux maths pour savoir quel joueur placer à tel poste et avec tels coéquipiers face à telle équipe en prenant en compte les blessures, la température et j'en passe, existe, pourquoi pas pour la police ? D'ailleurs ça devrait exister depuis bien longtemps. Je suis même sûr que ça existe depuis un bon moment, c'est juste que là, leur truc doit être un minimum performant.

Enfin bref, la comparaison avec MR est un peu grotesque, mais que voulez-vous, c'est la presse... !

Tiens d'ailleurs, à ce propos, je sais pas si vous avez su la nouvelle :

Un hacker pakistanais a piraté les serveurs du FBI et a révélé des données sensibles sur Guantamo : Obama nie en bloc.

[MadHatter]

En fait l'algorithme est plutôt assez simple. Ce qui lui donne sa force c'est le nombre et la qualité (précision, stabilité, facteur de répétition...) des données présentent dans la base.
L'algorithme parcours une première fois la base de données pour construire un graphe liminaire (maillage + établissement des noeuds). Une deuxième fois pour établir les liens statistiques entre les noeuds sensibles. Ensuite, étant relié au Central, il récupère les derniers témoignages/rapports/visuels afin d'intégrer le facteur probabiliste nécessaire à la suppression des noeuds les moins sensibles. Enfin il effectue des simulations multifactorielles complètes (heures, minutes, secondes, température, densité de population, présence des forces de l'ordre à proximité du noeud, taux d'ensoleillement, niveau de vie du quartier...) pour terminer d'isoler les noeuds offrant une probabilité d'incident supérieure à 85%.

Avec un peu de bases en mathématiques et en algorithmique, on peut donc relativement déduire que cet algorithme vérifie correctement les propriétés de Markov, et que c'est donc un réseau bayésien.

En premier lieu, évaluation des 'hotspot", c'est à dire des zones à forte probabilité criminelle :


Deuxièmement, simulations inter-relationnelles entre gangs locaux à chaque zone, établissement des noeuds à très grande (> 85%) probabilité d'incident (règlement de compte, échange de tirs, enlèvement, agressions...) :


Troisièmement, réduction d'une zone sensible, évaluation des hotspots criminels (gauche) et simulation probabiliste de la distribution spatiale des crimes (prise en compte des vrais crimes et crimes simulés) (droite), employant l'indice K de Ripley :


On test ensuite les résultats en envoyant des patrouilles de police (points bleu) dans les hotspot (ronds jaunes), on s'aperçoit que le taux de criminalité baisse :


Et si on envoi des patrouilles de police au hasard, entre les hotspot ou à côté, le taux de criminalité se maintien :


Dans les deux cas, les criminels sont les points verts.


Simulation des hotspot criminels utilisant les équations de réaction-diffusion des fluides :


Le vert représente le taux d'équilibre criminel, le rouge deux fois le taux d'équilibre, et le violet la zone de non-criminalité.

[Yodark]

C'est vrai que cet algorithme est très intéressant, et en plus, cela permet d'éviter des crimes

Intéressant oui, arrêter les crimes :° je ne pense pas... Puis les probabilités c'est bien beau, elle se basent sur des faits rationnels hors une fois les gens au courants de ça ...

Y'a une autre variable à prendre en compte : ce qui se passe dans la tête des gens.

En gros à mon avis avec se système ils ne supprimeront jamais le problème mains ne ferons que le déplacer et le rendre encore plus aléatoire.

[MadHatter]

Je ne suis pas certain non.
Une fois les criminels au courant, que veux-tu qu'ils fassent de toutes façons pour changer ?
Les faits probabilisés sont multifactoriels, ils se comptent en terme de centaine. Cela voudrait dire, pour une organisation criminelle implantée et gérée d'une façon X depuis des dizaines d'année, de changer du tout au tout, cela prendrait des années. Et comme l'algorithme est intelligent et qu'il est justement probabiliste, il prendrait en compte ces facteurs au fur et à mesure et accompagnerait l'évolution criminelle sans trop de problèmes.

[MadHatter]

Oui mais là c'est plus compliqué si le taux de comportements irrationnels passe de 5% à 99% sur du moyen terme l'algorithme sert à quoi ? et quand je dis comportement irrationnel ça n'implique pas une situation en particulier.. mais des milliers

Ça n'arrivera pas, le banditisme n'est efficace que parce qu'il est organisé. Statistiquement, tu as plus de chances de te faire coffrer quand t'es en mode random plutôt que quand tu t'organises. Ce qui est logique puisque tu n'envisages aucune variable. C'est vrai autant pour les groupes que pour les individus isolés.

Déjà il faut évaluer avec exactitude le nombre de criminels potentiels

Non, pas besoin. Ce n'est pas de cette façon que fonctionne la détermination probabiliste.

leurs comportements, milieu social, activités, relations...etc et en plus vous voulez ajouter la température, l'ensoleillement

Ce qui n'a rien de fondamentalement complexe. Le milieu social, les relations et les activités sont somme toute assez facile à modéliser et à établir pour former ensuite des réseaux inter-relationnels.

A la place d'une VRAI organisation criminelle, connaissant ça, je fausserais toutes les variables et agirais en sous-marin

A moins d'être une machine, ou un prototype d'humain extrêmement avancé, tu ne peux pas te trouver au delà d'une zone probabiliste qui prend plusieurs centaines de paramètres de façon synchrone. A ce jeu là, les mathématiques sont bien plus efficaces.

L'algorithme fonctionnera pour les délinquants complètement cons et désorganisés

Statistiquement erroné. Plus tu es organisé, plus tu es prédictible.

qui vivent dans des endroits ou le taux de criminalité est tellement haut que TOUT les jours il s'y passe quelque chose

Ce n'est qu'une facette minimale du graphe. Considérant les paramètres collatéraux, la prédiction est également efficace dans les zones sans densité criminelle connue.

Pour moi faite un algo' qui prend en compte le taux de pauvreté afin d'influencer le taux de criminalité .. ça serait beaucoup plus révélateur.

... C'est ce qu'il fait déjà. Tu as l'impression de voir un algo' qui ne prend en compte qu'une petite dizaine de paramètres, mais il tire son efficacité des centaines de paramètres intégrés.

prévoir où, quand, comment va se passé un fait criminel est totalement impossible le nombre de variables à prendre en compte est gigantesque(c'est un doux euphémisme).

"Impossible" devrait être banni de notre vocabulaire. PredPol prend déjà en compte des centaines de paramètres, et la marge de prédiction est déjà relativement efficace.
En ce qui concerne la véracité de statistiques, c'est un autre débat.

Quelle banque ? La moins sécurisé(techniquement, géographiquement..etc), la plus rentable.

Les derniers types de braquages font mentir cette logique minimale. Plus une banque est sécurisée, plus elle renferme de matière à dérober. En criminologie, on admet qu'une équipe de braqueurs a plus tendance à faire de gros coups pour ne pas avoir à braquer des dizaines de petites banques.

J'ai fais mentir les probas car j'étais averti. Si tout le monde fait comme moi les variables vont changer on aura corrompu l'algo' [...] Moi je n'ai que l’embarra du choix je pourrais choisir complètement aléatoirement ma prochaine cible mais l'algo lui ne pourra pas le prévoir

Ce que tu voles importe peu, c'est l'action qui est importante. Tu ne peux pas invalider un graphe juste parce que tu changes quelques paramètres. Pour tromper le calcul, il faudrait changer des centaines de paramètres simultanément, ce qui est humainement improbable. D'autant plus que pour que ce soit réellement efficace, des centaines de milliers de personnes devrait changer leur mode d'action brutalement au même moment... Je te laisse décider de la faisabilité de la chose.

Pourtant elles se basent sur des faits rationnels en temps réel ..etc et là on veut faire quoi ?

Ahah. Prend donc les différences de vitesse au niveau des évolutions. Une masse nuageuse se déplace à plusieurs centaines de km/h, une dépression dépend de paramètres évoluant également à de très grandes vitesses. Ce qui n'est pas comparable avec l'activité criminelle qui évolue beaucoup moins vite.



Je ne suis pas du tout un ardent défenseur de cet algorithme, ou pro-américain, ou quoi que ce soit d'autre. Je me mets seulement à la lumière de la science. Bien sûr que cet algorithme ne pourra jamais prédire quelque chose à 100%, mais les densités de prédictibilité qu'il atteint sont déjà extrêmement positives.

[mactux]

Pour moi faite un algo' qui prend en compte le taux de pauvreté afin d'incrémenter ou non le taux probable de criminalité .. ça serait beaucoup plus révélateur.

Prends comme exemple les tueries dans les écoles, on est loin du stéréotype de la pauvreté. Les plus nombreux cas surviennent dans les banlieues moyennes où les gosses vivent étouffés dans l'ambiance surréaliste du "God Bless America" et autre connerie du même genre...

Le souci est que ll'algo n'est pas détaillé et cela m'étonnerait qu'il soit fixe aussi. Je trouve l'idée originale et pourquoi pas réalisable.
Je suis d'accord avec MadHatter sur le fait que même si les criminelles sont au courant, ce n'est pas pour ça qu'ils changeront leurs façons de "bosser". Par exemple tout le monde sait que le métro regorge de pickpocket, annonce, affiche, reportage et j'en passe, pourtant il y a toujours autant de victimes. Ce n'est pour eux qu'un faible risque de probabilités de se faire choper, tant que le % de réussite dépasse un certain chiffre, il n'y a pas de raison de s'arrêter.

[SAKAROV]

@Lastwissh: tu pars dans tous les sens encore une fois... impossible de te lire. J'ai essayé mais ça m'a saoulé^^
@Madhatter: merci pour ton post #4, bien plus fourni que le premier. Juste un point :

Bien sûr que cet algorithme ne pourra jamais prédire quelque chose à 100%, mais les densités de prédictibilité qu'il atteint sont déjà extrêmement positives.

Je ne crois pas au chiffre donné (mentionné dans ton post #4) : >85%. C'est grotesque. Ils parlent du taux de probabilité pour qu'un incident ait lieu à un endroit X à une minute T. Autant je veux bien croire ce chiffre s'il est basé sur les hotspots (très grandes surfaces) et s'ils ne prend pas en compte T, autant déterminer un endroit X précis (rue, n° de rue ; voire étage, porte) et un instant T précis (<1 minute) est absurde. Là ce serait Minority Report. Or la finalité de cet algo est d'augmenter le nombre de flagrants délits (mentionné dans ton post #1 je crois) : donc d'être très précis (comme dans Minority Report).

Après, l'idée d'un nombre de flags supérieur grâce à PredPol est crédible. Mais je ne pense pas qu'il soit si significatif. Après, si tant est qu'il soit supérieur, ne serait-ce que 5% de + serait déjà louable. Bref c'est ce chiffre qui importe.

@Mactux: exactement, il peut se passer des choses très graves à des endroits inattendus et rien du tout là où tous les indicateurs sont rouge vif. Predpol n'aurait jamais rien décelé à Newtown. Seul un système "personnel" aurait pu fonctionner (un proche alerte un hôpital que le gamin commence à devenir sérieusement fêlé, il se fait interner, soigner, puis ressort et est gardé à l'oeil par la police).

Par exemple là ce soir une amie est venue à la maison, j'habite dans un bon quartier (j'ai jamais vu d'agression ou ne serait-ce que l'ombre d'une menace). Quand elle est partie, elle est allée récupérer sa voiture dans un parking Vinci (y'a moins bien sécurisé comme endroit je crois), eh bien un "chinois" (un asiatique quoi^^) l'a agressée en lui disant "baise baise baise !" en essayant de tirer la porte pour la violer.

Eh bien franchement, là où j'habite (sur la plus grosse artère d'une ville très riche, la plus dense d'Europe, où il y a le + de caméras, etc.) dans un parking Vinci (donc sécurisé, bien surveillé, matériel neuf et fonctionnel, personnel présent, etc.) par un chinois (bon désolé mais force est de constater que très peu de délinquants sont chinois !) et en plus sur ma pote (nan j'déconne enfoiré que je suis ), bon, franchement, pour deviner ça comme dans Minority Report, bon^^

Bref, le second post (le #4) de Madhatter est en tous cas très intéressant je trouve et tant mieux si l'algo apporte un + (ne serai-ce qu'un petit) et nul doute que celui-ci sera de plus en plus performant avec le temps (notamment le lier avec des caméras (+ reconnaissances faciales, et autre) qui devront être démultipliées).

[comaX]

Fuck. Me.

Moi qui me payais la tronche de la série "Numb3rs"...

[MadHatter]

Je ne crois pas au chiffre donné (mentionné dans ton post #4) : >85%. C'est grotesque. Ils parlent du taux de probabilité pour qu'un incident ait lieu à un endroit X à une minute T. Autant je veux bien croire ce chiffre s'il est basé sur les hotspots (très grandes surfaces) et s'ils ne prend pas en compte T, autant déterminer un endroit X précis (rue, n° de rue ; voire étage, porte) et un instant T précis (<1 minute) est absurde

Non non, le 85% fait référence à la probabilité d'apparition d'un incident dans une zone délimitée (petit ou moyen hotspot) dans une fourchette de temps donnée.

[SAKAROV]

La valeur de l'algo repose là-dessus, or ni X ni T ne sont précisés. Si X=10km2 et T=1j, l'utilité de l'algo est nul. Si c'est X=1m et T=1s là c'est Minority Report. You know what I mean?

[MadHatter]

Ne tombons pas dans les extrêmes, voyons.
L'algo' désigne des zones standards de 150m x 150m.
S'il peut ensuite affiner grâce aux calculs stochastiques (parallélisation via les chaînes de Markov), il peut cibler des zones comme des segments de rues, des parkings, des jardins publics... Avec une fourchette de temps comprise entre 2h (moins précis) et une quinzaine de minutes (plus précis).

[SAKAROV]

C'est tout à fait honorable (cependant reste à connaître la moyenne des X et des T sur un grand N).

D'autre part, connais-tu, à tout hasard, le nombre de données dans la DB (de la NYPD/LAPD) ? Et leur répartition par contenu (crimes commis, vols de wallets, etc.) ?

Just asking. C'est intéressant. Ca donne envie d'en savoir plus (quel est l'algo exact ? quels sont tous les critères pris en compte ? etc.) mais bon malheureusement ce logiciel n'est pas open source (étonnant ^.^)

[MadHatter]

J'ai fait une demande (au nom de ma boite) à UCLA et à la Santa Clara University afin d'obtenir l'algorithme ; si ce n'est dans son intégralité, au moins dans sa forme réduite. Réponse positive de George Mohler (le mathématicien à l'origine du projet), j'attends plus que la réponse de son collègue de UCLA, Jeff Brantingham.
Si tout va bien, HK (via Thalès) sera la première et unique communauté à disposer de l'algo'.
I keep you in touch.