Discussion :

[Bill Fassinou]

Boston Dynamics vend Digidog, son chien-robot, aux services de police,
mais certains craignent qu'il ne devienne un outil de surveillance dangereux

Le robot Spot commercialisé par Boston Dynamics ouvre à nouveau le débat sur les enjeux éthiques et les problèmes de confidentialité inhérents aux armes autonomes. La société a conçu et vendu un chien-robot au département de la police de New York que ce dernier a récemment testé lors d'une prise d'otage. Si les autorités policières déclarent que le robot a été déployé pour s'assurer que le terrain est sûr avant d'envoyer des agents pour intervenir, certaines personnes sont sceptiques sur le sujet. Elles craignent que le robot ne dérive de son objectif initial et devienne un outil de surveillance agressif.

Le NYPD est blâmé pour avoir fait usage d'un robot de Boston Dynamics

Racheté par le Sud-Coréen Hyundai au Japonais SoftBank en 2020, Boston Dynamics est une entreprise américaine spécialisée dans la robotique, notamment à usage militaire. SoftBank lui-même l'avait racheté à Alphabet Inc., la maison de Google, en 2017. Ces dernières années, la société a travaillé sur un robot quadrupède qu'elle a commencé à commercialiser à l’été 2019 sous le nom de Spot. Boston Dynamics avait déclaré l'année dernière que ses nouveaux robots quadrupèdes ne sont pas destinés à un usage militaire. Toutefois, il le vend désormais aux services de police aux États-Unis, et le département de la police de New York (NYPD) s'en est servi la semaine dernière.

En effet, à la suite d'une prise d'otage dans le Bronx, le NYPD a déployé son Spot personnalisé qu'il a baptisé Digidog. La police devait aller à la rescousse d'un homme retenu prisonnier par deux autres hommes. Digidog est un chien-robot possédant des caméras et des lumières fixées sur son châssis, et un système de communication bidirectionnelle qui permet à l'agent qui le manœuvre à distance de voir et d'entendre ce qui se passe. Le NYPD a déclaré que le Digidog peut voir dans le noir et évaluer la sécurité des agents qui pénètrent dans un appartement ou un bâtiment où il peut y avoir une menace.

La police a ajouté que Digidog avait aidé les agents à déterminer qu'il n'y avait personne à l'intérieur, leur permettant ainsi d'intervenir en toute "sécurité". « La police de New York utilise des robots depuis les années 1970 pour sauver des vies lors de prises d'otages et d'incidents liés aux produits dangereux », a déclaré le NYPD sur Twitter. « Ce modèle de robot est testé pour évaluer ses capacités par rapport à d'autres modèles utilisés par notre unité de services d'urgence et notre équipe de déminage ». Cependant, des voix s'élèvent contre l'utilisation de ce type d'engin par la police, déclarant que cela pose des problèmes de confidentialité.

La représentante démocrate Alexandria Ocasio-Cortez, a décrit Digidog sur Twitter comme étant un drone de "surveillance robotique au sol". « Posez-vous la question : quand avez-vous vu pour la dernière fois une technologie de classe mondiale de nouvelle génération pour l'éducation, les soins de santé, le logement, etc., systématiquement priorisée pour des communautés mal desservies comme celle-ci », a-t-elle écrit sur Twitter. En outre, dans une vidéo prise par le vidéaste Daniel Valls de FreedomNews.tv, l'on peut entendre une voix dire "cette chose est effrayante".

Jay Stanley, un analyste politique senior de l'Union américaine des libertés civiles (ACLU), a déclaré que le fait de donner à un robot le pouvoir de faire le travail de la police pourrait avoir des conséquences sur les préjugés, la surveillance mobile, le piratage et la vie privée. D'autres craignent aussi que le robot puisse être couplé à d'autres technologies et être utilisé comme une arme. « Nous voyons beaucoup de services de police adopter de nouvelles technologies de surveillance et autres sans en parler, et encore moins sans demander aux communautés qu'ils servent », a-t-il déclaré.

« L'ouverture et la transparence sont donc essentielles ». Toutefois, il semblerait que ce soit uniquement la société civile qui voit la chose de cette manière. Selon Keith Taylor, un ancien sergent de l'équipe SWAT du NYPD qui enseigne au "John Jay College of Criminal Justice", un appareil mobile pouvant recueillir des renseignements à distance sur une situation explosive a "un potentiel énorme" pour limiter les blessures et les décès. « Il est conçu pour aider les forces de l'ordre à obtenir les informations dont elles ont besoin sans avoir à se battre contre des incendies meurtriers, par exemple », a-t-il déclaré.

Rappelons que le conseil municipal de la ville a adopté la loi sur la surveillance publique via des technologies de surveillance en juin dernier, dans le cadre des efforts visant à remanier les forces de police. La loi exige que le département de police soit plus transparent sur ses outils de surveillance, y compris Digidog, ce qui, selon les défenseurs des libertés civiles, faisait défaut. Un porte-parole du NYPD a déclaré que le robot est en phase de test, probablement pour voir s'il est réellement utile sur le terrain.

À son lancement, Spot n'était pas destiné à un usage militaire

Comme souligné plus haut, Boston Dynamics a commencé par commercialiser son robot quadrupède Spot l'année dernière. Il s'agit en effet d'un robot agile qui grimpe les escaliers et traverse les terrains accidentés avec une grande facilité, tout en étant assez petit pour être utilisé à l'intérieur. Spot est conçu pour être une plateforme robuste et personnalisable. L'été dernier, la société a déclaré que Spot répond de manière autonome aux besoins en matière de détection industrielle et d'exploitation à distance. Elle estime que son robot peut aller là où vous lui dites, même les endroits où les robots à roues ne peuvent pas aller.

Il serait également capable d'éviter les obstacles et de garder son équilibre dans des circonstances extrêmes. Selon l’entreprise, tout ceci constitue des compétences cruciales si vous essayez de naviguer dans un environnement inconnu. Elle estime aussi que Spot peut transporter des charges utiles dont l'endurance dépasse de loin celle des drones aériens. Spot serait en mesure de transporter jusqu’à quatre modules matériels sur son dos et sa capacité d’emport serait de 14 kilogrammes. Le robot possède une vision à 360 degrés et utilise des caméras stéréoscopiques pour éviter les obstacles et les personnes lorsqu'il se déplace.

La société estime que Spot est conçu pour résister aux environnements industriels poussiéreux et humides. Il serait aussi doté d’une protection en cas d'accident. Boston Dynamics concevait des robots pour la plupart orientés vers le domaine militaire, mais dans le cas du Spot, l’entreprise a indiqué l'année passée qu'il n’était en aucun cas destiné à un usage militaire. « Nous ne voulons pas voir Spot faire quoi que ce soit qui nuit aux gens, même si c’est de façon simulée », a déclaré Michael Perry, vice-président du développement commercial chez Boston Dynamics.

« C'est quelque chose sur quoi nous sommes plutôt fermes quand nous parlons aux clients », ajouta-t-il. Selon ce dernier, au lancement, la plupart des acheteurs ont été des entreprises de services publics et d'énergie ainsi que des fabricants et des entreprises de construction, qui l'utilisent pour pénétrer dans des espaces trop dangereux pour les humains. Il a déclaré que le robot a été utilisé pour inspecter des sites contenant des matières dangereuses. Au début de la pandémie, il aurait été utilisé par des travailleurs de la santé pour communiquer avec des patients potentiellement malades sur les sites de dépistage.

Il a ajouté que la plupart des entreprises renomment le robot après l'avoir acheté. Cela dit, même s'il existe une différence fondamentale entre la fonction policière et la fonction militaire, des critiques estiment que Boston Dynamics n'a pas tenu sa promesse de départ en vendant ses robots dotés de capacités "surprenantes" à la police. Selon des rapports sur le sujet, le NYPD est l'un des trois départements de police du pays à posséder le Spot. La police d'État du Massachusetts et le département de police d'Honolulu l'utiliseraient également. Il a une autonomie de 90 minutes et marche à une vitesse d'environ 4 km/h.

D'autres services de police auraient appelé l'entreprise pour en savoir plus sur le robot, qui a un prix de départ d'environ 74 000 dollars. Perry a déclaré qu'il pourrait coûter plus cher lorsque l'acheteur souhaite avoir des fonctionnalités supplémentaires. En réponse aux inquiétudes liées à la confidentialité et la surveillance de masse, Perry a déclaré que le chien mécanique n'a pas été conçu pour servir d'outil secret de surveillance de masse. « Il est bruyant et a des lumières clignotantes. Ce n'est pas quelque chose de discret », a-t-il déclaré pour tenter de convaincre les sceptiques.

Par ailleurs, l'utilisation de robots pouvant être déployés dans des situations dangereuses pour garder les policiers hors de danger pourrait devenir la norme. À Dallas, en 2016, la police a mis fin à une impasse avec un homme armé recherché dans le meurtre de cinq officiers en le faisant exploser à l'aide d'un robot. En 2015, un homme armé d'un couteau qui avait menacé de sauter d'un pont à San Jose, en Californie, a été arrêté après que la police eut fait apporter par un robot un téléphone portable et une pizza.

Et en 2014, la police d'Albuquerque, au Nouveau-Mexique, aurait utilisé un robot pour "déployer des munitions chimiques" dans une chambre de motel où un homme s'était barricadé avec une arme à feu. Il se serait rendu ensuite. Enfin, ce n'est pas la première fois que le NYPD déploie un des robots de Boston Dynamics. En octobre dernier, le département a utilisé un autre Spot pour retrouver un homme armé qui s'était barricadé dans un bâtiment après avoir accidentellement tiré une balle dans la tête de quelqu'un lors d'un conflit de stationnement à Brooklyn.

Source : Vidéo

Et vous ?

Quel est votre avis sur le sujet ?
Pensez-vous que les services de police devraient utiliser ce type d'engin ?

Voir aussi

L'entreprise américaine Boston Dynamics a officiellement lancé la commercialisation de son robot Spot à travers un programme de leasing

Boston Dynamics veut vendre ses chiens-robots SpotMini aux ménages et aux entreprises, le succès sera-t-il au rendez-vous ?

Au cours d'une conférence, Boston Dynamics a présenté un petit extrait vidéo où son robot SpotMini danse sur un morceau de musique

Hyundai va acquérir Boston Dynamics pour près de 1 milliard de dollars, alors que le groupe a choisi la robotique comme l'un de ses nouveaux moteurs de croissance

L'ACLU veut des détails sur les vidéos du robot de Boston Dynamics dans les exercices de la police, qui aurait déjà utilisé le robot dans des cas réels

[Stan Adkens]

La police de New York retire le robot "Digidog" après une réaction négative du public,
Et met fin à un contrat de 94 000 dollars avec Boston Dynamics

Autrefois salué comme l'avenir de la lutte contre le crime à New York, le "Digidog" prend sa retraite de façon prématurée. Le département de la police de New York (NYPD) n'utilisera plus le chien-robot Spot, fabriqué par la société américaine Boston Dynamics, à la suite d'une vive réaction du public, ont confirmé des autorités de la ville. En effet, le maire de New York, Bill de Blasio, a ordonné que le robot controversé baptisé "Digidog", en cours d'essai avec la police de la ville, soit retiré de la circulation, et qu'un contrat de 94 200 dollars avec Boston Dynamics soit annulé.

Le NYPD a acquis le robot en 2020 dans le cadre d'un test pour une nouvelle génération d'engins robotisés de la police. John Miller, commissaire adjoint de la police de New York chargé du renseignement et de la lutte contre le terrorisme, a déclaré au média que le contrat de location de 94 000 dollars, qui devait initialement se terminer en août, a été annulé de manière anticipée le 22 avril. Le robot canin Digidog doit être renvoyé à son fabricant à la suite de l'indignation suscitée par les appels à la réduction du financement de la police et de l'accès des forces de l'ordre au matériel développé pour l'armée.

Boston Dynamics avait déclaré l'année dernière que ses nouveaux robots quadrupèdes ne sont pas destinés à un usage militaire. Toutefois, il l’a vendu à des services de police aux États-Unis, et le département de la police de New York (NYPD) s'en est servi sur le champ d’opération. Digidog est un chien-robot possédant des caméras et des lumières fixées sur son châssis, et un système de communication bidirectionnelle qui permet à l’agent qui le manœuvre à distance de voir et d'entendre ce qui se passe. Le NYPD a déclaré que Digidog peut voir dans le noir et évaluer la sécurité des agents qui pénètrent dans un appartement ou un bâtiment où il peut y avoir une menace.

Plus tôt cette année, le département a décrit le robot comme un outil pouvant être utilisé pour désamorcer des situations dangereuses et a déclaré qu'il aiderait les agents à rester hors de danger. « La police de New York utilise des robots depuis les années 1970 pour sauver des vies lors de prises d'otages et d'incidents liés aux produits dangereux », a déclaré le NYPD plus tôt cette année. « Ce modèle de robot est testé pour évaluer ses capacités par rapport à d'autres modèles utilisés par notre unité de services d'urgence et notre équipe de déminage ».

Mais le chien-robot a suscité une réaction immédiate, les critiques notant que les chiens policiers ont traditionnellement été utilisés pour supprimer et intimider les communautés de couleur. Certains ont également souligné qu'il rappelait les chiens robots de la série dystopique de Netflix, Black Mirror.

« Crier à tous ceux qui se sont battus contre les défenseurs de la communauté qui ont exigé que ces ressources aillent plutôt à des investissements comme l'orientation scolaire », a déclaré la représentante américaine Alexandria Ocasio-Cortez sur Twitter. « Maintenant, des drones terrestres de surveillance robotique sont déployés pour être testés sur les communautés de couleur à faible revenu alors que des écoles sont insuffisamment dotées de ressources ».

« S'il vous plaît, demandez-vous : à quand remonte la dernière fois où vous avez vu une technologie de nouvelle génération et de classe mondiale pour l'éducation, les soins de santé, le logement, etc. systématiquement priorisée pour les communautés mal desservies comme celle-ci ? » a écrit Ocasio-Cortez en février.

Un chien-robot high-tech « effrayant, aliénant » qui envoie « le mauvais message aux New-Yorkais »

Alors que le robot devait être renvoyé à Boston Dynamics, le maire de New York, Bill de Blasio, a déclaré qu'il était « heureux que le Digidog ait été abattu », ajoutant par l'intermédiaire d'un porte-parole que le robot était « effrayant, aliénant et qu'il envoyait le mauvais message aux New-Yorkais ».

Le chien-robot policier high-tech a naturellement fait déborder les imaginations, mais Spot n'est qu'une caméra mobile à commande humaine, par opposition à une version autonome et armée de cette machine. Les conditions de vente de Boston Dynamics interdisent l'armement de Spot, la section "utilisations interdites" dans les conditions d’utilisation interdisant « l'utilisation intentionnelle de l'équipement pour blesser ou intimider une personne ou un animal, comme une arme, ou pour activer une arme ». Mais les règles ne sont bonnes que si elles sont appliquées, et on peut soutenir que l'utilisation du robot par la police est considérée comme de l'intimidation. Quoi qu'il en soit, le fait d'armer la police d'un dispositif de surveillance d'une valeur de 100 000 dollars n'a pas valu au département beaucoup d'éloges.

La réglementation des nouvelles technologies de l’IA fait l’objet de débat à travers le monde entier. Alors que l'UE cherche à établir des règles mondiales pour l'utilisation de l'IA, Thierry Breton a déclaré lors d'une conférence de presse : « Derrière le terme d'intelligence artificielle, il y a des croyances populaires et des peurs qui ont longtemps été véhiculées par l'industrie cinématographique »,a-t-il dit. « Il est vrai que le petit robot (personnage du film d'animation de Walt Disney) WALL-E n'a malheureusement pas pu nous faire oublier le T-800 (robot) de Terminator. Il faut donc naviguer entre tout cela et ne pas stigmatiser la technologie », a-t-il ajouté lors de la présentation du projet loi. Quant à Margrethe Vestager, la responsable européenne de la technologie, elle a déclaré dans un communiqué qu’« En matière d'intelligence artificielle, la confiance est un impératif, pas un luxe à avoir ».

La police utilise des robots démineurs depuis un certain temps déjà, et en 2016, un service de police de Dallas a même utilisé un robot désamorceur pour déposer une bombe, tuant à distance l’un des hommes qui ont attaqué et tué des policiers et des civils lors d’une manifestation. Le NYPD a récemment déclaré que Spot était en fait moins cher que certains des robots que le département utilise déjà. Mais rien n'attire autant l'attention que les robots de Boston Dynamics, avec leurs mouvements d'animaux. Les capacités tout-terrain des robots leur permettent également d'être déployés dans beaucoup plus de situations qu'un robot à roues qui sert à délivrer des bombes.

S'il est vrai qu'ils sont idéaux pour des situations qui pourraient être dangereuses pour les humains, ils suscitent également des craintes de surveillance non désirée et des questions sur l'utilisation des fonds par la police. Ils ont également suscité la conservation de technologies préoccupantes telles que les drones armés.

L'armée française a testé Spot dans le cadre d'exercices de combat. Bien que Spot n'ait pas été militarisé lors de ces exercices, ce qui aurait enfreint les conditions d'utilisation de Boston Dynamics, et qu'il ait plutôt été utilisé pour la surveillance avancée, cela soulève tout de même des questions. À la nouvelle des exercices de l’armée française avec Spot, le vice-président du développement commercial de Boston Dynamics, Michael Perry, a déclaré que « Nous sommes en train de l'apprendre comme vous le faites ». « Nous ne sommes pas certains sur la portée exacte de cet engagement », a-t-il ajouté.

Toutefois, Perry a ajouté que l'entreprise "évalue encore" si elle doit ou non interdire les déploiements non armés par les clients militaires. « Nous pensons que l'armée, dans la mesure où elle utilise la robotique pour mettre les gens hors d'état de nuire, est une utilisation parfaitement valable de cette technologie », a déclaré Perry en s’adressant à un média. « Avec ce modèle de déploiement avancé dont vous discutez, c'est quelque chose que nous devons mieux comprendre pour déterminer si oui ou non il est activement utilisé pour nuire aux gens ». Mais les critiques affirment qu'il est inévitable que ces machines soient utilisées comme armes.

Lorsque Boston Dynamics a construit Spot, la société a déclaré qu'elle envisageait d'utiliser le robot pour surveiller des zones industrielles dangereuses telles que « les centrales nucléaires, les champs pétrolifères offshore, les sites de construction et les mines », et non pour des missions de police. Bien que Digidog ait été retiré, il n’est pas exclu que le chien-robot revienne des années plus tard parmi les machines de la police de New York.

Boston Dynamics affirme avoir vendu plus de 400 unités à ce jour. SpaceX a récemment employé, selon Space Eplored, deux de ces robots pour un usage plus approprié : la surveillance de ses installations de lancement de fusées, où les robots peuvent repérer des situations potentiellement dangereuses comme des fuites de gaz ou les conséquences de l'explosion d'un vaisseau spatial.

Source : Le maire de New York

ET vous ?

Qu’en pensez-vous ?
Ce retrait de Digidog annonce-t-il une interdiction définitive de l’usage de Spot par les forces de l’ordre ?
Digidog est-il, selon vous, un outil de surveillance dangereux ?

Voir aussi :

Boston Dynamics vend Digidog, son chien-robot, aux services de police, mais certains craignent qu'il ne devienne un outil de surveillance dangereux
Boston Dynamics dévoile Stretch : un nouveau robot conçu pour décharger des camions, utilisant un logiciel pour détecter et déplacer jusqu'à 800 cartons par heure
L'UE cherche à établir des normes mondiales pour l'utilisation de l'IA, mais des groupes de défense des droits civils s'inquiètent
L'armée française teste Spot, le chien-robot de Boston Dynamics, dans des scénarios de combat, ce qui soulève des questions quant à l'endroit où le robot sera déployé à l'avenir

[Anselme45]

Déjà qu'il n'y avait pas beaucoup d'applications pour le bidule de Boston Dynamics...

Tous les espoirs de Boston Dynamics reposent désormais sur... l'armée française.

[kbiasci]

Les tests effectues par l'armee francaise ont donne une reponse:

Le robot est utile pour faire de la reconnaissance MAIS sa batterie est trop limitee.
Les operations effeectuees etaient moins risquees mais prenaient plus longtemps.

A la fin, quand la batterie etait a plat, les soldat on du finir les operations... en transportant le robot inerte.

http://lignesdedefense.blogs.ouest-f...res-22012.html

[Bill Fassinou]

La ville de New York déploie des robots autonomes patrouilleurs pour lutter contre la criminalité et maintenir l'ordre dans le métro
un projet qui fait l'objet de controverses

New York met en service trois nouveaux robots autonomes pour patrouiller dans les métros de la ville et surveiller les criminels. Dans le cadre des patrouilles, la police de New York prévoit de déployer un robot Knightscope K5, un robot ovoïde équipé d'un arsenal de surveillance et d'inspection, dont un système de caméras à 360 degrés et des microphones. La flotte comprend un robot de ce type et deux chiens-robots de type Spot de Boston Dynamics. Introduit pour la première fois en 2021, le robot Spot de la police de New York avait été vite retiré, des plaintes ayant signalé que le robot était raciste et inspirait la peur au public. Ce nouveau déploiement est également controversé.

Le maire de New York, Eric Adams, qui a été élu en 2022 et qui s'est décrit à plusieurs reprises lors de l'annonce comme un "geek de l'informatique", a déclaré que les trois nouveaux robots de surveillance ne sont que le début de la refonte des forces de police. « Nous ne pouvons pas avoir peur de la technologie. Si nous ne sommes pas prêts à aller de l'avant et à nous servir de la technologie pour assurer la sécurité des villes, nous ne pourrons pas faire face à ceux qui veulent nuire à New York », a-t-il déclaré. Mais les médias locaux ont rapporté que les habitants sont en colère et ont déclaré que les robots étaient des "outils de surveillance dystopiques".

Pour les patrouilles actives, la police de New York (NYPD) prévoit de déployer un robot Knightscope K5, un robot à roues qui mesure environ 1,5 m de haut et pèse 1,5 kg. Il ressemble à un R2-D2 géant dans la vraie vie. Ce robot ovoïde n'a pas d'appendices et n'est qu'une boule de capteurs. Il est équipé d'un système de caméras à 360 degrés, d'une caméra thermique, d'un LiDAR, d'un sonar, d'un GPS, de 16 microphones et de haut-parleurs pour diffuser des messages préenregistré ou en direct. Il peut patrouiller de manière autonome dans une zone, détecter des personnes, reconnaître des plaques d'immatriculation et utiliser la reconnaissance faciale.

Le NYPD note toutefois que la reconnaissance faciale ne sera pas utilisée. En tant que robot à roues, il ne peut accéder aux zones conformes aux normes ADA que par des rampes. Le K5 est présenté comme un "robot de sécurité autonome" et a été dévoilé en 2014. Les unités K5 ont fait parler d'elles pour divers incidents, comme le fait d'entrer dans un étang ou d'écraser des enfants. La ville de New York loue le robot pour une durée de six mois au prix de 9 dollars par heure. Jeffrey Maddrey, chef du NYPD, a déclaré que le robot serait déployé en juillet dans le cadre d'un programme pilote et qu'il patrouillerait sur Times Square ou dans la station de métro.

Le robot aura un partenaire humain. En outre, le NYPD compte également déployer un chien robot "Spot" de Boston Dynamics, que la police de New York a surnommé Digidog. Spot est un robot qui peut patrouiller de manière autonome sur un parcours cartographié, suivre une personne et monter et descendre des marches. Le robot Spot est destiné à la surveillance et à l'inspection industrielles à distance, ce qui lui confère de nombreuses capacités de commande à distance et d'enregistrement. En 2021, la police de New York l'a équipé de la Spot Cam+, qui comprend une caméra panoramique avec zoom optique 30x et une seconde caméra à 360 degrés.

Spot coûte 75 000 dollars sans les accessoires et l'utilisateur peut l'équiper comme il l'entend. Par exemple, Spot peut être équipé de la "Spot Cam+IR", qui ajoute une caméra thermique et un système audio bidirectionnel. Il peut aussi être équipé de l'accessoire "Spot Arm", qui permet d'ouvrir des portes et de manipuler d'autres objets. Pour l'instant, le NYPD prévoit de déployer deux robots Spot. Il n'effectuera pas de patrouilles autonomes, mais il sera utilisé pour les incidents "à haut risque", comme les prises d'otages et l'inspection des matières dangereuses. En gros, le robot Spot sera utilisé pour un travail similaire à celui d'un robot poseur de bombes.

Aux États-Unis, la plupart des services de police disposent déjà d'un arsenal de robots, mais ils sont généralement destinés à la neutralisation des bombes, et non aux patrouilles quotidiennes envisagées par la ville de New York. Les robots de déminage ne sont généralement que des appareils télécommandés totalement "idiots" qui ne sont pas automatisés et dont le fonctionnement nécessite une ou plusieurs personnes. Mais la ville de New York pousse le bouchon un peu plus loin. Le projet est critiqué par de nombreuses personnes et par plusieurs groupes progressistes. Ces derniers qualifient à nouveau cette initiative de gaspillage d'argent.

La députée progressiste Alexandria Ocasio-Cortez l'a qualifié de drone terrestre de surveillance robotisée. « Bravo à tous ceux qui se sont battus contre les défenseurs des communautés qui demandaient que ces ressources aillent plutôt à des investissements comme l'orientation scolaire », a tweeté Ocacio-Cortez en février 2021, après que le robot Spot (surnommé DigiDog) a été déployé pour la première fois. À l'époque, DigiDog avait été qualifié de "raciste" et a été comparé à un épisode de la série dystopique britannique Black Mirror, dont le créateur a déclaré qu'il avait été inspiré par des robots similaires fabriqués par Boston Dynamics.

Le groupe STOP progressiste (Surveillance Technology Oversight Project) voit en ce projet un gaspillage d'argent public visant à envahir la vie privée des New-Yorkais. Il estime qu'il s'agit d'un dangereux coup de force du NYPD et a ajouté que "la ville devrait investir dans de véritables êtres humains, pas dans des robots". Interrogé sur la façon dont il comptait calmer les soupçons des gens à l'égard de l'appareil et garantir une utilisation sûre des robots, Adams a répondu : « eh bien, tout d'abord, nous sommes à New York. Il y a 8,5 millions de personnes et 35 millions d'opinions. Donc, quoi que vous fassiez, il y aura du pour et du contre ».

Selon certaines sources, les New-Yorkais ne sont pas seulement en colère contre le potentiel d'espionnage, ils sont aussi en colère contre le coût des robots. Le maire aurait dépensé plus de 750 000 dollars pour les deux nouveaux chiens robots, tout en obligeant les autres agences à réduire leurs budgets de 4 % (après une première réduction de budget de 3 % effectuée il y a quelques mois), ce qui aurait aggravé l'insécurité alimentaire, les crises d'expulsion, etc. Cependant, le NYPD estime que les deux robots Spot seront financés par l'argent des confiscations de la police de New York plutôt que par des fonds budgétaires.

En décembre dernier, la ville de San Francisco est revenue sur sa décision d'autoriser la police à déployer des robots pour tuer des suspects. La manœuvre fait suite aux protestations des citoyens et des groupes de défense des droits civils. Mais le revirement n'est pas permanent. La question est désormais examinée par un comité pour une discussion plus approfondie. Cela ravive le débat sur la possibilité d'une utilisation éthique de tels outils. En outre, Boston Dynamics continue de vendre son robot Spot pour de tels cas d'utilisation alors que l'entreprise a condamné en décembre la militarisation des robots et a refusé d'en faire autant avec ses propres.

Sources : conférence de presse du maire de New York, Surveillance Technology Oversight Project

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de l'initiative de la ville de New York ?
Selon vous, ces robots sont-ils adaptés aux cas d'utilisation susmentionnés ?
Quelles sont les préoccupations éthiques que pose l'initiative de la police de New York ?

Voir aussi

Boston Dynamics condamne la militarisation des robots et s'engage à ne pas le faire avec ses propres robots, l'entreprise estime que cela introduit de nouveaux risques de dommages pour l'humanité

San Francisco revient sur son projet d'autoriser la police à déployer des robots capables de tuer des humains, et ravive le débat mondial sur la possibilité d'une utilisation éthique de tels outils

Les États-Unis vont maintenant déployer des drones équipés d'un logiciel de reconnaissance faciale lors des opérations spéciales, le projet suscite des critiques et des préoccupations éthiques

[HaryRoseAndMac]

Une très bonne idée, mais vous laissez ça à paris sans surveillance il se fait piquer dans les 5 minutes qui suivent.

[totozor]

Le NYPD note toutefois que la reconnaissance faciale ne sera pas utilisée. En tant que robot à roues, il ne peut accéder aux zones conformes aux normes ADA que par des rampes. Le K5 est présenté comme un "robot de sécurité autonome" et a été dévoilé en 2014. Les unités K5 ont fait parler d'elles pour divers incidents, comme le fait d'entrer dans un étang ou d'écraser des enfants. La ville de New York loue le robot pour une durée de six mois au prix de 9 dollars par heure. Jeffrey Maddrey, chef du NYPD, a déclaré que le robot serait déployé en juillet dans le cadre d'un programme pilote et qu'il patrouillerait sur Times Square ou dans la station de métro.
Le robot aura un partenaire humain.

A quoi vont ils servir?
Le robot ne peut pas accéder à tout, ma première question (en tant que bon Français) est à quel endroit je peux l'amener pour qu'il se retrouve dans sa propre "cage".
J'espère qu'il est plus malin qu'avant parce que si c'est une Tesla des trottoirs je suis bien d'accord avec Harry, il finira bien vite hors service, à raison.
J'imagine que le policier qui servira de promeneur à R2D2 sera ravi de passer pour un con auprès de tout le monde. Surtout si son rôle réel est d'éviter que R2D2 ne blesse quelqu'un d'autre.

Spot [...] Il n'effectuera pas de patrouilles autonomes, mais il sera utilisé pour les incidents "à haut risque", comme les prises d'otages et l'inspection des matières dangereuses. En gros, le robot Spot sera utilisé pour un travail similaire à celui d'un robot poseur de bombes.

Je comprends mieux l'utilisation de Spot pour le coup.

Je ne comprend vraiment pas l'utilité d'un robot policier de patrouille, il n'a aucune force de dissuasion, il sera incapable d'avoir le lien interpersonnel avec les gens qui lui demanderont de l'aide. Bref ça va rendre encore moins humains la police, qui est probablement l'image qu'elle doit se redonner.
Le seul avantage est que ces robots que comme ils ne seront pas armés ne pourront pas tuer un "dangereux délinquant" d'une balle dans le dos.

[Bruno]

La ville de New York déploie un RoboCop de 190 kg pour patrouiller dans une station de métro
une avancée technologique qui soulève des inquiétudes sur la vie privée

La police de New York a récemment déployé un robot policier pour patrouiller dans la station de métro de Times Square. Ce robot, appelé RoboCop, pèse environ 190 kg. Le RoboCop est équipé d’une caméra géante en guise de visage et est capable de fournir des informations en temps réel sur la meilleure façon de déployer des agents humains en cas d’incident. Il est également équipé de plusieurs caméras, d’un bouton permettant de mettre le public en contact avec une personne réelle et d’un haut-parleur pour une communication audio en direct.

Le maire de New York, Eric Adams, a déclaré que le RoboCop aura un effet dissuasif sur la criminalité et contribuera à assurer la sécurité des citoyens. Il a aussi souligné que la ville lançait un programme pilote de deux mois pour tester ce robot de sécurité autonome Knightscope K5. Le RoboCop est presque aussi grand que le maire lui-même, mais il est au moins trois fois plus large au niveau de la taille. Il a une vision à 360 degrés et peut se déplacer à une vitesse maximale de 3 miles par heure.

Richard Davey, président des transports en commun de la ville de New York, a déclaré que le robot rendrait le réseau de métro plus sûr. « Vous m'avez souvent entendu dire que je pense que nous avons plus de caméras qu'un casino de Las Vegas dans notre réseau de métro, a-t-il déclaré. Contrairement à un robot de Las Vegas, il ne vous servira pas de boissons, mais il assurera votre sécurité. »

Au cours du programme pilote, le K5 patrouillera dans la station de métro Times Squares de minuit à 6 heures du matin, accompagné d'un agent humain de la police de New York qui l'aidera à se présenter au public. Knightscope, qui fabrique le robot, indique qu'il a été déployé chez 30 clients dans 10 États, notamment dans des centres commerciaux et des hôpitaux.

Les robots de sécurité suscitent la controverse

Le K5 s'est retrouvé dans des situations délicates dans d'autres villes. Un robot de sécurité chargé de « garder » les rues de San Francisco contre les sans-abri a été mis en congé administratif après avoir été retrouvé renversé, couvert de sauce barbecue et enveloppé dans une bâche.

Cependant, ce n'est pas le premier acte de violence entre un homme et un robot dans l'histoire récente de la Californie. Au début de l'année, un homme ivre a été arrêté pour avoir battu un robot de sécurité à Mountain View. Les deux victimes étaient des robots Knightscope : des machines de 1,5 mètre de haut pesant 300 kg, conçues pour patrouiller dans des zones et alerter les autorités en cas d'activité « suspecte ».

À l'origine, le robot couvert de sauce avait été déployé par la SPCA de San Francisco pour dissuader les sans-abri de s'installer dans le quartier de Mission, mais il s'est presque immédiatement heurté à la résistance des habitants et des fonctionnaires. En plus d'être conçu pour terroriser les sans-abri, certains citoyens se sont plaints que le robot de sécurité effrayait les chiens du quartier et qu'il était en général assez grossier avec les piétons.

Michael Kemper, chef du service des transports de la police de New York, a déclaré que toute personne tentant de nuire au robot serait identifiée et arrêtée. Adams a également souligné avec fierté la rentabilité du robocop par rapport à celle d'un policier humain : la ville loue le robot pour 9 dollars de l'heure. « C'est un bon investissement de l'argent des contribuables, a-t-il déclaré. Il s'agit d'un salaire inférieur au salaire minimum, sans pause toilettes ni pause repas. »

En avril, les autorités ont montré au public un chien robot et un dispositif de tir de projectiles par GPS. La police de New York a annoncé que les chiens robots, ou « Digidogs », devraient arriver au cours des prochains mois. La police a précédemment déclaré que les chiens peuvent être utilisés pour évaluer des situations dangereuses impliquant des otages, des incidents terroristes et des rencontres avec des personnes en crise de santé mentale.

Les robots policiers : une solution de maintien de l’ordre qui divise les New-Yorkais

L'introduction de cette technologie policière a suscité l'inquiétude de certains défenseurs de la réforme de la police et du droit, qui s'interrogent sur le respect de la vie privée et sur le budget, et qui craignent que les New-Yorkais ne veuillent pas vivre dans une ville patrouillée par des robots.

En juin, la Legal Aid Society a demandé au département des enquêtes de la ville de New York d'enquêter sur le déploiement des technologies de surveillance, estimant qu'elles violaient la loi sur la surveillance des technologies de surveillance par la police (Police Oversight of Surveillance Technology Act). Dans un communiqué de presse, elle a déclaré que le public ne voulait surtout pas des Digidogs, une technologie qu'elle a qualifiée de « robot dystopique ».

Le 11 avril 2023, la police de New York a annoncé de nouvelles technologies de surveillance qu'elle commencerait à utiliser immédiatement, notamment un robot de sécurité autonome K5, le DigiDog robotique de Boston Dynamics et les pistolets de repérage GPS StarChase. D'autres technologies récemment annoncées comprennent également une technologie de numérisation des empreintes digitales qui permettra aux agents de la police de New York de numériser les empreintes digitales directement à partir de leur téléphone portable et une nouvelle technologie de « réalité augmentée » disponible sur les téléphones de certains agents de la police de New York qui leur permettra de « mieux visualiser les données [contenues dans le système de connaissance du domaine] », un vaste réseau urbain de capteurs, de bases de données, d'appareils, de logiciels et d'infrastructures que la police utilise pour ses enquêtes.

Selon la Legal Aid Society, ces technologies n'ont fait l'objet d'aucune nouvelle politique en matière d'impact et d'utilisation, et le délai obligatoire de 45 jours accordé au public pour formuler des avis n'a pas été respecté. Dans le cas précis du DigiDog, les New-Yorkais ont déjà rejeté cette technologie. « La police de New York l'a achetée et rendue en 2021 après l'avoir utilisée pour cibler et terrifier des personnes dans des logements sociaux. Le public ne veut clairement pas de ce robot dystopique », déclare la Legal Aid Society. La police de New York tente de contourner les étapes requises par la loi afin de l'ajouter à son arsenal de surveillance sans l'avis de la communauté. « La police de New York a introduit cinq nouvelles technologies en 2023, en violation flagrante de la loi POST », a déclaré Shane Ferro, avocat de l'unité de criminalistique numérique de la Legal Aid Society.

Un outil de surveillance supplémentaire dans une ville déjà sous haute surveillance

Adams et les responsables de la police ont présenté les robots comme des équipements permettant de sauver des vies et pouvant être utilisé dans des situations - telles que les négociations d'otages - où l'envoi d'une personne n'est pas sûr. Les experts en surveillance et en maintien de l'ordre craignent que les nouveaux robots, et en particulier le K5, n'empiètent davantage sur la vie privée dans une ville déjà très surveillée, et que l'administration Adams et la police de New York n'aient pas suffisamment divulgué la manière dont elles utiliseront les capacités avancées des robots.

« Ce n'est pas seulement irrespectueux, c'est dangereux », a déclaré Donna Lieberman, directrice exécutive de l'Union des libertés civiles de New York, lors d'une interview. « Et cela risque de nous amener à utiliser la surveillance, la collecte de données et l'intervention d'une manière dont les New-Yorkais n'avaient aucune idée qu'ils s'engageaient ou qu'on les engageait à le faire. »

Il a touché ses premiers salaires en cryptomonnaie et prévoit de lancer une application de guichet unique pour les services de la ville - s'est étendu au maintien de l'ordre dès le début de son mandat de maire. En avril dernier, il a déclaré avoir demandé à son adjoint au maire chargé de la sécurité publique, Philip Banks III, de se rendre à des conférences pour rechercher de nouvelles technologies de maintien de l'ordre.

Adams a laissé entendre que les critiques à l'encontre des robots découlaient d'une peur générale de la technologie. S'exprimant lors d'un récent événement présentant le robot Spot et des drones de surveillance, il a affirmé que le gouvernement de la ville n'avait pas réussi jusqu'à présent à adopter la technologie parce qu'il était « préoccupé par le petit nombre de personnes qui ont peur du changement ».

La ville est déjà truffée de caméras de surveillance, dont plus de 10 000 dans le métro, où le K5 pourrait passer une partie de son temps à patrouiller. Selon Peter Asaro, professeur d'études technologiques à la New School, le robot ajoute toutefois un nouveau degré d'intrusion à la surveillance de routine à laquelle les New-Yorkais sont peut-être habitués aujourd'hui.

Sources : Spectrum, Legal Aid Society

Et vous ?

À votre avis, quels sont les problèmes potentiels liés à l’utilisation des robots ?

Quels sont selon vous, les risques de sécurité associés à l’utilisation des robots ? Comment ils peuvent-ils affecter la vie privée des gens ?

Quelles seraient les préoccupations éthiques liées à l’utilisation des robots ?

Voyez-vous comment les robots peuvent être utilisés de manière abusive ou nuisible ?

Voir aussi :

L'IA a-t-elle mal tourné ? Un robot d'échecs à Moscou a cassé le doigt de son adversaire humain, un garçon de sept ans. Ses parents envisagent de porter plainte

Le chien robot Spot parvient à parler en langage naturel avec des humains grâce à ChatGPT, ce qui lui confère plusieurs avantages comme l'accès à des informations auparavant difficiles à obtenir

L'armée américaine envisagerait d'équiper des chiens-robots semi-autonomes d'une nouvelle génération d'armes de combat, dans le but de les déployer avec les soldats sur les théâtres d'opérations

[mith06]

190 kg!! Il doit y avoir pas mal de cuivre la dedans!!!
En France il tiendrait pas pas 1 Heure avant de se faire désosser par les propos censurés pour ne pas offenser les honnêtes ferrailleurs pirates

[thamn]

Le K5 s'est retrouvé dans des situations délicates dans d'autres villes. Un robot de sécurité chargé de « garder » les rues de San Francisco contre les sans-abri a été mis en congé administratif après avoir été retrouvé renversé, couvert de sauce barbecue et enveloppé dans une bâche.

[Patrick Ruiz]

La police d’Atlanta déploie le robot autonome Knightscope K5 pour lutter contre la criminalité
Mais cette solution de maintien de l’ordre divise les observateurs sur divers aspects dont celui de la vie privée

La police utilise de plus en plus de robots pour les aider à mener à bien certaines de ses opérations. Après la ville de New York, c’est au tour des forces de maintien de l’ordre d’Atlanta de mettre à contribution le robot autonome Knightscope K5 encore connu sous le nom Robocop. Ce dernier est équipé d’une caméra géante en guise de visage et est capable de fournir des informations en temps réel sur la meilleure façon de déployer des agents humains en cas d’incident. Il est également équipé de plusieurs caméras, d’un bouton permettant de mettre le public en contact avec une personne réelle et d’un haut-parleur pour une communication audio en direct. Il est néanmoins sujet à controverse sur divers aspects dont celui de la vie privée.

Du point de vue du développeur informatique, les robots policiers sont des kits matériels programmables via des moyens fournis par les constructeurs

La police néerlandaise par exemple met à contribution des chiens-robots autonomes lors des descentes dans les laboratoires de drogue afin de protéger les agents contre les risques criminels, les produits chimiques dangereux et les explosions. Du point de vue du développeur informatique, il s’agit d’un kit matériel - à la présentation visuelle similaire à celle d’un chien sur pattes – programmable via une API fournie par le constructeur Boston Dynamics. C’est au travers de cette dernière, ainsi que d’une série de modules d’extensions, que le développeur peut aller à l’essentiel de l’application à mettre en œuvre.

L’application est organisée en trois ensembles de processus Python communiquant avec le robot Spot. Le diagramme des processus est illustré ci-dessous. Le processus principal communique avec le robot Spot via GRPC et reçoit constamment des images. Ces images sont poussées dans la RAW_IMAGES_QUEUE et lues par les processus Tensorflow. Ces processus détectent des objets dans les images et poussent l'emplacement dans PROCESSED_BOXES_QUEUE. Le thread principal détermine alors l'emplacement de l'objet et envoie des commandes au robot pour qu'il se dirige vers l'objet.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
649
650
651
652
653
654
655
656
657
658
659
660
661
662
663
664
665
666
667
668
669
670
671
672
673
674
675
676
677
678
679
680
681
682
683
684
685
686
687
688
689
690
691
692
693
694
695
696
697
698
699
700
701
702
703
704
705
706
707
708
709
710
711
712
713
714
715
716
717
718
719
720
721
722
723
724
725
726
727
728
729
730
731
732
733
734
735
736
737
738
739
740
741
742
743
744
745
746
747
748
749
750
751
752
753
754
755
756
757
758
759
760
761
762
763
764
765
766
767
768
769
770
771
772
773
774
775
776
777
778
779
780
781
782
783
784
785
786
787
788
789
790
791
792
793
794
795
796
797
798
799
800
801
802
803
804
805
806
807
808
809
810
811
812
813
814
815
816
817
818
819
820
821
822
823
824
825
826
827
828
829
830
831
832
833
834
835
836
837
838
839
# Copyright (c) 2023 Boston Dynamics, Inc.  All rights reserved.
#
# Downloading, reproducing, distributing or otherwise using the SDK Software
# is subject to the terms and conditions of the Boston Dynamics Software
# Development Kit License (20191101-BDSDK-SL).
 
"""Tutorial to show how to use the Boston Dynamics API to detect and follow an object"""
import argparse
import io
import json
import math
import os
import signal
import sys
import time
from multiprocessing import Barrier, Process, Queue, Value
from queue import Empty, Full
from threading import BrokenBarrierError, Thread
 
import cv2
import numpy as np
from PIL import Image
from scipy import ndimage
from tensorflow_object_detection import DetectorAPI
 
import bosdyn.client
import bosdyn.client.util
from bosdyn import geometry
from bosdyn.api import geometry_pb2 as geo
from bosdyn.api import image_pb2, trajectory_pb2
from bosdyn.api.image_pb2 import ImageSource
from bosdyn.api.spot import robot_command_pb2 as spot_command_pb2
from bosdyn.client.async_tasks import AsyncPeriodicQuery, AsyncTasks
from bosdyn.client.frame_helpers import (GROUND_PLANE_FRAME_NAME, VISION_FRAME_NAME, get_a_tform_b,
                                         get_vision_tform_body)
from bosdyn.client.image import ImageClient
from bosdyn.client.lease import LeaseClient, LeaseKeepAlive
from bosdyn.client.math_helpers import Quat, SE3Pose
from bosdyn.client.robot_command import (CommandFailedError, CommandTimedOutError,
                                         RobotCommandBuilder, RobotCommandClient, blocking_stand)
from bosdyn.client.robot_state import RobotStateClient
 
LOGGER = bosdyn.client.util.get_logger()
 
SHUTDOWN_FLAG = Value('i', 0)
 
# Don't let the queues get too backed up
QUEUE_MAXSIZE = 10
 
# This is a multiprocessing.Queue for communication between the main process and the
# Tensorflow processes.
# Entries in this queue are in the format:
 
# {
#     'source': Name of the camera,
#     'world_tform_cam': transform from VO to camera,
#     'world_tform_gpe':  transform from VO to ground plane,
#     'raw_image_time': Time when the image was collected,
#     'cv_image': The decoded image,
#     'visual_dims': (cols, rows),
#     'depth_image': depth image proto,
#     'system_cap_time': Time when the image was received by the main process,
#     'image_queued_time': Time when the image was done preprocessing and queued
# }
RAW_IMAGES_QUEUE = Queue(QUEUE_MAXSIZE)
 
# This is a multiprocessing.Queue for communication between the Tensorflow processes and
# the bbox print process. This is meant for running in a containerized environment with no access
# to an X display
# Entries in this queue have the following fields in addition to those in :
# {
#   'processed_image_start_time':  Time when the image was received by the TF process,
#   'processed_image_end_time':  Time when the image was processing for bounding boxes
#   'boxes': list of detected bounding boxes for the processed image
#   'classes': classes of objects,
#   'scores': confidence scores,
# }
PROCESSED_BOXES_QUEUE = Queue(QUEUE_MAXSIZE)
 
# Barrier for waiting on Tensorflow processes to start, initialized in main()
TENSORFLOW_PROCESS_BARRIER = None
 
COCO_CLASS_DICT = {
    1: 'person',
    2: 'bicycle',
    3: 'car',
    4: 'motorcycle',
    5: 'airplane',
    6: 'bus',
    7: 'train',
    8: 'truck',
    9: 'boat',
    10: 'trafficlight',
    11: 'firehydrant',
    13: 'stopsign',
    14: 'parkingmeter',
    15: 'bench',
    16: 'bird',
    17: 'cat',
    18: 'dog',
    19: 'horse',
    20: 'sheep',
    21: 'cow',
    22: 'elephant',
    23: 'bear',
    24: 'zebra',
    25: 'giraffe',
    27: 'backpack',
    28: 'umbrella',
    31: 'handbag',
    32: 'tie',
    33: 'suitcase',
    34: 'frisbee',
    35: 'skis',
    36: 'snowboard',
    37: 'sportsball',
    38: 'kite',
    39: 'baseballbat',
    40: 'baseballglove',
    41: 'skateboard',
    42: 'surfboard',
    43: 'tennisracket',
    44: 'bottle',
    46: 'wineglass',
    47: 'cup',
    48: 'fork',
    49: 'knife',
    50: 'spoon',
    51: 'bowl',
    52: 'banana',
    53: 'apple',
    54: 'sandwich',
    55: 'orange',
    56: 'broccoli',
    57: 'carrot',
    58: 'hotdog',
    59: 'pizza',
    60: 'donut',
    61: 'cake',
    62: 'chair',
    63: 'couch',
    64: 'pottedplant',
    65: 'bed',
    67: 'diningtable',
    70: 'toilet',
    72: 'tv',
    73: 'laptop',
    74: 'mouse',
    75: 'remote',
    76: 'keyboard',
    77: 'cellphone',
    78: 'microwave',
    79: 'oven',
    80: 'toaster',
    81: 'sink',
    82: 'refrigerator',
    84: 'book',
    85: 'clock',
    86: 'vase',
    87: 'scissors',
    88: 'teddybear',
    89: 'hairdrier',
    90: 'toothbrush'
}
 
# Mapping from visual to depth data
VISUAL_SOURCE_TO_DEPTH_MAP_SOURCE = {
    'frontleft_fisheye_image': 'frontleft_depth_in_visual_frame',
    'frontright_fisheye_image': 'frontright_depth_in_visual_frame'
}
ROTATION_ANGLES = {
    'back_fisheye_image': 0,
    'frontleft_fisheye_image': -78,
    'frontright_fisheye_image': -102,
    'left_fisheye_image': 0,
    'right_fisheye_image': 180
}
 
 
def _update_thread(async_task):
    while True:
        async_task.update()
        time.sleep(0.01)
 
 
class AsyncImage(AsyncPeriodicQuery):
    """Grab image."""
 
    def __init__(self, image_client, image_sources):
        # Period is set to be about 15 FPS
        super(AsyncImage, self).__init__('images', image_client, LOGGER, period_sec=0.067)
        self.image_sources = image_sources
 
    def _start_query(self):
        return self._client.get_image_from_sources_async(self.image_sources)
 
 
class AsyncRobotState(AsyncPeriodicQuery):
    """Grab robot state."""
 
    def __init__(self, robot_state_client):
        # period is set to be about the same rate as detections on the CORE AI
        super(AsyncRobotState, self).__init__('robot_state', robot_state_client, LOGGER,
                                              period_sec=0.02)
 
    def _start_query(self):
        return self._client.get_robot_state_async()
 
 
def get_source_list(image_client):
    """Gets a list of image sources and filters based on config dictionary
 
    Args:
        image_client: Instantiated image client
    """
 
    # We are using only the visual images with their corresponding depth sensors
    sources = image_client.list_image_sources()
    source_list = []
    for source in sources:
        if source.image_type == ImageSource.IMAGE_TYPE_VISUAL:
            # only append if sensor has corresponding depth sensor
            if source.name in VISUAL_SOURCE_TO_DEPTH_MAP_SOURCE:
                source_list.append(source.name)
                source_list.append(VISUAL_SOURCE_TO_DEPTH_MAP_SOURCE[source.name])
    return source_list
 
 
def capture_images(image_task, sleep_between_capture):
    """ Captures images and places them on the queue
 
    Args:
        image_task (AsyncImage): Async task that provides the images response to use
        sleep_between_capture (float): Time to sleep between each image capture
    """
    while not SHUTDOWN_FLAG.value:
        get_im_resp = image_task.proto
        start_time = time.time()
        if not get_im_resp:
            continue
        depth_responses = {
            img.source.name: img
            for img in get_im_resp
            if img.source.image_type == ImageSource.IMAGE_TYPE_DEPTH
        }
        entry = {}
        for im_resp in get_im_resp:
            if im_resp.source.image_type == ImageSource.IMAGE_TYPE_VISUAL:
                source = im_resp.source.name
                depth_source = VISUAL_SOURCE_TO_DEPTH_MAP_SOURCE[source]
                depth_image = depth_responses[depth_source]
 
                acquisition_time = im_resp.shot.acquisition_time
                image_time = acquisition_time.seconds + acquisition_time.nanos * 1e-9
 
                try:
                    image = Image.open(io.BytesIO(im_resp.shot.image.data))
                    source = im_resp.source.name
 
                    image = ndimage.rotate(image, ROTATION_ANGLES[source])
                    if im_resp.shot.image.pixel_format == image_pb2.Image.PIXEL_FORMAT_GREYSCALE_U8:
                        image = cv2.cvtColor(image, cv2.COLOR_GRAY2RGB)  # Converted to RGB for TF
                    tform_snapshot = im_resp.shot.transforms_snapshot
                    frame_name = im_resp.shot.frame_name_image_sensor
                    world_tform_cam = get_a_tform_b(tform_snapshot, VISION_FRAME_NAME, frame_name)
                    world_tform_gpe = get_a_tform_b(tform_snapshot, VISION_FRAME_NAME,
                                                    GROUND_PLANE_FRAME_NAME)
                    entry[source] = {
                        'source': source,
                        'world_tform_cam': world_tform_cam,
                        'world_tform_gpe': world_tform_gpe,
                        'raw_image_time': image_time,
                        'cv_image': image,
                        'visual_dims': (im_resp.shot.image.cols, im_resp.shot.image.rows),
                        'depth_image': depth_image,
                        'system_cap_time': start_time,
                        'image_queued_time': time.time()
                    }
                except Exception as exc:  # pylint: disable=broad-except
                    print(f'Exception occurred during image capture {exc}')
        try:
            RAW_IMAGES_QUEUE.put_nowait(entry)
        except Full as exc:
            print(f'RAW_IMAGES_QUEUE is full: {exc}')
        time.sleep(sleep_between_capture)
 
 
def start_tensorflow_processes(num_processes, model_path, detection_class, detection_threshold,
                               max_processing_delay):
    """Starts Tensorflow processes in parallel.
 
    It does not keep track of the processes once they are started because they run indefinitely
    and are never joined back to the main process.
 
    Args:
        num_processes (int): Number of Tensorflow processes to start in parallel.
        model_path (str): Filepath to the Tensorflow model to use.
        detection_class (int): Detection class to detect
        detection_threshold (float): Detection threshold to apply to all Tensorflow detections.
        max_processing_delay (float): Allowed delay before processing an incoming image.
    """
    processes = []
    for _ in range(num_processes):
        process = Process(
            target=process_images, args=(
                model_path,
                detection_class,
                detection_threshold,
                max_processing_delay,
            ), daemon=True)
        process.start()
        processes.append(process)
    return processes
 
 
def process_images(model_path, detection_class, detection_threshold, max_processing_delay):
    """Starts Tensorflow and detects objects in the incoming images.
 
    Args:
        model_path (str): Filepath to the Tensorflow model to use.
        detection_class (int): Detection class to detect
        detection_threshold (float): Detection threshold to apply to all Tensorflow detections.
        max_processing_delay (float): Allowed delay before processing an incoming image.
    """
 
    odapi = DetectorAPI(path_to_ckpt=model_path)
    num_processed_skips = 0
 
    if TENSORFLOW_PROCESS_BARRIER is None:
        return
 
    try:
        TENSORFLOW_PROCESS_BARRIER.wait()
    except BrokenBarrierError as exc:
        print(f'Error waiting for Tensorflow processes to initialize: {exc}')
        return False
 
    while not SHUTDOWN_FLAG.value:
        try:
            entry = RAW_IMAGES_QUEUE.get_nowait()
        except Empty:
            time.sleep(0.1)
            continue
        for _, capture in entry.items():
            start_time = time.time()
            processing_delay = time.time() - capture['raw_image_time']
            if processing_delay > max_processing_delay:
                num_processed_skips += 1
                print(f'skipped image because it took {processing_delay}')
                continue  # Skip image due to delay
 
            image = capture['cv_image']
            boxes, scores, classes, _ = odapi.process_frame(image)
            confident_boxes = []
            confident_object_classes = []
            confident_scores = []
            if len(boxes) == 0:
                print('no detections founds')
                continue
            for box, score, box_class in sorted(zip(boxes, scores, classes), key=lambda x: x[1],
                                                reverse=True):
                if score > detection_threshold and box_class == detection_class:
                    confident_boxes.append(box)
                    confident_object_classes.append(COCO_CLASS_DICT[box_class])
                    confident_scores.append(score)
                    image = cv2.rectangle(image, (box[1], box[0]), (box[3], box[2]), (255, 0, 0), 2)
 
            capture['processed_image_start_time'] = start_time
            capture['processed_image_end_time'] = time.time()
            capture['boxes'] = confident_boxes
            capture['classes'] = confident_object_classes
            capture['scores'] = confident_scores
            capture['cv_image'] = image
        try:
            PROCESSED_BOXES_QUEUE.put_nowait(entry)
        except Full as exc:
            print(f'PROCESSED_BOXES_QUEUE is full: {exc}')
    print('tf process ending')
    return True
 
 
def get_go_to(world_tform_object, robot_state, mobility_params, dist_margin=0.5):
    """Gets trajectory command to a goal location
 
    Args:
        world_tform_object (SE3Pose): Transform from vision frame to target object
        robot_state (RobotState): Current robot state
        mobility_params (MobilityParams): Mobility parameters
        dist_margin (float): Distance margin to target
    """
    vo_tform_robot = get_vision_tform_body(robot_state.kinematic_state.transforms_snapshot)
    print(f'robot pos: {vo_tform_robot}')
    delta_ewrt_vo = np.array(
        [world_tform_object.x - vo_tform_robot.x, world_tform_object.y - vo_tform_robot.y, 0])
    norm = np.linalg.norm(delta_ewrt_vo)
    if norm == 0:
        return None
    delta_ewrt_vo_norm = delta_ewrt_vo / norm
    heading = _get_heading(delta_ewrt_vo_norm)
    vo_tform_goal = np.array([
        world_tform_object.x - delta_ewrt_vo_norm[0] * dist_margin,
        world_tform_object.y - delta_ewrt_vo_norm[1] * dist_margin
    ])
    se2_pose = geo.SE2Pose(position=geo.Vec2(x=vo_tform_goal[0], y=vo_tform_goal[1]), angle=heading)
    tag_cmd = RobotCommandBuilder.synchro_se2_trajectory_command(se2_pose,
                                                                 frame_name=VISION_FRAME_NAME,
                                                                 params=mobility_params)
    return tag_cmd
 
 
def _get_heading(xhat):
    zhat = [0.0, 0.0, 1.0]
    yhat = np.cross(zhat, xhat)
    mat = np.array([xhat, yhat, zhat]).transpose()
    return Quat.from_matrix(mat).to_yaw()
 
 
def set_default_body_control():
    """Set default body control params to current body position"""
    footprint_R_body = geometry.EulerZXY()
    position = geo.Vec3(x=0.0, y=0.0, z=0.0)
    rotation = footprint_R_body.to_quaternion()
    pose = geo.SE3Pose(position=position, rotation=rotation)
    point = trajectory_pb2.SE3TrajectoryPoint(pose=pose)
    traj = trajectory_pb2.SE3Trajectory(points=[point])
    return spot_command_pb2.BodyControlParams(base_offset_rt_footprint=traj)
 
 
def get_mobility_params():
    """Gets mobility parameters for following"""
    vel_desired = .75
    speed_limit = geo.SE2VelocityLimit(
        max_vel=geo.SE2Velocity(linear=geo.Vec2(x=vel_desired, y=vel_desired), angular=.25))
    body_control = set_default_body_control()
    mobility_params = spot_command_pb2.MobilityParams(vel_limit=speed_limit, obstacle_params=None,
                                                      body_control=body_control,
                                                      locomotion_hint=spot_command_pb2.HINT_TROT)
    return mobility_params
 
 
def depth_to_xyz(depth, pixel_x, pixel_y, focal_length, principal_point):
    """Calculate the transform to point in image using camera intrinsics and depth"""
    x = depth * (pixel_x - principal_point.x) / focal_length.x
    y = depth * (pixel_y - principal_point.y) / focal_length.y
    z = depth
    return x, y, z
 
 
def remove_ground_from_depth_image(raw_depth_image, focal_length, principal_point, world_tform_cam,
                                   world_tform_gpe, ground_tolerance=0.04):
    """ Simple ground plane removal algorithm. Uses ground height
        and does simple z distance filtering.
 
    Args:
        raw_depth_image (np.array): Depth image
        focal_length (Vec2): Focal length of camera that produced the depth image
        principal_point (Vec2): Principal point of camera that produced the depth image
        world_tform_cam (SE3Pose): Transform from VO to camera frame
        world_tform_gpe (SE3Pose): Transform from VO to GPE frame
        ground_tolerance (float): Distance in meters to add to the ground plane
    """
    new_depth_image = raw_depth_image
 
    # same functions as depth_to_xyz, but converted to np functions
    indices = np.indices(raw_depth_image.shape)
    xs = raw_depth_image * (indices[1] - principal_point.x) / focal_length.x
    ys = raw_depth_image * (indices[0] - principal_point.y) / focal_length.y
    zs = raw_depth_image
 
    # create xyz point cloud
    camera_tform_points = np.stack([xs, ys, zs], axis=2)
    # points in VO frame
    world_tform_points = world_tform_cam.transform_cloud(camera_tform_points)
    # array of booleans where True means the point was below the ground plane plus tolerance
    world_tform_points_mask = (world_tform_gpe.z - world_tform_points[:, :, 2]) < ground_tolerance
    # remove data below ground plane
    new_depth_image[world_tform_points_mask] = 0
    return new_depth_image
 
 
def get_distance_to_closest_object_depth(x_min, x_max, y_min, y_max, depth_scale, raw_depth_image,
                                         histogram_bin_size=0.50, minimum_number_of_points=10,
                                         max_distance=8.0):
    """Make a histogram of distances to points in the cloud and take the closest distance with
    enough points.
 
    Args:
        x_min (int): minimum x coordinate (column) of object to find
        x_max (int): maximum x coordinate (column) of object to find
        y_min (int): minimum y coordinate (row) of object to find
        y_max (int): maximum y coordinate (row) of object to find
        depth_scale (float): depth scale of the image to convert from sensor value to meters
        raw_depth_image (np.array): matrix of depth pixels
        histogram_bin_size (float): size of each bin of distances
        minimum_number_of_points (int): minimum number of points before returning depth
        max_distance (float): maximum distance to object in meters
    """
    num_bins = math.ceil(max_distance / histogram_bin_size)
 
    # get a sub-rectangle of the bounding box out of the whole image, then flatten
    obj_depths = (raw_depth_image[y_min:y_max, x_min:x_max]).flatten()
    obj_depths = obj_depths / depth_scale
    obj_depths = obj_depths[obj_depths != 0]
 
    hist, hist_edges = np.histogram(obj_depths, bins=num_bins, range=(0, max_distance))
 
    edges_zipped = zip(hist_edges[:-1], hist_edges[1:])
    # Iterate over the histogram and return the first distance with enough points.
    for entry, edges in zip(hist, edges_zipped):
        if entry > minimum_number_of_points:
            filtered_depths = obj_depths[(obj_depths > edges[0]) & (obj_depths < edges[1])]
            if len(filtered_depths) == 0:
                continue
            return np.mean(filtered_depths)
 
    return max_distance
 
 
def rotate_about_origin_degrees(origin, point, angle):
    """
    Rotate a point counterclockwise by a given angle around a given origin.
 
    Args:
        origin (tuple): Origin to rotate the point around
        point (tuple): Point to rotate
        angle (float): Angle in degrees
    """
    return rotate_about_origin(origin, point, math.radians(angle))
 
 
def rotate_about_origin(origin, point, angle):
    """
    Rotate a point counterclockwise by a given angle around a given origin.
 
    Args:
        origin (tuple): Origin to rotate the point around
        point (tuple): Point to rotate
        angle (float): Angle in radians
    """
    orig_x, orig_y = origin
    pnt_x, pnt_y = point
 
    ret_x = orig_x + math.cos(angle) * (pnt_x - orig_x) - math.sin(angle) * (pnt_y - orig_y)
    ret_y = orig_y + math.sin(angle) * (pnt_x - orig_x) + math.cos(angle) * (pnt_y - orig_y)
    return int(ret_x), int(ret_y)
 
 
def get_object_position(world_tform_cam, world_tform_gpe, visual_dims, depth_image, bounding_box,
                        rotation_angle):
    """
    Extract the bounding box, then find the mode in that region.
 
    Args:
        world_tform_cam (SE3Pose): SE3 transform from world to camera frame
        visual_dims (Tuple): (cols, rows) tuple from the visual image
        depth_image (ImageResponse): From a depth camera corresponding to the visual_image
        bounding_box (list): Bounding box from tensorflow
        rotation_angle (float): Angle (in degrees) to rotate depth image to match cam image rotation
    """
 
    # Make sure there are two images.
    if visual_dims is None or depth_image is None:
        # Fail.
        return
 
    # Rotate bounding box back to original frame
    points = [(bounding_box[1], bounding_box[0]), (bounding_box[3], bounding_box[0]),
              (bounding_box[3], bounding_box[2]), (bounding_box[1], bounding_box[2])]
 
    origin = (visual_dims[0] / 2, visual_dims[1] / 2)
 
    points_rot = [rotate_about_origin_degrees(origin, point, rotation_angle) for point in points]
 
    # Get the bounding box corners.
    y_min = max(0, min([point[1] for point in points_rot]))
    x_min = max(0, min([point[0] for point in points_rot]))
    y_max = min(visual_dims[1], max([point[1] for point in points_rot]))
    x_max = min(visual_dims[0], max([point[0] for point in points_rot]))
 
    # Check that the bounding box is valid.
    if (x_min < 0 or y_min < 0 or x_max > visual_dims[0] or y_max > visual_dims[1]):
        print(f'Bounding box is invalid: ({x_min}, {y_min}) | ({x_max}, {y_max})')
        print(f'Bounds: ({visual_dims[0]}, {visual_dims[1]})')
        return
 
    # Unpack the images.
    try:
        if depth_image.shot.image.pixel_format == image_pb2.Image.PIXEL_FORMAT_DEPTH_U16:
            dtype = np.uint16
        else:
            dtype = np.uint8
        img = np.fromstring(depth_image.shot.image.data, dtype=dtype)
        if depth_image.shot.image.format == image_pb2.Image.FORMAT_RAW:
            img = img.reshape(depth_image.shot.image.rows, depth_image.shot.image.cols)
        else:
            img = cv2.imdecode(img, -1)
        depth_image_pixels = img
        depth_image_pixels = remove_ground_from_depth_image(
            depth_image_pixels, depth_image.source.pinhole.intrinsics.focal_length,
            depth_image.source.pinhole.intrinsics.principal_point, world_tform_cam, world_tform_gpe)
        # Get the depth data from the region in the bounding box.
        max_distance = 8.0
        depth = get_distance_to_closest_object_depth(x_min, x_max, y_min, y_max,
                                                     depth_image.source.depth_scale,
                                                     depth_image_pixels, max_distance=max_distance)
 
        if depth >= max_distance:
            # Not enough depth data.
            print('Not enough depth data.')
            return False
        else:
            print(f'distance to object: {depth}')
 
        center_x = round((x_max - x_min) / 2.0 + x_min)
        center_y = round((y_max - y_min) / 2.0 + y_min)
 
        tform_x, tform_y, tform_z = depth_to_xyz(
            depth, center_x, center_y, depth_image.source.pinhole.intrinsics.focal_length,
            depth_image.source.pinhole.intrinsics.principal_point)
        camera_tform_obj = SE3Pose(tform_x, tform_y, tform_z, Quat())
 
        return world_tform_cam * camera_tform_obj
    except Exception as exc:  # pylint: disable=broad-except
        print(f'Error getting object position: {exc}')
        return
 
 
def _check_model_path(model_path):
    if model_path is None or \
    not os.path.exists(model_path) or \
    not os.path.isfile(model_path):
        print(f'ERROR, could not find model file {model_path}')
        return False
    return True
 
 
def _check_and_load_json_classes(config_path):
    if os.path.isfile(config_path):
        with open(config_path) as json_classes:
            global COCO_CLASS_DICT  # pylint: disable=global-statement
            COCO_CLASS_DICT = json.load(json_classes)
 
 
def _find_highest_conf_source(processed_boxes_entry):
    highest_conf_source = None
    max_score = 0
    for key, capture in processed_boxes_entry.items():
        if 'scores' in capture.keys():
            if len(capture['scores']) > 0 and capture['scores'][0] > max_score:
                highest_conf_source = key
                max_score = capture['scores'][0]
    return highest_conf_source
 
 
def signal_handler(signal, frame):
    print('Interrupt caught, shutting down')
    SHUTDOWN_FLAG.value = 1
 
 
def main():
    """Command line interface."""
 
    parser = argparse.ArgumentParser()
    parser.add_argument(
        '--model-path', default='/model.pb', help=
        ('Local file path to the Tensorflow model, example pre-trained models can be found at '
         'https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/tf1_detection_zoo.md'
        ))
    parser.add_argument('--classes', default='/classes.json', type=str,
                        help='File containing json mapping of object class IDs to class names')
    parser.add_argument('--number-tensorflow-processes', default=1, type=int,
                        help='Number of Tensorflow processes to run in parallel')
    parser.add_argument('--detection-threshold', default=0.7, type=float,
                        help='Detection threshold to use for Tensorflow detections')
    parser.add_argument(
        '--sleep-between-capture', default=0.2, type=float,
        help=('Seconds to sleep between each image capture loop iteration, which captures '
              'an image from all cameras'))
    parser.add_argument(
        '--detection-class', default=1, type=int,
        help=('Detection classes to use in the Tensorflow model.'
              'Default is to use 1, which is a person in the Coco dataset'))
    parser.add_argument(
        '--max-processing-delay', default=7.0, type=float,
        help=('Maximum allowed delay for processing an image. '
              'Any image older than this value will be skipped'))
    parser.add_argument('--test-mode', action='store_true',
                        help='Run application in test mode, don\'t execute commands')
 
    bosdyn.client.util.add_base_arguments(parser)
    bosdyn.client.util.add_payload_credentials_arguments(parser)
    options = parser.parse_args()
    signal.signal(signal.SIGINT, signal_handler)
    try:
        # Make sure the model path is a valid file
        if not _check_model_path(options.model_path):
            return False
 
        # Check for classes json file, otherwise use the COCO class dictionary
        _check_and_load_json_classes(options.classes)
 
        global TENSORFLOW_PROCESS_BARRIER  # pylint: disable=global-statement
        TENSORFLOW_PROCESS_BARRIER = Barrier(options.number_tensorflow_processes + 1)
        # Start Tensorflow processes
        tf_processes = start_tensorflow_processes(options.number_tensorflow_processes,
                                                  options.model_path, options.detection_class,
                                                  options.detection_threshold,
                                                  options.max_processing_delay)
 
        # sleep to give the Tensorflow processes time to initialize
        try:
            TENSORFLOW_PROCESS_BARRIER.wait()
        except BrokenBarrierError as exc:
            print(f'Error waiting for Tensorflow processes to initialize: {exc}')
            return False
        # Start the API related things
 
        # Create robot object with a world object client
        sdk = bosdyn.client.create_standard_sdk('SpotFollowClient')
        robot = sdk.create_robot(options.hostname)
 
        if options.payload_credentials_file:
            robot.authenticate_from_payload_credentials(
                *bosdyn.client.util.get_guid_and_secret(options))
        else:
            bosdyn.client.util.authenticate(robot)
 
        # Time sync is necessary so that time-based filter requests can be converted
        robot.time_sync.wait_for_sync()
 
        # Verify the robot is not estopped and that an external application has registered and holds
        # an estop endpoint.
        assert not robot.is_estopped(), 'Robot is estopped. Please use an external E-Stop client,' \
                                        ' such as the estop SDK example, to configure E-Stop.'
 
        # Create the sdk clients
        robot_state_client = robot.ensure_client(RobotStateClient.default_service_name)
        robot_command_client = robot.ensure_client(RobotCommandClient.default_service_name)
        lease_client = robot.ensure_client(LeaseClient.default_service_name)
        image_client = robot.ensure_client(ImageClient.default_service_name)
        source_list = get_source_list(image_client)
        image_task = AsyncImage(image_client, source_list)
        robot_state_task = AsyncRobotState(robot_state_client)
        task_list = [image_task, robot_state_task]
        _async_tasks = AsyncTasks(task_list)
        print('Detect and follow client connected.')
 
        lease = lease_client.take()
        lease_keep = LeaseKeepAlive(lease_client)
        # Power on the robot and stand it up
        resp = robot.power_on()
        try:
            blocking_stand(robot_command_client)
        except CommandFailedError as exc:
            print(f'Error ({exc}) occurred while trying to stand. Check robot surroundings.')
            return False
        except CommandTimedOutError as exc:
            print(f'Stand command timed out: {exc}')
            return False
        print('Robot powered on and standing.')
        params_set = get_mobility_params()
 
        # This thread starts the async tasks for image and robot state retrieval
        update_thread = Thread(target=_update_thread, args=[_async_tasks])
        update_thread.daemon = True
        update_thread.start()
        # Wait for the first responses.
        while any(task.proto is None for task in task_list):
            time.sleep(0.1)
 
        # Start image capture process
        image_capture_thread = Process(target=capture_images,
                                       args=(image_task, options.sleep_between_capture),
                                       daemon=True)
        image_capture_thread.start()
        while not SHUTDOWN_FLAG.value:
            # This comes from the tensorflow processes and limits the rate of this loop
            try:
                entry = PROCESSED_BOXES_QUEUE.get_nowait()
            except Empty:
                continue
            # find the highest confidence bounding box
            highest_conf_source = _find_highest_conf_source(entry)
            if highest_conf_source is None:
                # no boxes or scores found
                continue
            capture_to_use = entry[highest_conf_source]
            raw_time = capture_to_use['raw_image_time']
            time_gap = time.time() - raw_time
            if time_gap > options.max_processing_delay:
                continue  # Skip image due to delay
 
            # Find the transform to the highest confidence object using the depth sensor
            get_object_position_start = time.time()
            robot_state = robot_state_task.proto
            world_tform_gpe = get_a_tform_b(robot_state.kinematic_state.transforms_snapshot,
                                            VISION_FRAME_NAME, GROUND_PLANE_FRAME_NAME)
            world_tform_object = get_object_position(
                capture_to_use['world_tform_cam'], world_tform_gpe, capture_to_use['visual_dims'],
                capture_to_use['depth_image'], capture_to_use['boxes'][0],
                ROTATION_ANGLES[capture_to_use['source']])
            get_object_position_end = time.time()
            print(f'system_cap_time: {capture_to_use["system_cap_time"]}, '
                  f'image_queued_time: {capture_to_use["image_queued_time"]}, '
                  f'processed_image_start_time: {capture_to_use["processed_image_start_time"]}, '
                  f'processed_image_end_time: {capture_to_use["processed_image_end_time"]}, '
                  f'get_object_position_start_time: {get_object_position_start}, '
                  f'get_object_position_end_time: {get_object_position_end}, ')
 
            # get_object_position can fail if there is insufficient depth sensor information
            if not world_tform_object:
                continue
 
            scores = capture_to_use['scores']
            print(f'Position of object with confidence {scores[0]}: {world_tform_object}')
            print(f'Process latency: {time.time() - capture_to_use["system_cap_time"]}')
            tag_cmd = get_go_to(world_tform_object, robot_state, params_set)
            end_time = 15.0
            if tag_cmd is not None:
                if not options.test_mode:
                    print('executing command')
                    robot_command_client.robot_command(lease=None, command=tag_cmd,
                                                       end_time_secs=time.time() + end_time)
                else:
                    print('Running in test mode, skipping command.')
 
        # Shutdown lease keep-alive and return lease gracefully.
        lease_keep.shutdown()
        lease_client.return_lease(lease)
        return True
    except Exception as exc:  # pylint: disable=broad-except
        LOGGER.error('Spot Tensorflow Detector threw an exception: %s', exc)
        # Shutdown lease keep-alive and return lease gracefully.
        return False 
 
 
if __name__ == '__main__':
    if not main():
        sys.exit(1)

Des observateurs amusés soulignent que le Knightscope K5 n’est qu’un jouet mobile de 160 kilogrammes bourré de caméras et sans réelle plus-value

« Il s'agit d'une caméra de sécurité qui peut se déplacer lentement, à condition que la chaussée soit parfaitement lisse et sans bordures. Pour le même prix, vous pourriez installer des centaines de caméras de sécurité statiques dans tout le quartier. Il est plus amusant pour la police d'acheter un jouet que d'augmenter le nombre de patrouilles ou d'améliorer la formation. Si j'étais adolescent et que je voyais cela dans mon quartier, j'achèterais des masques de clown à tous mes amis et nous ferions des simulations de crime élaborées devant cet engin. À Atlanta, il servira probablement d'entraînement au tir », souligne un observateur.

« Comment jeter l'argent des contribuables dans les égouts. Cette chose ne servira à rien », ajoute un autre.

« Définissez ce que vous entendez par « menace », s'il vous plaît », souligne un autre en réponse à la présentation du robot qui veut qu’il circule dans les rues à la recherche de menaces.

« La ligne de code suivante permet de détecter les menaces. Si le niveau de mélanine est élevé : alarm() », lance un autre.

📰 The stretch... Atlanta City Council member @AmirForATL describes as an otherwise "vibrant, walkable, thriving neighborhood."

Council member Farokhi believes the Knightscope K5 robot, packed with AI capabilities to detect anomalies, could be the leading edge of a new… pic.twitter.com/XYLCOR9EXP

— Atlanta City Council (@atlcouncil) August 26, 2024

Les robots policiers apparaissent plus aux yeux des défenseurs des droits de l’Homme comme une menace pour la vie privée

L'introduction de cette technologie policière suscite l'inquiétude de certains défenseurs de la réforme de la police et du droit, qui s'interrogent sur le respect de la vie privée et sur le budget, et qui craignent que les New-Yorkais ne veuillent pas vivre dans une ville patrouillée par des robots.

En juin 2023, la Legal Aid Society a demandé au département des enquêtes de la ville de New York d'enquêter sur le déploiement des technologies de surveillance, estimant qu'elles violaient la loi sur la surveillance des technologies de surveillance par la police (Police Oversight of Surveillance Technology Act). Dans un communiqué de presse, elle a déclaré que le public ne voulait surtout pas des Digidogs, une technologie qu'elle a qualifiée de « robot dystopique ».

Le 11 avril 2023, la police de New York a annoncé de nouvelles technologies de surveillance qu'elle commencerait à utiliser immédiatement, notamment un robot de sécurité autonome K5, le DigiDog robotique de Boston Dynamics et les pistolets de repérage GPS StarChase. D'autres technologies récemment annoncées comprennent également une technologie de numérisation des empreintes digitales qui permettra aux agents de la police de New York de numériser les empreintes digitales directement à partir de leur téléphone portable et une nouvelle technologie de « réalité augmentée » disponible sur les téléphones de certains agents de la police de New York qui leur permettra de « mieux visualiser les données [contenues dans le système de connaissance du domaine] », un vaste réseau urbain de capteurs, de bases de données, d'appareils, de logiciels et d'infrastructures que la police utilise pour ses enquêtes.

Selon la Legal Aid Society, ces technologies n'ont fait l'objet d'aucune nouvelle politique en matière d'impact et d'utilisation, et le délai obligatoire de 45 jours accordé au public pour formuler des avis n'a pas été respecté. Dans le cas précis du DigiDog, les New-Yorkais ont déjà rejeté cette technologie. « La police de New York l'a achetée et rendue en 2021 après l'avoir utilisée pour cibler et terrifier des personnes dans des logements sociaux. Le public ne veut clairement pas de ce robot dystopique », déclare la Legal Aid Society. La police de New York tente de contourner les étapes requises par la loi afin de l'ajouter à son arsenal de surveillance sans l'avis de la communauté. « La police de New York a introduit cinq nouvelles technologies en 2023, en violation flagrante de la loi POST », a déclaré Shane Ferro, avocat de l'unité de criminalistique numérique de la Legal Aid Society.

NYPD introduces K5 Security Robot by Knightscope - cost-effective, mobile CCTV, assists subway riders, privacy-friendly, Times Square deployment, tech integration, security dynamics, urban safety. pic.twitter.com/8cScK6g9AY

— Interesting Engineering (@IntEngineering) January 16, 2024

Et vous ?

Considérez-vous les cas d’utilisation des robots dans des applications de ce type comme parmi les plus pertinents ? Quels sont les autres cas d’utilisation pertinents des robots combinés à l’intelligence artificielle ? Quels sont ceux qui ne le sont pas de votre point de vue ?

Voir aussi :

Boston Dynamics veut vendre ses chien-robots SpotMini aux ménages et aux entreprises le succès sera-t-il au rendez-vous ?
Boston Dynamics apporte une mise à jour majeure à son robot ATLAS qui fait de lui « l'un des humanoïdes les plus avancés à l'existence »
Boston Dynamics a commencé à tester ses robots pour la livraison de colis l'entreprise cherche des applications commerciales pour ses machines
Au cours d'une conférence, Boston Dynamics a présenté un petit extrait vidéo où son robot SpotMini danse sur un morceau de musique

[Anselme45]

Vous allez rire, je l'ai croisé hier dans ma rue!

Bon, il était tiré par un employé assurant la propreté des rues et le machin était muni d'un gros tuyau!!!

Et oui, ce sont des "aspirateurs" dédiés au nettoyage des rues

Entre cette espèce d'armoire à roue et RobotCop, il y a encore du chemin à faire...


Blague à part: Ce truc frise le ridicule!!!

1. Il ne peut qu'accéder à des zones plates et sécurisées: Quelle serait sa durée de vie dans un quartier Nord de Marseille ou dans certaines cités du 93?

2. Il ne fait rien de plus et pas mieux qu'un réseau de caméra déjà utilisé au quotidien!!!


Conclusion: Comme tout les robots AI et autonome que l'on nous présente ces dernières années, ce n'est qu'un gadget "très cher" qui ne sert à rien et qui n'a aucune application rationnelle dans le monde réel!!!

[Mingolito]

On dirais un Dalek

[Aiekick]

ste blague