Maintenir la confiance et la sécurité sur Discord avec plus de 200 millions de personnes image de couverture

Maintenir la confiance et la sécurité sur Discord avec plus de 200 millions de personnes

Noubouille • Publié le 16 February 2019

traductions

Source : Blog Discord

Il y a presque quatre ans, nous avons créé Discord pour réunir les personnes autour des jeux vidéos. Jusqu'à aujourd'hui, plus de 200 millions de personnes ont utilisé Discord pour faire cela.

Bien que nos objectifs soient axés sur les gens autour des jeux, des personnes utilisent Discord également pour parler de leurs projets open source, de leurs groupes favoris, des émissions de télévision, et plus. De plus, avec toute cette croissance, des gens font de mauvaises choses sur Discord, ce que nous refusons au sein notre communauté.

Il y a deux ans, nous avons commencé à bâtir une équipe axée sur la sécurité de notre communauté sur Discord (et depuis, l'équipe de confiance et de sécurité s'est considérablement agrandie). Vous protéger, c'est s'assurer que vous ne subirez pas de préjudice dans le monde réel, et peu importe qui vous êtes, vous n'aurez pas l'impression que quelqu'un d'autre vous intimide ou vous harcèle pour vous empêcher d'utiliser Discord.

Il y a eu récemment beaucoup de discussions de la part de notre communauté sur les prises de décisions dans l'équipe de confiance et sécurité chez Discord. Retirons le rideau et jetons un coup d'œil dans les coulisses.

Qu'est-ce qui vous protège ?

Notre équipe de confiance et sécurité examine actuellement plus de 800 signalements par jour pour des violations de nos conditions d'utilisation et notre charte d'utilisation, au total, plus de 6000 signalements par semaine. Les signalements varient beaucoup : parfois l'équipe peut enquêter sur les serveurs de raids et sur les avatars NSFW ; d'autres fois, il s'agit de supprimer des contenus profondément choquants comme des vidéos gores ou de la vengeance pornographique. Nous avons également reçu des signalements où un utilisateur nous demande de bannir un autre utilisateur pour l'avoir traité de "poopyhead," alors que d'autres fois, une personne est en danger d'automutilation et un de ses amis nous contacte.

Pour compliquer encore les choses, nous avons reçu également des signalements provenant de personnes qui ont utilisé des combinaisons de fausses informations, de captures d'écran modifiées, des situations socialement modifiées, ou des signalements de masse pour tenter de faire bannir un utilisateur ou de faire supprimer un serveur. Nous n'agissons pas sans preuves claires et nous recueillons autant d'informations que possible pour prendre des décisions éclairées et fondées sur des preuves qui tiennent compte du contexte qui sous-entend tout ce qui est affiché. Nous parlerons de certaines des décisions difficiles auxquelles nous sommes confrontés plus loin dans ce blog.

Prendre les devants

Répondre aux demandes des utilisateurs est généralement notre plus grande priorité, et c'est ce que nous faisons sept jours par semaine. Mais c'est seulement une partie du travail. L'équipe de confiance et de sécurité travaille également avec notre équipe d'ingénieurs pour identifier et prendre les devants sur les préjudices potentiels avant qu'ils s'introduisent sur Discord (comme être sûr que vous n'allez pas vous faire spammer juste parce que vous avez rejoint un gros serveur).

Nous travaillons également avec les organismes locaux et internationaux sur les demandes d'application de la loi, qui peuvent impliquer des vies ou des décès. De plus, nous consacrons beaucoup de temps à l'évaluation de nos politiques au sein de l'équipe de confiance et sécurité, l'entreprise dans son ensemble, et en discutant des changements potentiels avec des organismes non gouvernementaux de confiance pour s'assurer que nos politiques sont équitables.

Cela dit, aucun système n'est parfait. Même si l'on est persuadés à 99,99% des décisions que nous prenons, cela signifie que nous allons foirer 6 demandes sur les 6000 que nous recevons chaque semaine. Pour être sûr de se rapprocher au plus proche de la perfection, la plupart des actions sont réexaminées par plus d'une personne. Nous réexaminons constamment notre travail pour corriger et apprendre de nos erreurs afin de réduire davantage ce nombre.

En fin de compte, presque tout le travail est réalisé en coulisses et la majorité des personnes ne font jamais de signalement à l'équipe de confiance et sécurité. Contrairement à de nombreuses autres parties qui composent Discord où le succès consiste à lancer une fonctionnalité et à la faire connaître par des millions de personnes, le succès de cette équipe de confiance et sécurité consiste à faire en sorte que moins de personnes rencontrent une mauvaise situation sur Discord.

Des questions que l'équipe de confiance et sécurité traite : exemples de cas

Dans de nombreuses situations, ce qui se passe est vraiment évident -- une personne a fait un raid sur un serveur en postant du contenu choquant ou gore, il affiche des informations personnelles d'une personne, soit il menace directement de faire du mal à quelqu'un dans la vraie vie.

Il y a d'autres cas où la situation n'est pas si simple. Parfois, des parties de la conversation ont été supprimées, une insulte est utilisée comme un acte de réclamation, ou quelqu'un distribue un hack pour un jeu qui est généralement utilisé à des fins esthétiques -- mais peut être utilisé pour tricher sous certaines conditions.

L'équipe confiance et sécurité cherche le contexte pour évaluer au mieux ce qui se passe, même lorsque les choses semblent ambiguës. Pour illustrer la complexité des décisions que prennent l'équipe de confiance et sécurité, voilà trois scénarios ci-dessous et des considérations qui l'accompagnent.

Situation 1 : Harcèlement bilatéral

Deux personnes se dénoncent l'une l'autre pour un mauvais comportement. L'une d'entre elles commence clairement le harcèlement, tandis que l'autre l'a intensifié. Cela a commencé avec des simples insultes, mais elles ne sont pas prêtes à se bloquer l'une l'autre.

Finalement, la situation s'aggrave quand l'une menace de tirer sur le chien de l'autre et que l'autre réagit en proférant des menaces sexuelles envers le petit ami de la première personne.

Pendant ce temps, elles le font dans un salon où il y a beaucoup d'autres personnes, certaines sont mal à l'aise avec les proportions que cela prend, l'un des spectateurs sur le serveur nous demande de faire quelque chose à ce sujet.

Non seulement le propriétaire ne fait rien, mais cela pousse les deux personnes à agir, ce qui ne fait qu'aggraver la situation.

Situation 1 : Questions que l'équipe envisage de se poser

Sur qui devrions-nous agir ? Est-ce la personne qui a commencé ? La personne qui s'est d'abord transformée en menace ? Ou les deux personnes, même si chacune d'entre elles pense que c'est l'autre le problème ? Les deux personnes auraient pu résoudre le problème en se bloquant mutuellement - devrions-nous prendre des mesures ?

Dans quelle mesure devons-nous croire chaque personne qui se sentait menacée par l'autre et qui a pensé que la seule chose raisonnable à faire était de continuer ?

Devrions-nous aussi prendre des mesures contre le propriétaire du serveur qui d'une façon ou d'une autre, a encouragé cette situation au lieu de la désamorcer ? Si nous prenons des mesures contre le propriétaire, que cela devrait-il être ? Un avertissement ? Si l'un des membres du serveur rapporte que le propriétaire envoyait des messages en privé aux deux personnes afin qu'elles continuent de se disputer ? Devons-nous punir le propriétaire au lieu des deux personnes ?

Situation 2 : Spécificité d'une demande de débannissement

Quelqu'un est banni pour avoir envoyé des messages à travers les serveurs, sous la forme d'une série d'insultes raciales et de spam. Cette personne nous contacte pour faire appel de son bannissement.

Tout d'abord, nous les informons qu'ils ont violé la charte d'utilisation. Par la suite, la personne bannie demande quel message spécifique a mené au bannissement. Ils insistent sur le fait qu'ils n'ont rien fait de mal et qu'ils n'ont jamais enfreint cette charte.

Ils prétendent qu'ils ont été des citoyens honnêtes, qu'ils sont dans vingt serveurs Discord différents et qu'ils ont une foule d'utilisateurs qui peuvent parler en leur nom. Ils insistent sur le fait qu'il s'agit d'un mauvais bannissement fondé sur de faux signalements.

Enfin, ils demandent à certaines de ces personnes de nous écrire pour nous dire que la personne a été injustement signalée. Ils exigent le dé-bannissement immédiat de la personne concernée.

Situation 2: Questions que l'équipe envisage de se poser

La personne bannie est-elle de bonne foi ? Ne comprend-elle pas légitimement comment elle a violé notre charte d'utilisation ?

Est-ce qu'ils essaient simplement d'identifier le plaignant ? Devrions-nous fournir des informations vagues ? La personne bannie continuera-t-elle de prétendre que les messages que nous avons, quels qu'ils soient, sont insuffisants ?

Comment répondons-nous aux gens qui écrivent au sujet de ce bannissement ? Quelle quantité d'informations devraient-ils obtenir sur la situation ?

Situation 3: Des messages privés en provenance de "Discord"

Quelqu'un d'inquiet nous contacte au sujet d'un message privé qu'il a reçu d'une autre personne prétendant faire partie de l'équipe Discord. Le message est un avertissement selon lequel, ses messages sont surveillés et que s'il venait à continuer, les autorités seraient contactées. Il nous demande si le message est réel.

Bien que le message ne provienne pas de Discord, la personne qui prétend être un employé de Discord nous contacte et admet avoir envoyé ces messages à partir d'un compte secondaire. L'imposteur prétend avoir menti afin de dissuader la personne initiale de s'auto-mutiler.

Quand nous enquêtons, cela semble être vrai. La personne initiale parlait d'une pratique nuisible et après avoir reçu un avertissement pour usurpation d'identité, elle s'est complètement arrêtée.

Situation 3: Questions que l'équipe envisage de se poser

Usurper l'identité d'un staff de Discord est une violation des règles de la communauté. La plupart du temps, les usurpateurs d'identité ont un comportement extrêmement nuisible et leurs comptes sont suspendus immédiatement.

Dans ce cas, l'usurpateur d'identité a l'air d'avoir de bonnes intentions, devons-nous s'en prendre à lui ? Devons-nous juste les avertir de ne pas recommencer ? Devons-nous juste laisser aller ?

De l'autre côté, devons-nous confirmer avec la personne initiale que le message ne venait pas de Discord ? Si nous procédons ainsi, cela les encourage-t-ils à continuer à s'auto-mutiler ?


Tout cela représente beaucoup à considérer et l'équipe a la tâche de répondre à ces questions des centaines de fois par jour, toute la semaine, avec chaque situation différente, et pour lesquelles de vraies personnes sont impactées par ce que nous choisissons de faire.

Comment créer une nouvelle politique ?

Lorsque nous créons une nouvelle politique, nous évaluons toutes les informations disponibles sur le sujet pour comprendre quelle est la meilleure politique. Nous nous penchons sur des recherches universitaires sur le sujet, comment les autres compagnies font, et ce que les utilisateurs, non utilisateurs, et les experts dans le domaine en pensent. Nous considérons si quelque chose est illégal, si quelque chose est nuisible et dans quelle mesure nos opérations sont évolutives. Nous tirons parti de tous ces moyens de vérification pour éliminer autant que possible les préjugés ou les intérêts personnels. Nous pensons avoir une responsabilité profonde d'être objectifs sur ce que nous permettons ou restreignons sur Discord.

Notre processus décisionnel accorde la priorité à la sécurité. Nous nous efforçons de créer une plateforme sécuritaire et inclusive, sans égard à la race, l'origine ethnique, le sexe, l'identité sexuelle, la religion et l'orientation sexuelle. Après tout, tout le monde peut jouer et s'amuser, et Discord devrait être l'endroit où tout le monde peut trouver quelqu'un d'autre avec qui jouer.

En plus de réfléchir à la façon dont nous pouvons prévenir les préjudices aux personnes utilisant Discord, nous tenons compte de l'échelle, de la vie privée, des nuances et de la liberté lorsque nous élaborons des politiques.

Échelle

Comment pouvons-nous adapter l'application de cette politique à notre énorme base d'utilisateurs ? Une politique qui semble bonne mais qui n'est pas appliquée n'est pas vraiment une bonne politique. Il est important non seulement de parler, mais aussi d'agir.

Vie privée

Comment pouvons-nous équilibrer notre capacité à enquêter sur d'éventuelles mauvaises choses sur Discord alors que nos utilisateurs ont et devraient avoir un droit à la vie privée ?

Dans le monde réel, Big Brother ne vous observe pas à l'intérieur de votre maison pendant une conversation avec deux de vos amis, même si vous ne faites rien de bon. Devrions-nous continuer à utiliser ce modèle pour Discord si cela signifie que les gens ont la possibilité de discuter de mauvaises choses, et que Discord peut être utilisé pour de mauvaises actions ? Les gens sont-ils d'accord avec les logiciels automatisés ou d'autres personnes qui lisent leurs conversations privées pour arrêter les mauvais acteurs potentiels ?

Nuance

Si un potentiel acte nuisible est difficile à cerner, est-ce que Discord en tant que plateforme doit modérer une particulière forme de parole?

Si quelque chose est reporté fréquemment et ne peut être qualifié de "mal" (même si les utilisateurs peuvent prendre des actions pour se protéger), devons-nous compter sur eux pour le faire?

Si quelqu'un ouvre un serveur et promet des récompenses à ses membres, mais que les membres se plaignent que le serveur ne tient pas ses promesses, devrait-on interdire l'offre de récompenses ?

Liberté

Avec tout cela dit, comment pouvons-nous assurer que les bonnes personnes ne se sentent pas censurées ? Juste parce que l'on ne comprend pas un hobby, ou un intérêt, est-ce que cela nous donne la permission de le bannir de la plateforme ?


Après avoir considéré l'échelle, la vie privée, la nuance et la liberté, on écrit dans les grandes lignes toutes les possibles résultats au mieux de nos capacités, et essayons de trouver la solution avec la meilleur réponse possible à ces questions.

Éventuellement, après discussions, recherches, et discussions à des tiers, nous faisons notre chemin vers un document politique. Pour avoir plus de perspectives, nous faisons circuler ce document à d'autres membres du staff de Discord, qui ne sont pas dans l'équipe confiance et sécurité, et demandons leur avis.

Finalement, on arrive à la conclusion, on implémente la nouvelle politique, et nous la surveillons. Si nous recevons de nouvelles informations à propos de la nouvelle politique ou que la politique n'a pas l'impact que nous souhaitions, nous l'ajustons pour être sûr de son efficacité. Nous sommes constamment à l'écoute, nous observons, et voulons faire au mieux.

Sur cette note, nous voulions parler de récents changements que nous avons faits pour soutenir notre engagement à l'écoute des retours de la communauté.

Changement de politique sur le Cub Porn

Au cours des deux dernières semaines, des articles ont paru questionnant la position de Discord sur la politique du NSFW, qui est le "cub porn". Un screenshot d'un mail que l'on a envoyé il y a un an en février 2018, a recueilli d'importants commentaires et critiques sur notre politique.

Comme nos règles de communauté l'indiquent, les éléments suivants résultent immédiatement de la suppression du compte:

En outre, les éléments suivants conduiront à la suppression de contenu et un avertissement (ou bannissement, selon la gravité):

Une raison majeure que cette politique soit en place sur Discord, c'est parce qu'il y a des lois fédérales aux États-Unis contre les images sexuelles de mineurs, ce qui inclut les cartoons et les dessins. Vous pouvez voir cette distinction en action sur Google Images, qui montre aucun résultat pour lolicon mais montre des résultats pour cub porn.

La politique actuelle de Discord est que tout ce qui est humain ou humanoïde est interdit (y compris les caractères anthropomorphisés). Cela inclut la plupart de la pornographie enfantine.

Bien que cela soit déjà plus restrictif que ce que la loi exige, nous avons reçu des commentaires estimant que que nous ne sommes pas assez complets ici. À partir d'aujourd'hui, nous changeons notre politique visant à bannir tout le cub porn. Cela veut dire que la sexualisation de mineur maintenant s'étend sur les animaux non humains et créatures mythologiques tant qu'ils semblent être mineurs. Nous ajoutons "cub" sur la liste de catégories, après lolicon et shotacon sur nos règles de la communauté pour clarifier que ce contenu n'est pas autorisé sur Discord.

Publication d'un rapport en toute transparence pour la première fois

C'est très important pour nous que les millions d'utilisateurs qui sont sur Discord chaque jour puissent avoir confiance dans nos décisions. Nous voulons que ce billet fournisse la transparence sur nos processus et que nous continuions dans cette voie en donnant un aperçu plus approfondi de nos actions en équipe avec le premier rapport en transparence de Discord.

Dans ce rapport, nous voulons fournir plus d'informations sur nos contenus de modération, tels que le nombre d'actions effectuées par mois, le nombre d'utilisateurs concernés et les causes de leur retrait de la plateforme.

Nous pensons que la transparence est une bonne chose, elle mettra davantage en lumière le travail que nous fournissons, aidera à maintenir les responsabilités et orientera les conversations sur la façon dont nous pourrions au mieux consacrer notre temps pour nous améliorer. Nous prévoyons de publier notre premier rapport d'ici la fin avril et nous continuerons ensuite de le faire à la fin de chaque trimestre.

Quelques derniers mots

Ces deux dernières semaines, nous avons reçu beaucoup de retours à propos de notre politique et de nos décisions. Nous avons aussi reçu des menaces de mort et des attaques personnelles dirigées contre ceux qui mettent leur cœur et âme afin de vous maintenir en sécurité au sein de Discord.

Au fur et à mesure que le temps passe et que Discord grandit, il y aura probablement plus de situations où des personnes raisonnables pourraient être en désaccord sur la meilleure politique à adopter. Lorsque cela se produit, nous espérons engager un dialogue constructif, pas des attaques personnelles ou des menaces.

Enfin, nous avons toujours pris en compte vos retours sur toutes nos décisions, des fonctionnalités à mettre en place jusqu'aux politiques qui régissent ce qui est une conduite acceptable sur Discord. Nous espérons que ce billet vous montrera comment notre équipe de confiance et sécurité fait de Discord un lieu sûr pour rassembler les gens autour des jeux.

Nous avons hâte de continuer cette discussion avec vous.


Ceci était une traduction réalisée par l'équipe de Discord-France.fr, vous pouvez retrouver l'article original posté sur le blog Discord ici. Merci à Draklozius pour l'aide qu'il a apportée.