Vous êtes-vous déjà demandé comment fonctionnent les assistants virtuels comme Siri et Cortana ? Comment comprennent-ils ce que vous dites ?
Eh bien, une partie de la réponse esttraitement du langage naturel. Ce domaine intéressant de l'intelligence artificielle a conduit à d'énormes percées au cours des dernières années, mais comment cela fonctionne-t-il exactement ?
Lisez la suite pour en savoir plus sur le traitement du langage naturel, comment il fonctionne et comment il est utilisé pour rendre notre vie plus pratique.
Qu'est-ce que le traitement automatique du langage naturel ?
Natural Language Processing, ou NLP, est la façon dont les ordinateurs peuvent comprendre les langues humaines. Par exemple, lorsque vous parlez à des assistants virtuels activés par la voix comme Alexa ou Siri, ils écoutent, comprennent votre discours et effectuent une action basée sur ce que vous avez dit.
Traditionnellement, les humains ne pouvaient communiquer avec les ordinateurs que via le langage de programmation dans lequel ils étaient codés via des commandes particulières. Le code est intrinsèquement structuré et logique, et les mêmes commandes produiront toujours la même sortie.
En revanche, le langage humain est non structuré et beaucoup plus complexe. Le même mot ou la même phrase peut avoir plusieurs sens en fonction des inflexions et du contexte. Et, il existe de nombreuses langues différentes.
Alors comment l'IA est-elle capable de comprendre ce que nous disons ?
Comment fonctionne la PNL ?
La PNL est entraînée avec l'apprentissage automatique. L'apprentissage automatique est une branche de l'intelligence artificielle qui prend de grandes quantités de données dans un algorithme qui s'entraîne pour produire des prédictions précises. Plus l'algorithme a de données et de temps, mieux il s'améliore. C'estpourquoi les machines PNL sont tellement meilleures aujourd'hui qu'elles ne l'étaient il y a dix ans.
La PNL fonctionne en prétraitant le texte, puis en l'exécutant via l'algorithme entraîné par l'apprentissage automatique.
Étapes de prétraitement
Voici quatre des étapes de prétraitement courantes qu'une machine NLP utilisera.
- Tokenisation : La tokenisation est le processus consistant à décomposer la parole ou le texte en unités plus petites appelées tokens. Ce sont soit des mots individuels, soit des clauses. La tokenisation est importante car elle permet au logiciel de déterminer quels mots sont présents, ce qui conduit aux étapes suivantes detraitement PNL.
- La racine et la lemmatisation : Le radicalisme et la lemmatisation sont des processus simplifiants qui réduisent chaque mot à son mot racine. Par exemple, « courir » dans « exécuter. » Cela permet à la PNL de traiter le texte plus rapidement.
racine est un processus plus simple et consiste à supprimer tous les affixes d'un mot. Les affixes sont des ajouts au début et à la fin du mot qui lui donnent un sens légèrement différent. Cependant, la recherche de radical peut entraîner des erreurs lorsque des mots similaires ont des racines différentes.les mots « chameau » et « est venu ».Lemmatisation
est beaucoup plus compliqué et précis. Il s'agit de réduire un mot à son lemme, qui est la forme de base d'un mot comme on le trouve dans le dictionnaire. La lemmatisation prend en compte le contexte et se base sur le vocabulaire et l'analyse morphologique des motsUn bon exemple est « soin ».Une autre technique fonctionne parallèlement aux deux processus, connue sous le nom de
Arrêter la suppression des mots. Il s'agit de la simple suppression des mots qui n'ajoutent aucune information pertinente au sens du discours, tels que « à » et « a. »Tâches d'algorithme d'apprentissage automatique
Unsplash - aucune attribution requise
Analyse des sentiments :
- Le processus de classification du sentiment du texte. Par exemple, si un avis sur un produit est positif, neutre ou négatif. Classification du sujet :
- C'est là que le sujet principal du texte est identifié. Une machine PNL peut étiqueter des documents, des paragraphes et des phrases avec le sujet qu'ils concernent.Détection d'intention :
- Il s'agit du processus de détermination de l'intention derrière un texte particulier. Par exemple, il peut aider les entreprises à déterminer si les clients souhaitent se désabonner ou sont intéressés par un produit.Étiquetage d'une partie du discours :
- Après la tokenisation, une machine NLP marquera chaque mot avec un identifiant. Ceux-ci incluent le marquage des mots en tant que noms, verbes, adjectifs, etc.Reconnaissance vocale :
- C'est la tâche de convertir la parole en texte et est particulièrement difficile en raison des différences d'accent, d'intonation, de grammaire et d'inflexion entre les personnes.Reconnaissance d'entité nommée :
- Le processus d'identification de noms utiles comme « Angleterre » ou « Google ». Ceci est combiné avec la résolution de coréférence, déterminant si deux mots font référence à la même chose, comme « Alice » puis « elle. »Génération du langage naturel :
- C'est l'opposé de la parole-texte et c'est ainsi que les machines NLP peuvent générer de la parole ou du texte pour communiquer en retour.Pourquoi la PNL est-elle si importante ?
Unsplash - Aucune attribution requise
Analyser les informations en ligne :
- Les entreprises et les chercheurs peuvent utiliser la PNL pour analyser des pans de données textuelles en informations utilisables. Par exemple, des commentaires sur les réseaux sociaux, des critiques, des tickets de support client et même des articles. La PNL peut les analyser pour des tendances et des informations utiles pour l'entreprise. Traduction de la langue :
- Des applications telles que Google Translate utilisent des machines NLP pour convertir une langue dans une autre.Vérification orthographique et grammaticale :
- Les traitements de texte et les applications comme Grammarly vérifient votre texte pour les fautes d'orthographe et de grammaire, la lisibilité, la voix passive, etc., pour améliorer votre écriture.Réponse vocale interactive RVI :
- Les robots téléphoniques permettent aux humains de communiquer avec un système téléphonique géré par ordinateur pour effectuer des redirections et d'autres tâches.Assistants virtuels :
- Assistants personnels tels que Siri, Cortana, Bixby, Google Assistant et Alexa utilisent la PNL pour écouter vos requêtes et produire des réponses ou effectuer des actions en fonction de ce que vous dites.Texte prédictif
- : votre smartphone fournit automatiquement des mots prédits en fonction de quelques lettres ou de ce que vous avez déjà écrit dans la phrase. Le smartphone apprend en fonction des phrases que vous tapez habituellement et propose des mots que vous êtes le plus susceptible d'utiliser. En fait, Microsoft Wordest bientôt pour l'implémenter en tant que fonctionnalité. Chat Bots :
- De nombreux sites Web ont maintenant des robots de service client virtuels qui tenteront d'aider les clients avant qu'ils ne soient référés à un opérateur humain. Robot Conversationalistes
Le traitement du langage naturel change la façon dont nous communiquons avec les robots et la façon dont ils communiquent avec nous. Bloomberg News utilise un système d'IA appelé Cyborg pour produire près d'un tiers de son contenu. Pendant ce temps, Forbes, The Guardian et The Washington Post utilisent tousAI pour écrire des articles de presse.
Et tout cela n'est possible que grâce à la PNL !
Partager
