L'analyse lexicale est le processus de prise d'une chaîne de caractères - ou, plus simplement, le texte - et la convertir en groupes significatifs appelés jetons. Cette méthodologie a utilise dans une grande variété d'applications, de l'interprétation des langues informatiques pour l'analyse des livres. L'analyse lexicale n'est pas synonyme d'analyse, mais plutôt, c'est la première étape du processus global d'analyse, et il crée la matière première pour une utilisation ultérieure.
Les blocs de construction de jetons, également appelés lexèmes, peuvent être générés de plusieurs façons, en fonction de la grammaire nécessaire à l'analyse lexicale. Un exemple courant est le fractionnement des phrases par des mots, ce qui est souvent fait par des peines fractionnement autour des espaces. Chaque chaîne continue de caractères générés sans espaces est un lexème. Les chaînes de texte peuvent être répartir sur un ou plusieurs types de caractères, la création de plusieurs versions de lexèmes avec plus ou moins complexes. Les jetons sont générés après chaque lexème a été évalué et jumelé à sa valeur correspondante, par définition, les jetons se réfèrent à ce jumelage, et pas seulement le lexème.
L'analyse lexicale, un peu contre-intuitive, des bandes d'une chaîne de texte de son contexte. Son but est seulement de générer des blocs de construction pour une étude plus approfondie, non pas de déterminer si ces pièces sont valides ou non. Dans le cas de l'interprétation en langage informatique, la validation se fait par analyse syntaxique, et la validation du texte peut être fait en termes de contexte ou de contenu. Si une chaîne d'entrée est complètement divisé en lexèmes appropriés et chacun de ces lexèmes a une valeur appropriée, l'analyse est considérée comme réussie.
Sans contexte ou la capacité d'effectuer la validation, l'analyse lexicale ne peut pas être utilisée de manière fiable pour trouver des erreurs dans l'entrée. Une grammaire lexicale peut avoir des valeurs d’erreur affectée aux lexèmes spécifiques, et une telle analyse peut également détecter les jetons illégaux ou mal formé. Bien que la recherche d'un jeton illégal ou malformé fait une entrée invalide du signal, elle n'a aucune incidence sur si les autres jetons sont valides, et il n'est donc pas strictement un type de validation.
Bien que l'analyse lexicale est une partie intégrante de nombreux algorithmes, il doit souvent être utilisé en conjonction avec d'autres méthodes pour créer des résultats significatifs. Par exemple, le fractionnement d'une chaîne de texte en mots afin de déterminer les fréquences fait usage de création lexème, mais lexème création seule ne peut pas contrôler le nombre de fois où un lexème particulier apparaît dans l'entrée. L'analyse lexicale peut être utile sur son propre si les lexèmes sont eux-mêmes de la note, mais de grandes quantités d'entrée pourraient faire l'analyse des lexèmes premiers difficiles en raison du volume de données.