L'analyse lexicale est le point de faire une chaîne de caractères - ou, plus simplement, le texte - et de le convertir en groupes significatifs appelés jetons. Cette méthodologie a utilise dans une grande variété d'applications, de l'interprétation de langages informatiques pour l'analyse des livres. L'analyse lexicale n'est pas synonyme de l'analyse, mais plutôt, c'est la première étape du processus d'analyse totale, et il crée la matière première pour une utilisation ultérieure.
Les blocs de construction de lexèmes jetons, également appelés, peut être générée de plusieurs manières, en fonction de la grammaire nécessaire à l'analyse lexicale. Un exemple de ceci est le fractionnement des peines par des mots, ce qui est souvent fait par des peines de fractionnement à travers les espaces. Chaque chaîne continue de caractères générés sans espaces est un lexème. Les chaînes de texte peuvent être répartir sur un ou de nombreux types de personnages, créant de multiples versions de lexèmes avec plus ou moins complexes. Les jetons sont générés après chaque lexème a été évalué et jumelé avec la valeur correspondante: par définition, les jetons de se référer à ce jumelage, et pas seulement le lexème.
L'analyse lexicale, un peu contre-intuitive, supprime une chaîne de texte de son contexte. Son but est seulement de générer des blocs de construction pour une étude plus approfondie, pas de déterminer si ces pièces sont valides ou invalides. Dans le cas de l'interprétation en langage informatique, la validation se fait par analyse syntaxique, et la validation de texte qui peut être fait en termes de contexte ou de contenu. Si une chaîne d'entrée est complètement divisée en lexèmes appropriées et chacun de ces lexèmes a une valeur appropriée, l'analyse est considérée comme un succès.
Sans contexte ou la capacité d'effectuer la validation, l'analyse lexicale ne peut pas être utilisée de manière fiable pour trouver des erreurs dans l'entrée. Une grammaire lexicale peut avoir des valeurs d’erreur affectée aux lexèmes spécifiques, et une telle analyse peut également détecter les jetons illégaux ou mal formés. Bien que la recherche d'un jeton illégal ou mal formés ne signale d'entrée non valide, elle n'a aucune incidence si les autres jetons sont valables, et il n'est donc pas strictement un type de validation.
Bien que l'analyse lexicale est une partie intégrante de nombreux algorithmes, il doit souvent être utilisé en conjonction avec d'autres méthodes pour créer des résultats significatifs. Par exemple, le fractionnement d'une chaîne de texte en mots afin de déterminer les fréquences se sert de la création lexème, mais la création lexème seul ne peut pas contrôler le nombre de fois où un lexème particulier apparaît dans l'entrée. L'analyse lexicale peut être utile de lui-même si les lexèmes sont eux-mêmes de la note, mais de grandes quantités d'entrée peut faire l'analyse des lexèmes premières difficile en raison du volume de données.