Funções da Tokenizer
PHP Manual

token_get_all

(PHP 4 >= 4.2.0, PHP 5, PHP 7)

token_get_allDivide um dado fonte em tokens do PHP

Descrição

array token_get_all ( string $source )

token_get_all() avalia do o fonte source em tokens da linguagem PHP usando o avaliador léxico do Zend engine.

Para uma lista dos tokens do avaliador, veja Lista de Parser Tokens, ou use token_name() para traduzir um valor de um token para sua representação em formato string.

Parâmetros

source

O código-fonte do PHP à ser avaliado.

Valor Retornado

Um array de identificadores de tokens. Cada identificador de token individual ou é um caracter único (ex.: ;, ., >, !, etc...), ou um array com três elementos contendo o índice do token no elemento 0, a string contendo o token original no elemento 1 e o número da linha no elemento 2.

Exemplos

Exemplo #1 Exemplo de uso de token_get_all()

<?php
$tokens 
token_get_all('<?php'); // => array(array(T_OPEN_TAG, '<?'));
$tokens token_get_all('<?php echo; ?>'); /* => array(
                                                  array(T_OPEN_TAG, '<?php'),
                                                  array(T_ECHO, 'echo'),
                                                  ';',
                                                  array(T_CLOSE_TAG, '?>') ); */
/* Note no exemplo a seguir que a string é avaliada com T_INLINE_HTML
   ao invés de esperado T_COMMENT (T_ML_COMMENT no PHP <5).
   Isso é porque nenhuma tag de abertura/fechamento foi usada no "código" provido.
   Isso seria equivalente a coloar comentários fora das tags <?php ?> em um arquivo normal. */
$tokens token_get_all('/* comment */'); // => array(array(T_INLINE_HTML, '/* comment */'));
?>

Changelog

Versão Descrição
5.2.2 Números de linha são retornados no elemento 2


Funções da Tokenizer
PHP Manual