Tokenizer Examples

다음은 PHP 파일을 읽고 소스에서 모든 주석을 제거하고 순수한 코드만 인쇄하는 토크나이저를 사용하는 간단한 PHP 스크립트입니다.

예제 #1 토크나이저로 주석 제거

                  
<?php
$source = file_get_contents('example.php');
$tokens = token_get_all($source);

foreach ($tokens as $token) {
   if (is_string($token)) {
       // simple 1-character token
       echo $token;
   } else {
       // token array
       list($id, $text) = $token;

       switch ($id) {
           case T_COMMENT:
           case T_DOC_COMMENT:
               // no action on comments
               break;

           default:
               // anything else -> output "as is"
               echo $text;
               break;
       }
   }
}
?>