Tokenizer 소개

토크나이저 함수는 Zend 엔진에 내장된 PHP 토크나이저에 대한 인터페이스를 제공합니다. 이러한 함수를 사용하면 어휘 수준에서 언어 사양을 처리하지 않고도 자신의 PHP 소스 분석 또는 수정 도구를 작성할 수 있습니다.