Tarafından Programlar ctokenizer.sf.net

CTokenizer C++ sözdizimini giriş olarak kabul eder ve ctoken nesnelerinin bir vektörü, bir belirteç dizesi ve daha sonra girişi ayrıştırmak için kullanılabilecek bir (n numaralandırılmış) belirteç türü içerir.