C语言令牌化：strtok()，strtok_r()和strtok_s()

示例

该函数strtok使用一组定界符将字符串分成较小的字符串或标记。

#include <stdio.h>
#include <string.h>

int main(void)
{
    int toknum = 0;
    char src[] = "Hello,, world!";
    const char delimiters[] = ", !";
    char *token = strtok(src, delimiters);
    while (token != NULL)
    {
        printf("%d: [%s]\n", ++toknum, token);
        token = strtok(NULL, delimiters);
    }
    /* source is now "Hello\0, world\0\0" */
}

输出：

1: [Hello]
2: [world]

分隔符字符串可以包含一个或多个分隔符，并且对的每次调用都可以使用不同的分隔符字符串strtok。

调用以strtok继续标记相同的源字符串不应再次传递源字符串，而应NULL作为第一个参数传递。如果传递了相同的源字符串，则第一个标记将被重新标记。也就是说，给定相同的定界符，它们strtok将再次简单地再次返回第一个令牌。

请注意，由于strtok不会为令牌分配新的内存，因此会修改源字符串。也就是说，在以上示例中，将对字符串src进行操作以生成由调用所返回的指针所引用的令牌strtok。这意味着源字符串不能是const（因此它不能是字符串文字）。这也意味着分隔字节的标识丢失了（即，在示例中，“，”和“！”已从源字符串中有效删除，并且您无法确定匹配了哪个分隔符）。

另请注意，源字符串中的多个连续定界符被视为1；在示例中，第二个逗号被忽略。

strtok既不是线程安全的也不是重入线程，因为它在解析时使用静态缓冲区。这意味着如果一个函数调用strtok，它在使用时所调用的函数也不能strtok使用strtok，并且它本身不能使用的任何函数都不能调用它strtok。

一个示例说明了由于strtok未重入而引起的问题，如下所示：

char src[] = "1.2,3.5,4.2";
char *first = strtok(src, ","); 

do 
{
    char *part;
    /* Nested calls to strtok do not work as desired */
    printf("[%s]\n", first);
    part = strtok(first, ".");
    while (part != NULL)
    {
        printf(" [%s]\n", part);
        part = strtok(NULL, ".");
    }
} while ((first = strtok(NULL, ",")) != NULL);

输出：

[1.2]
 [1]
 [2]

预期的操作是外do while循环应该创建三个令牌由每个十进制数串的（"1.2"，"3.5"，"4.2"），对于每一个中，strtok用于内循环调用应该它分成单独的数字串（"1"，"2"，"3"，"5"，"4"，"2"）。

但是，由于strtok不是可重入的，因此不会发生这种情况。相反，第一个strtok正确地创建了“ 1.2 \ 0”令牌，而内部循环正确地创建了令牌"1"和"2"。但是strtok，外循环中的in在内循环使用的字符串的末尾，并立即返回NULL。src完全不分析数组的第二和第三子字符串。

/* you have to announce that you want to use Annex K */ 
#define __STDC_WANT_LIB_EXT1__ 1
#include <string.h>

#ifndef __STDC_LIB_EXT1__
# error "we need strtok_s from Annex K"
#endif

char src[] = "1.2,3.5,4.2";  
char *next = NULL;
char *first = strtok_s(src, ",", &next);

do 
{
    char *part;
    char *posn;

    printf("[%s]\n", first);
    part = strtok_s(first, ".", &posn);
    while (part != NULL)
    {
        printf(" [%s]\n", part);
        part = strtok_s(NULL, ".", &posn);
    }
} 
while ((first = strtok_s(NULL, ",", &next)) != NULL);

[1.2]
 [1]
 [2]
[3.5]
 [3]
 [5]
[4.2]
 [4]
 [2]