Use "토큰" in a sentence

1. 컴퓨터 프로그램의 소스 코드에서 와지 간격을 입력했을 경우에는 공백과 동일하게는 취급되지 않는다(구문 분석의 토큰 구분으로 본다) 언어가 많은 한편으로 토큰 구분의 일종으로 가정해버리는 환경도 존재하는 것에서, 호환성이 있는 것의 소스 코드를 다른 환경에서 복사&붙여넣기했을 때, 정상으로 작동하지 않는 것이 있으며, 주의가 필요하다.

コンピュータプログラムのソースコードで和字間隔を入力した場合は、スペースと同一であるとは扱われない(構文解析のトークン区切りと見なさない)言語が多い一方で、トークン区切りの一種と見なしてしまう環境も存在することから、互換性があるはずのソースコードを他環境からコピー&ペーストした際、正常に動作しないことがあり、注意が必要である。

2. 이러한 세계 위구르 회의 활동에 대해 중국 정부는 경계를 강화하고 있으며, 2003년 12월 15일은 세계 위구르 회의 전신인 세계 위구르 청년 회의와 당시 대표 달러 토큰 에이사를 테러리스트로 공표하고, 레비야 카디르가 노벨 평화상 수상 후보에 선정된 것에 대한 비판을 하였다.

こうした世界ウイグル会議の活動に対して、中国政府は警戒を強めており、2003年12月15日には、世界ウイグル会議の前身である世界ウイグル青年会議と、当時の代表ドルクン・エイサをテロリストとして認定する文書を公開し、ラビア・カーディルがノーベル平和賞受賞候補となった際も、批判を行っている。