tokenization (Q15019): Difference between revisions
From LexBib
(Created claim: instance of (P5): Concept (Q7)) |
(Removed claim: LexBib v2 legacy ID (P1): Q23340) |
||||||||||||||
| (105 intermediate revisions by the same user not shown) | |||||||||||||||
| label / de | label / de | ||||||||||||||
Tokenisierung | |||||||||||||||
| label / ru | label / ru | ||||||||||||||
Токен | |||||||||||||||
| label / ca | label / ca | ||||||||||||||
segmentació | |||||||||||||||
| label / et | label / et | ||||||||||||||
sõnestamine | |||||||||||||||
| label / is | label / is | ||||||||||||||
tilreiðing | |||||||||||||||
| label / it | label / it | ||||||||||||||
tokenizzazione | |||||||||||||||
| label / lt | label / lt | ||||||||||||||
tokenizacija | |||||||||||||||
| label / es | label / es | ||||||||||||||
segmentación | |||||||||||||||
| label / eu | label / eu | ||||||||||||||
tokenizazio | |||||||||||||||
| label / ro | label / ro | ||||||||||||||
tokenizare | |||||||||||||||
| label / da | label / da | ||||||||||||||
tokenisering | |||||||||||||||
| label / hu | label / hu | ||||||||||||||
tokenizálás | |||||||||||||||
| label / nl | label / nl | ||||||||||||||
tokeniseren | |||||||||||||||
| label / gl | label / gl | ||||||||||||||
segmentación | |||||||||||||||
| label / sr | label / sr | ||||||||||||||
токенизација | |||||||||||||||
| aliases / et / 0 | aliases / et / 0 | ||||||||||||||
tokeniseerimine | |||||||||||||||
| aliases / it / 0 | aliases / it / 0 | ||||||||||||||
tokenization | |||||||||||||||
| aliases / ro / 0 | aliases / ro / 0 | ||||||||||||||
analizare | |||||||||||||||
| aliases / ro / 1 | aliases / ro / 1 | ||||||||||||||
identificare | |||||||||||||||
| aliases / ro / 2 | aliases / ro / 2 | ||||||||||||||
structurare | |||||||||||||||
| aliases / gl / 0 | aliases / gl / 0 | ||||||||||||||
tokenization | |||||||||||||||
| aliases / gl / 1 | aliases / gl / 1 | ||||||||||||||
tokenización | |||||||||||||||
| description / en | description / en | ||||||||||||||
a term | |||||||||||||||
| Property / skos:broader | |||||||||||||||
| Property / skos:broader: NLP / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / BabelNet Synset ID | |||||||||||||||
| Property / BabelNet Synset ID: 13890904n / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / BabelNet Synset ID: 13890904n / qualifier | |||||||||||||||
| Property / member of collection | |||||||||||||||
| Property / member of collection: Index "Cordoba Plus" / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / wikidata entity | |||||||||||||||
| Property / wikidata entity: Q2438971 / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / wikidata entity: Q2438971 / qualifier | |||||||||||||||
| Property / skos:definition | |||||||||||||||
breaking a stream of text up into chunks for analysis or further processing | |||||||||||||||
| Property / skos:definition: breaking a stream of text up into chunks for analysis or further processing / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / skos:definition: breaking a stream of text up into chunks for analysis or further processing / reference | |||||||||||||||
| Property / occurs in # of LexBib BibItems | |||||||||||||||
55 | |||||||||||||||
| Property / occurs in # of LexBib BibItems: 55 / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / occurs in # of LexBib BibItems: 55 / qualifier | |||||||||||||||
source name: LexBib Nov 2021 stopterms | |||||||||||||||
| Property / occurs in # of LexBib BibItems: 55 / qualifier | |||||||||||||||
source name: LexBib en/es 07-2022 | |||||||||||||||
| Property / sent to LexVoc Lexonomy | |||||||||||||||
21 August 2021
| |||||||||||||||
| Property / sent to LexVoc Lexonomy: 21 August 2021 / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / prefLabel translation | |||||||||||||||
segmentació (Catalan) | |||||||||||||||
| Property / prefLabel translation: segmentació (Catalan) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / prefLabel translation: segmentació (Catalan) / qualifier | |||||||||||||||
translation status: COMPLETED | |||||||||||||||
| Property / prefLabel translation | |||||||||||||||
sõnestamine (Estonian) | |||||||||||||||
| Property / prefLabel translation: sõnestamine (Estonian) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / prefLabel translation: sõnestamine (Estonian) / qualifier | |||||||||||||||
translation status: COMPLETED | |||||||||||||||
| Property / prefLabel translation | |||||||||||||||
tilreiðing (Icelandic) | |||||||||||||||
| Property / prefLabel translation: tilreiðing (Icelandic) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / prefLabel translation: tilreiðing (Icelandic) / qualifier | |||||||||||||||
translation status: COMPLETE | |||||||||||||||
| Property / prefLabel translation | |||||||||||||||
tokenizzazione (Italian) | |||||||||||||||
| Property / prefLabel translation: tokenizzazione (Italian) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / prefLabel translation: tokenizzazione (Italian) / qualifier | |||||||||||||||
translation status: COMPLETED | |||||||||||||||
| Property / prefLabel translation | |||||||||||||||
tokenizacija (Lithuanian) | |||||||||||||||
| Property / prefLabel translation: tokenizacija (Lithuanian) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / prefLabel translation: tokenizacija (Lithuanian) / qualifier | |||||||||||||||
translation status: COMPLETED | |||||||||||||||
| Property / prefLabel translation | |||||||||||||||
segmentación (Spanish) | |||||||||||||||
| Property / prefLabel translation: segmentación (Spanish) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / prefLabel translation: segmentación (Spanish) / qualifier | |||||||||||||||
translation status: COMPLETED | |||||||||||||||
| Property / prefLabel translation | |||||||||||||||
Tokenisierung (German) | |||||||||||||||
| Property / prefLabel translation: Tokenisierung (German) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / prefLabel translation: Tokenisierung (German) / qualifier | |||||||||||||||
translation status: COMPLETED | |||||||||||||||
| Property / prefLabel translation | |||||||||||||||
tokenizazio (Basque) | |||||||||||||||
| Property / prefLabel translation: tokenizazio (Basque) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / prefLabel translation: tokenizazio (Basque) / qualifier | |||||||||||||||
translation status: COMPLETED | |||||||||||||||
| Property / prefLabel translation | |||||||||||||||
tokenisering (Danish) | |||||||||||||||
| Property / prefLabel translation: tokenisering (Danish) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / prefLabel translation: tokenisering (Danish) / qualifier | |||||||||||||||
translation status: COMPLETED | |||||||||||||||
| Property / prefLabel translation | |||||||||||||||
tokenizacja (Polish) | |||||||||||||||
| Property / prefLabel translation: tokenizacja (Polish) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / prefLabel translation: tokenizacja (Polish) / qualifier | |||||||||||||||
translation status: TO CHECK | |||||||||||||||
| Property / prefLabel translation | |||||||||||||||
tokenizare (Romanian) | |||||||||||||||
| Property / prefLabel translation: tokenizare (Romanian) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / prefLabel translation: tokenizare (Romanian) / qualifier | |||||||||||||||
translation status: COMPLETED | |||||||||||||||
| Property / prefLabel translation | |||||||||||||||
Токен (Russian) | |||||||||||||||
| Property / prefLabel translation: Токен (Russian) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / prefLabel translation: Токен (Russian) / qualifier | |||||||||||||||
translation status: AUTOMATIC | |||||||||||||||
| Property / prefLabel translation | |||||||||||||||
токенизација (Serbian) | |||||||||||||||
| Property / prefLabel translation: токенизација (Serbian) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / prefLabel translation: токенизација (Serbian) / qualifier | |||||||||||||||
translation status: COMPLETED | |||||||||||||||
| Property / prefLabel translation | |||||||||||||||
tokenizálás (Hungarian) | |||||||||||||||
| Property / prefLabel translation: tokenizálás (Hungarian) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / prefLabel translation: tokenizálás (Hungarian) / qualifier | |||||||||||||||
translation status: COMPLETED | |||||||||||||||
| Property / prefLabel translation | |||||||||||||||
tokenizacija (Montenegrin) | |||||||||||||||
| Property / prefLabel translation: tokenizacija (Montenegrin) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / prefLabel translation: tokenizacija (Montenegrin) / qualifier | |||||||||||||||
translation status: COMPLETED | |||||||||||||||
| Property / prefLabel translation | |||||||||||||||
αναγνώριση λέξεων και προτάσεων (Greek) | |||||||||||||||
| Property / prefLabel translation: αναγνώριση λέξεων και προτάσεων (Greek) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / prefLabel translation: αναγνώριση λέξεων και προτάσεων (Greek) / qualifier | |||||||||||||||
translation status: TO CHECK | |||||||||||||||
| Property / prefLabel translation | |||||||||||||||
segmentación (Galician) | |||||||||||||||
| Property / prefLabel translation: segmentación (Galician) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / prefLabel translation: segmentación (Galician) / qualifier | |||||||||||||||
translation status: COMPLETED | |||||||||||||||
| Property / prefLabel translation | |||||||||||||||
tokeniseren (Dutch) | |||||||||||||||
| Property / prefLabel translation: tokeniseren (Dutch) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / prefLabel translation: tokeniseren (Dutch) / qualifier | |||||||||||||||
translation status: COMPLETED | |||||||||||||||
| Property / altLabel translation | |||||||||||||||
tokeniseerimine (Estonian) | |||||||||||||||
| Property / altLabel translation: tokeniseerimine (Estonian) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / altLabel translation: tokeniseerimine (Estonian) / qualifier | |||||||||||||||
translation status: COMPLETED | |||||||||||||||
| Property / altLabel translation | |||||||||||||||
tokenization (Italian) | |||||||||||||||
| Property / altLabel translation: tokenization (Italian) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / altLabel translation: tokenization (Italian) / qualifier | |||||||||||||||
translation status: COMPLETED | |||||||||||||||
| Property / altLabel translation | |||||||||||||||
analizare (Romanian) | |||||||||||||||
| Property / altLabel translation: analizare (Romanian) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / altLabel translation: analizare (Romanian) / qualifier | |||||||||||||||
translation status: COMPLETED | |||||||||||||||
| Property / altLabel translation | |||||||||||||||
identificare (Romanian) | |||||||||||||||
| Property / altLabel translation: identificare (Romanian) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / altLabel translation: identificare (Romanian) / qualifier | |||||||||||||||
translation status: COMPLETED | |||||||||||||||
| Property / altLabel translation | |||||||||||||||
structurare (Romanian) | |||||||||||||||
| Property / altLabel translation: structurare (Romanian) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / altLabel translation: structurare (Romanian) / qualifier | |||||||||||||||
translation status: COMPLETED | |||||||||||||||
| Property / altLabel translation | |||||||||||||||
αναγνώριση λέξεων και περιόδων (Greek) | |||||||||||||||
| Property / altLabel translation: αναγνώριση λέξεων και περιόδων (Greek) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / altLabel translation: αναγνώριση λέξεων και περιόδων (Greek) / qualifier | |||||||||||||||
translation status: TO CHECK | |||||||||||||||
| Property / altLabel translation | |||||||||||||||
tokenización (Galician) | |||||||||||||||
| Property / altLabel translation: tokenización (Galician) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / altLabel translation: tokenización (Galician) / qualifier | |||||||||||||||
translation status: COMPLETED | |||||||||||||||
| Property / altLabel translation | |||||||||||||||
tokenization (Galician) | |||||||||||||||
| Property / altLabel translation: tokenization (Galician) / rank | |||||||||||||||
Normal rank | |||||||||||||||
| Property / altLabel translation: tokenization (Galician) / qualifier | |||||||||||||||
translation status: COMPLETED | |||||||||||||||
Latest revision as of 20:24, 23 August 2023
a term
| Language | Label | Description | Also known as |
|---|---|---|---|
| English | tokenization |
a term |
Statements
breaking a stream of text up into chunks for analysis or further processing
1 reference
21 August 2021
0 references
