Skip to main content

Posts

Showing posts from 2020

Django Translation commonly used commands

  In this post I publish a list of commonly used commands and methods to add extra translations in a ready project. This note is used as a shortcut for frequently recurring tasks. For more detailed information see Django project documentation. https://docs.djangoproject.com/en/3.1/topics/i18n/translation/ Proces locale nl and add new translations in locale/nl/LC_MESSAGES/django.po python manage.py makemessages -l nl vim locale/nl/LC_MESSAGES/django.po   Find new string and add correct translation.    When it's done   python manage.py  compilemessages service apache2 reload python manage.py cleancache   Compile and refresh caching to see results.    All right, it's done. 😂😀

EntityRecognizer test in different Languages Job descripiton with Spacy

Nederlands The NL entity recognition does not work? Or am I doing something wrong? Available pretrained statistical models for Dutch lg, md, sm https://spacy.io/models/nl Best result is achieved with a large model. But it has also been trained on wikipedia and will not correctly recognize all Belgian or Dutch names and organizations. Do I have to train my own for better results? Dutch multi-task CNN trained on UD Alpino and LassySmall. POS tags and dependency parses from Alpino and LassySmall and NER for LassySmall by NLP Town using the OntoNotes 5 scheme. Assigns word vectors, POS tags, dependency parse and named entities. Word vectors trained using FastText CBOW on Wikipedia and OSCAR (Common Crawl).   def get_entities_from_text(text, nlp):     doc = nlp(text)     orgs = []     persons = []     gpes = []     for ent in doc.ents:          print(ent.text, ent.label_)          if ent.label_ == "ORG":              print(ent.text, ent.label_)              orgs.append(ent.

Tekstverwerking python Text processing python SpaCy, TensorFlow, NLTK, Allen-NLP, Stanford-NLP

 Dit post maakt gebruik van spaCy, een populaire Python-bibliotheek die de taalgegevens en algoritmen bevat die je nodig hebt om teksten in natuurlijke taal te verwerken. Zoals u in dit post zult leren, is spaCy gemakkelijk te gebruiken omdat het containerobjecten biedt die elementen van natuurlijke taalteksten vertegenwoordigen, zoals zinnen en woorden. Deze objecten hebben op hun beurt attributen die taalkenmerken vertegenwoordigen, zoals delen van spraak. Op het moment van schrijven bood spaCy voorgetrainde modellen aan voor Engels, Duits, Grieks, Spaans, Frans, Italiaans, Litouws, Noors Bokmål, Nederlands, Portugees en meerdere talen gecombineerd. Bovendien biedt spaCy ingebouwde visualizers die u programmatisch kunt aanroepen om een grafische weergave van de syntactische structuur van een zin of benoemde entiteiten in een document te genereren.   De spaCy-bibliotheek ondersteunt ook native geavanceerde NLP-functies die andere populaire NLP-bibliotheken voor Python niet hebben. Spa