Skip to main content

Elasticsarch Python combinated with Haystack delete objects by id

 

 I cannot delete objects from the index in real time by object ID. In this case, the Haystack django application cannot work properly. I need a custom script to move records out of the current table to archive and delete objects from the elastic  in real time. 

Old version of the application, python 2 and old Elastic make it more difficult.


See Example in Vindazo 


vim job/management/commands/archiveringbykeyword.py 


When you move a record to the archive and then delete them from the elastic index, the errors in haystack can happen.

This fix will provide new opportunities for adding and deleting jobs after indexing and cleaning.  In old versions of Haystack it doesn't work as expected.

And if It is not working properly, you need to run update_index or rebuild_index command every day.


Example for low level python Elastic object removing without Haystack


from elasticsearch import Elasticsearch

es = Elasticsearch()

res = es.get(index="jobs", id=result.id)



es.delete(index="jobs", id=result.id, doc_type='modelresult')



python manage.py archiveringbykeyword --keyword="Start People"


Show list of indexes

curl -X GET "localhost:9200/_cat/indices?v=true&s=index&pretty" 



Things like 


SearchIndex.remove_object(self, instance, using=None, **kwargs)

Remove an object from the index. Attached to the class’s post-delete hook.

SearchIndex.update_object(self, instance, using=None, **kwargs)



Or 




from haystack import connections as haystack_connections # Get the object you want to delete or update instance = YourModel.objects.get(id=id) # Get all Names/keys of your indexes / settings.HAYSTACK_CONNECTIONS backend_names = haystack_connections.connections_info.keys() # Get key of connection for your object using = backend_names[0] # Get the backend backend = haystack_connections[using].get_backend() # To remove object backend.remove(instance)


Not working properly

 

This is the solution for my problem


from elasticsearch import Elasticsearch

es = Elasticsearch()

es.delete(index="jobs", id=result.id, doc_type='modelresult')





Comments

Popular posts from this blog

Tekstverwerking python Text processing python SpaCy, TensorFlow, NLTK, Allen-NLP, Stanford-NLP

 Dit post maakt gebruik van spaCy, een populaire Python-bibliotheek die de taalgegevens en algoritmen bevat die je nodig hebt om teksten in natuurlijke taal te verwerken. Zoals u in dit post zult leren, is spaCy gemakkelijk te gebruiken omdat het containerobjecten biedt die elementen van natuurlijke taalteksten vertegenwoordigen, zoals zinnen en woorden. Deze objecten hebben op hun beurt attributen die taalkenmerken vertegenwoordigen, zoals delen van spraak. Op het moment van schrijven bood spaCy voorgetrainde modellen aan voor Engels, Duits, Grieks, Spaans, Frans, Italiaans, Litouws, Noors Bokmål, Nederlands, Portugees en meerdere talen gecombineerd. Bovendien biedt spaCy ingebouwde visualizers die u programmatisch kunt aanroepen om een grafische weergave van de syntactische structuur van een zin of benoemde entiteiten in een document te genereren.   De spaCy-bibliotheek ondersteunt ook native geavanceerde NLP-functies die andere populaire NLP-bibliotheken voor Python niet hebben. Spa

Google Closure

   Closure Library De Closure-bibliotheek is een JavaScript-bibliotheek, vergelijkbaar met andere moderne producten zoals jQuery, Angular, Vue.js, Dojo en MooTools. De coderingsstijl en het gebruik van opmerkingen in de Closure-bibliotheek zijn op maat gemaakt voor Closure Compiler. In vergelijking met andere JavaScript-bibliotheken is het de belangrijkste onderscheidende factor van Closure Compiler. Een eenvoudig compressie-experiment ontdekte dat wanneer Closure Compiler wordt gebruikt in plaats van YUI Compressor, de Closure Lib-code met 85% kan worden verminderd, wat een enorme impact kan hebben op de codecompressiecapaciteit van de compiler.    De implementatie van de  closure bibliotheek richt zich ook op leesbaarheid en prestaties. Wees zuinig bij het maken van objecten, maar wees genereus bij het benoemen en opnemen van objecten. Het heeft ook een prachtig gebeurtenissysteem, ondersteuning voor klassen en overerving en verschillende UI-componenten, waaronder bijvoorbeeld een ri

Elasticsearch install and configuration on Ubuntu

If you plan to use elastic integrated with Django then it would be better to use an old version of Elastic or replace Haystack with Django-Elasticsearch-DSL (Not tested) See old version install at bottom of this post.  New version Elasticsearch ( attention no haystack at this time )  The Elasticsearch components are not available in Ubuntu’s default package repositories. They can, however, be installed with APT after adding Elastic’s package source list. curl -fsSL https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - E: gnupg, gnupg2 and gnupg1 do not seem to be installed, but one of them is required for this operation apt-get install gnupg curl -fsSL https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - Warning: apt-key is deprecated. Manage keyring files in trusted.gpg.d instead (see apt-key(8)). OK echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list apt update apt