Database 23

Java 에서 Elastic Search 사용하기3. - 간단 검색하기

https://www.elastic.co/guide/en/elasticsearch/client/java-rest/master/_search_apis.html Search APIs | Java REST Client [master] | Elastic www.elastic.co 이번에는 엘라스틱 서치를 사용하는 이유인 검색을 해 보도록 하겠습니다. 일단 작성한 코드 먼저 보여드리겠습니다. client로 search 명령을 주면 , response를 return 합니다. 해당 response는 SearchHits 라는 Iterable 구현체를 가지고 있습니다. 지네릭 타입은 SearchHit 입니다. 해당 SerarchHit에서 각각 source를 getSourceAsMap() 메서드를 통해 받고, 모두 lis..

Database/Elastic Search 2021.06.08 (1)

Java 에서 Elastic Search 사용하기 - 2. Post Request (Create)

Java 에서 Elastic Search 사용하기2. - Post Request (Create) https://shanepark.tistory.com/139 Java 에서 Elastic Search 사용하기 - Get Request org.elasticsearch elasticsearch 7.12.1 org.elasticsearch.client elasticsearch-rest-high-level-client 7.12.1 Elastic Search client로는 High level client 와 Low level client가 있습니다. low level clie.. shanepark.tistory.com 이번에는 1편에 이어 CRUD 중 첫번째인 C 를 해보겠습니다. 일단 1편에서 GET 방식을 연..

Java 에서 Elastic Search 사용하기 - 1. Get Request

org.elasticsearch elasticsearch 7.12.1 org.elasticsearch.client elasticsearch-rest-high-level-client 7.12.1 Elastic Search client로는 High level client 와 Low level client가 있습니다. low level client는 버전에 영향을 받지 않고 유연하지만, 사용하기 좀 더 어렵습니다. High level client는 Low level client를 한번 추상화 해서 사용합니다. https://www.elastic.co/guide/en/elasticsearch/client/java-rest/master/java-rest-high.html Java High Level REST Cl..

Logstash를 이용해 Oracle 데이터를 Elastic search와 동기화 하기

ElasticSearch의 버전을 확인합니다. number 에 써있는 7.12.1이 버전입니다 ! https://www.elastic.co/downloads/ Elastic 제품을 다운로드 | Elastic Elasticsearch, Logstash, Kibana 및 Beats를 무료로 다운로드하고 몇 분 내에 Elastic APM, Elastic App Search, Elastic Workplace Search 등을 시작하세요. www.elastic.co 위의 다운로드 링크에서 Logstash를 찾아갑니다. 7.13.1 버전 까지 나왔나 보네요. 아래에 보니 이전 버전을 확인 할 수 있습니다. 제가 서버로 쓰고 있는 컴퓨터에 맞게 7.12.1 WINDOWS 버전을 다운 받았습니다. 압축을 풀어줍니다. ..

Oracle 중복되는 데이터에는 같은 숫자 주며 순서 맥이기 . 윈도우 함수 DENSE_RANK()

json 에서 issue 들을 받아오는 페이지가 있습니다. 아직 페이징 처리가 되지 않고 있기 때문에 데이터가 많은데요 위에서 보이는 것 처럼 Collection 들을 가지고 있다 보니 쿼리 결과문에서 겹치는 부분이 꽤 있습니다. 페이징을 위해 rownum 을 보통 먹이곤 했는데, rownum을 줬다가는 같은 PK를 가진 친구들도 각기 다른 rownum을 가지기 때문에 제대로 된 페이징 처리가 될 수 없습니다. 이럴때는, 오라클의 윈도우 함수를 이용해서 번호를 주면 됩니다. 일단 기존의 쿼리문과 결과문입니다. select rownum as rn,a.* from ( SELECT ISSUE.ISSUE_SID AS ISSUE_ID ,ISSUE_NO ,ISSUE.PROJ_NO ,ISSUE_TITLE ,ISSUE..

Database/Oracle 2021.06.03

Windows) Kibana 설치하기 + Elastic Search 연동하기

Elastic Search 는 lucene 기반의 분석 엔진입니다. 쿼리를 짜서 '검색'을 하는 개념이기 때문에 Search 컨셉을 가지고 있습니다. Elastic Search는 시간이 갈수록 증가하는 문제를 처리하는 분산형RESTful 검색 및 분석 엔진입니다 위의 Elastic Stack을 구성하기 위해 Kibana를 설치해 보겠습니다. https://www.elastic.co/kr/downloads/kibana Download Kibana Free | Get Started Now | Elastic Download Kibana or the complete Elastic Stack (formerly ELK stack) for free and start visualizing, analyzing, and ..

Database/Elastic Search 2021.05.16 (1)

ajax로 elastic search DB에서 데이터 받아오기 예제

학원 최종 프로젝트에 검색 기능을 넣으려다가 선생님께 추천 받아 elastic search를 사용해 보고 있습니다. 기왕 DB를 구축해 사용하는거, 채팅 메시지에 대해서는 RDBMS 말고 Elastic Search를 활용하려 생각하고 있습니다. 그것을 위해 여러가지 실험을 해보다가 한번 ajax로 비동기 데이터를 전달 받아 화면에 렌더링 하는 테스트를 시행해 보았습니다. 간단하게 위의 코드만 작성했고, 해당 index/type/ (gaia/message/) 에는 몇가지의 더미 데이터를 미리 넣어두었습니다. 테스트를 해봤는데.. CORS policy로 인해 꽤나 고생했습니다. 위의 에러 해결이 필요하신 분은 아래 링크를 참고해주세요. https://shanepark.tistory.com/113 No 'Ac..

No 'Access-Control-Allow-Origin' header is present on the requested resource. 해결하기

Access to XMLHttpRequest at '' from origin 'http://localhost' has been blocked by CORS policy: No 'Access-Control-Allow-Origin' header is present on the requested resource. ajax를 이용해 elastic search의 데이터를 불러오는 테스트를 해보고 있었는데 에러가 발생했습니다. CORS(Cross-Origin Resource Sharing) 설정 때문인데요, POSTMAN이나 Web Browser에서 명령을 내릴때 잘 된다고 해서 ajax로 신호를 보내도 동일한 response를 기대한 제가 잘못이었습니다. 웹은 SOP(Same Origin Policy) 정책을 따..

Elasticsearch 3) Elasticsearch 외부 접속 허용하기

저는 집에서 DB 서버를 돌리고 외부에서 접속 할 예정입니다. MongoDB도 그랬는데 Elasticsearch도 기본적으로는 외부 접속이 막혀있었습니다. 127.0.0.1:9200 로 바인딩 되어있는 것을 변경해 주어야 합니다. 일단 설정파일을 변경해 주어야 되는데, 요 파일이 가장 의심됩니다. 열어봅니다. 럭키! 여기 내용이 있네요 network.host: 0.0.0.0을 추가해주고, 아래cluster.initial_master_nodes: ["node-1", "node-2"] 의 주석을 풀어줍니다. 컨트롤 + C 로 서버를 종료 한 뒤에, 새로 켜봅니다. 예~ 접속이 됩니다! 이후 공유기 포트포워딩에 9200 포트, 9300 포트 열어서 외부 아이피 접속까지 성공적으로 테스트 마쳤습니다.

Windows) Elasticsearch 2) Postman 설치하기 및 CRUD 예제

ElasticSearch를 활용하기 위해 Tool 을 설치합니다. Oracle에는 SQL Developer MYSQL에는 Sequel Pro MongoDB는 Robo 3T 가 있죠 이번에는 Api 를 테스트하기 위해 Postman을 설치할 예정입니다. https://www.postman.com/downloads/ Download Postman | Try Postman for Free Try Postman for free! Join 13 million developers who rely on Postman, the collaboration platform for API development. Create better APIs—faster. www.postman.com 위의 링크에서 다운 받습니다. 본인의 ..

Windows) Elasticsearch 1) Elasticsearch 설치하기

최종 프로젝트에서 전체 검색 기능을 넣으려고 하니 선생님께서 추천해주신 오픈소스 검색엔진 입니다. 아래의 링크에서 다운 받습니다. https://www.elastic.co/downloads/elasticsearch Download Elasticsearch Free | Get Started Now | Elastic Download Elasticsearch or the complete Elastic Stack (formerly ELK stack) for free and start searching and analyzing in minutes with Elastic. www.elastic.co 집에서 서버로 돌리는 컴퓨터가 Windows 라서 windows 용으로 다운 받습니다. .zip 파일이 다운 받아지는..

MongoDB 외부 접속 허용하기

MongoDB 를 처음 설치하면 localhost 를 통한 접속만이 가능합니다. 방화벽을 풀고, 포트 포워딩을 한다고 해도 설정을 변경해주지 않으면 외부에서 접속이 되지 않습니다. 요 파일을 수정해줘야 합니다. 저는 메모장을 이용해 수정했습니다. bindIp가 127.0.0.1 로 되어 있습니다. 모든 아이피에서 접속이 가능하도록 0.0.0.0 으로 변경해주었습니다. 다만 메모장을 관리자 권한으로 열어야 수정이 가능합니다! 이후 변경사항을 저장해줍니다. 하나 복사했습니다. 완전 확실한건 아닌데, Path가 program files 처럼 띄어쓰기가 들어갔더니 문제가 있었습니다. 경로에 한글이 있어도 문제가 있다고 합니다. 저는 그래서 dbPath와 logPath도 변경해주었습니다. mongod --conf..

Database/MongoDB 2021.05.08

windows ) MongoDB 설치하기

본 글에서는 windows에서의 설치를 진행합니다. mac의 경우에는 아래의 링크를 확인해주세요. shanepark.tistory.com/51 macOS) MongoDB 설치하기 docs.mongodb.com/manual/tutorial/install-mongodb-on-os-x/ Install MongoDB Community Edition on macOS — MongoDB Manual docs.mongodb.com MongoDB 공식 사이트의 가이드를 참고하며 설치했습니다. 설명이.. shanepark.tistory.com www.mongodb.com/try/download/community?tck=docs_server MongoDB Community Download Download the Commun..

Database/MongoDB 2021.05.08

windows ) Robo 3T 설치하기

shanepark.tistory.com/52 macOS) robo-3t 설치하기 robomongo.org/download Robomongo Robo 3T: the hobbyist GUI Robo 3T 1.4 brings support for MongoDB 4.2, and a mongo shell upgrade from 4.0 to 4.2, with the ability to manually specify visible databas.. shanepark.tistory.com 본 글은 windows 에서의 Robo 3T 설치에 대한 글입니다. Mac에서의 설치는 위의 글 링크를 참고해주세요. Robo 3T windows 용은 아래의 링크를 통해 다운 받을 수 있습니다. Robomongo Robo 3T: t..

Database/MongoDB 2021.05.08
반응형