Vector DB

## 기존 DB의 한계점 => RDBMS 기반의 전통적인 DB의 경우, SQL문을 통해 데이터를 처리하는데 매우 용이하다. 그러나 이미지, 동영상, 문서 등등의 다른 유형의 데이터가 많이 생성되고 있으며, 특히 AI 영역에서 관련하여 RDBMS 외 다른 유형의 데이터베이스의 수요가 증가하였다. ## AI에서 RDBMS의 한계점 => 인공 지능에서 필요로 하는 방대한 양의 데이터는 구조화되어 있지 않은 경우가 많으며, 그렇기에 RDBMS의 조직적 특성 상 다루기가 어렵다. ## Vector DB 란 => 벡터란 서로 다른 특성이나 품질을 기반으로 개체를 설명하는 수학적 데이터 표현 => 벡터는 단일 데이터 요소 (단어, 그림)이며, 여러 특성을 설명하는 값 모음으로 구성 => 인덱싱 전략을 통해 특정 쿼리..

AWS lambda 개념 정리

# AWS lambda 란? AWS의 Serverless Computing Service이다. Server를 Provisioning할 필요 없이 특정 이벤트에 대한 응답으로 코드를 실행할 수 있다. 즉 개발자 입장에서 따로 서버를 관리하지 않고도 비즈니스 로직 작성에만 집중하며, Application을 빌드하고 실행할 수 있도록 하는 Cloud Native 개발 모델이라고 보면 된다. Lambda 특징 => 완전 관리형 컴퓨팅 서비스 => 상태 비저장 코드 실행 => Node.js, Java, Python, C#, Go, Ruby 등 지원 => 이벤트가 트리거되면 그에 대한 응답으로 코드를 실행하는 방식 (참조 : https://cumulus.tistory.com/11) ==================..

Hadoop

Hadoop은 High Availability Distributed Object Oriented Platform의 약자이며, 고가용성 분산형 객체 지향적 플랫폼을 의미한다. 빅데이터 시장에서 절대적인 입지를 가지며, 하둡 에코시스템 생태계를 통해 빅데이터를 효율적으로 관리할 수 있게 되었다. 빅데이터 솔루션인 Hadoop 시장은 현재도 급성장하고 있으며, 비정형 데이터를 효과적으로 처리하는 오픈소스 빅데이터 솔루션이라는 특성으로 인해 많은 사랑을 받고 있다. (참조: https://m.blog.naver.com/acornedu/222069158703) ======================================================================================..

DeadLock

가령 어떤 은행 시스템이 존재한다고 가정해보자. A 은행과 B 은행 사이에서 다음과 같은 트랜잭션이 일어나려 한다. A -> (10만원) -> B B -> (5만원) -> A 최종적으로 A가 B에게 5만원을 받기만 하면 모든 거래가 깔끔하게 하나의 트랜잭션으로 해결될 수 있다. 하지만 위의 경우 만약 A 또는 B 은행에 잔고가 없더라도 추후 정산할 것을 기대하며 일종의 '신뢰 거래' 가 이뤄질 수도 있다. 이와 같은 방법을 막기 위해 추후에 정산하는 방법이 아닌 동시에 거래들이 이뤄지는 방법을 도입한다고 가정해보자. 그렇다면 동시다발적으로 수많은 트랜잭션이 이뤄질것이다. 다만 DB에서는 lock을 통해 데이터를 보호하려는 속성을 가지고 있다. 즉, A -> B로 계좌이체하는 트랜잭션이 이뤄질 때, DB에..

Docker 설치 및 기본 구축

### Docker의 개념 -> 하드웨어의 자원을 모두 가상화 (예시>VM)로 만들지 않고 프로세스만을 격리시켜 빠르게 환경을 구축하는 소프트웨어 플랫폼 -> 서비스 환경을 갖추고 Docker image로 만들어 배포 이후 컨테이너로 간단하게 실행이 가능하다. (https://www.dongyeon1201.kr/c20f7d07-6f23-4134-ae8e-e730dc7b5af6 참조) ============================================================================================ ### Container의 개념 =======================================================================..

Method 제한 및 OPTIONS 메소드

환경이 iplanet (7.0.27) 이라고 가정했을 때, 예를 들어 PROPFIND 메소드를 제한하고 싶은 경우 다음과 같이 설정해주면 된다. ${Iplanet_home}/${HTTP_SERVER}/config/${Virtual_server}.obj 에 다음과 같이 설정 AuthTrans fn="match-browser" browser="*MSIE*" ssl-unclean-shutdown="true" AuthTrans fn="set-variable" error="405" NameTrans fn="ntrans-j2ee" name="j2ee" 위 설정이 의미하는 것은 PROPFIND 메소드로 요청이 들어오는(request) 것들에 대해 web server가 405로 응답(response)한다는 것이다. 실..

Max Request Parameter

HTTP request에 포함될 수 있는 parameter의 개수를 지정해주는 것. 만약 모바일에서 첨부파일 (동영상, 음성파일) 포함 메일 발송 시 메일 전송이 되지 않는 등의 에러가 나타났을 때 다음과 같은 로그가 뜨면 해당 max request parameter 값에 대한 조정이 필요함. weblogic.utils.http.MaxRequestParameterExceedException at weblogic.utils.http.QueryParams.checkLimit(QueryParams.java:52) at weblogic.utils.http.QueryParams.getCurrentAndCheck(QueryParams.java:46) at weblogic.utils.http.QueryParams.p..

Linux 점검 시 유용한 명령어 정리 (updated 2023.03.20)

1. du -hsx * | sort -rh | head -n 10 해당 파일 안에 용량 높은 순으로 top 10 나타내기 2. df -Ph | grep -v 'tmpfs' 임시 파일 시스템을 제외한 실제 파일 시스템의 사용 현황 정보를 확인 3. mpstat | tail -1 | awk '{print 100-$NF}' 현재 CPU 사용률을 확인 (Idle 값 확인하고싶은 경우 '100-$NF' 대신 그냥 '$NF' 4. ps -o lstart=xxx 해당 PID의 기동 시간 확인 5. lsblk -l Name : 블록 장치의 이름 MAJ:MIN : 메이저와 마이너 장치 번호 RM : 0이면 제거 불가능. 1이면 제거 가능 블록 장치 SIZE : 장치의 용량 R0 : 장치가 읽기 전용인지 여부 TYPE :..