Embedding, VectorDB, Chunking 개념
Embed어떤 것을 다른 것에 삽입하거나 통합하는 행위, 예를 들어 웹페이지에 외부 콘텐츠를 '임베드'Embedding AI 에서는 단어나 문장과 같은 텍스트 데이터를 벡터의 형태로 표현하는 과정을 의미 임베딩 벡터는 텍스트보다 낮은 차원을 가짐, 데이터의 의미적, 문맥적 특성을 수치화 (위치 표현)embedding 된 벡터끼리 consine similarity를 계산하여 텍스트 간 유사도를 파악할 수 있음정확한 문자열이 아닌 "의미"로 검색하는 semantic search 가 가능다양한 embedding 모델이 있음VectorDB텍스트, 이미지 등을 임베딩한 고차원 벡터로 변환해 저장하고(key, value), 유사도 기반의 검색을 제공하는 특수 데이터 베이스 Pinecone, Weaviate, QD..
2026. 2. 8.
[Python] zip 함수 - 길이가 동일한 iterable 연산
길이가 같은 리스트, 튜플 등의 iterable의 요소들을 묶어서 하나의 zip 객체로 리턴해주는 함수 1. 리스트끼리 연산 dummy_list1 = [1, 2, 3, 4, 5] dummy_list2 = [1, 10, 100, 1000, 10000] print("결과:", [i * j for i, j in zip(dummy_list1, dummy_list2)]) dummy_list1 = [1, 2, 3, 4, 5] dummy_list2 = [1, 10, 100, 1000, 10000] dummy_list3 = [-1, -10, -100, -1000, -10000] print("결과:", [i * j + k for i, j, k in zip(dummy_list1, dummy_list2, dummy_list..
2023. 6. 14.
[Python] sum 함수 - sum의 인자 iterable, start에 대하여
sum 함수의 인자 iterable은 리스트, 튜플과 같은 자료형을 의미하며, numeric으로만 구성되어 있어야 한다. 그동안 항상 sum(iterable) 으로만 사용했었는데, start 인자도 활용할 수 있다는 걸 알게 되었다. 😆 1. sum(iterable) dummy_list = [1, 2, 3, 4, 5] print("결과:", sum(dummy_list)) 2. sum(iterable, start) start의 default 값은 0이고, 다른 값을 넣게 되면 덧셈의 시작 값이 변경된다. dummy_list = [1, 2, 3, 4, 5] print("결과:", sum(dummy_list, start=10)) start를 숫자가 아닌, 리스트로 넣을 수도 있다. 물론 iterable이 이중..
2023. 6. 14.
[Python] map 함수 - function, lambda
map( )은 function과 리스트, 튜플 등 iterable 을 인자로 받아 map 객체로 리턴 1. function을 사용하는 경우 dummy_list = [1,2,3,4,5] def square(i): return i**2 list(map(square, dummy_list)) 2. python 기본 모듈을 사용하는 경우 dummy_list = [1,2,3,10,11] max(map(min, enumerate(dummy_list))) 3. lambda를 사용하는 경우 dummy_list = [1,2,3,4,5] list(map(lambda x: x**2, dummy_list))
2023. 6. 13.
[Python] Collections - Counter 객체로 key, value 쌍 생성
- collections 모듈의 Counter 클래스는 별도 패키치 설치가 필요 없으므로, import해서 사용 - Counter 클래스는 list, tuple, set 객체를 이용하여 key-value 쌍 생성 import collections dummy_list1 = ["a", "c", "b", "a"] print(collections.Counter(dummy_list1)) 2개의 Counter 객체는 빼고 더하는 것이 가능함 import collections dummy_list1 = ["a", "c", "b","a"] dummy_list2 = ["b", "a", "c", "d"] counter1 = collections.Counter(dummy_list1) counter2 = collections...
2023. 6. 13.
[Python] list 정렬 - sort, sorted의 차이
1. sort() list 객체를 정렬하는 함수 dummy_list = ["x", "c", "a", "e", "f"] dummy_list.sort() print("결과:", dummy_list) list 객체에 string과 integer가 섞여있는 경우 sort() 동작하지 않음 dummy_list = ["x", "c", "a", "e", 5, "f", 1] dummy_list.sort() print("결과:", dummy_list) list 객체에 string과 integer가 이중 list 안에 들어있는 경우 아래와 같이 동작 dummy_list = [["x", 1, 3], ["c", 5, 2], ["a", 3, 2]] dummy_list.sort(key=lambda x:[x[2],x[0]]) pr..
2023. 6. 13.
