Строим RAG вручную: как это работает под капотом

Изначально и был такой промпт, но с ним модель отвечала довольно сухо и часто ссылалась на приложение Б в документе, чтобы я сам там искал информацию. Такой промпт стоит писать если в документе есть развернутые ответы, но в этом пдф было все довольно сжато поэтому и переделал запрос

Строим RAG вручную: как это работает под капотом

Так же каждое начало нового чанка текста пересекается с предыдущим чанком через overlap

Строим RAG вручную: как это работает под капотом

Текст разбивается по separators = ["\n\n", "\n", ". ", " ", ""]. Сначала абзацы, потом строки, точки, пробелы и отдельные буквы. Если предложение слишком длинное(не вошло в chunk_size) и в нем нет точек то оно будет делиться на слова. Чтобы избежать это и создан def merge_small_chunks. Он соединяет все слова, которые разделились на отдельные санки(если такие вообще есть) на строки которые +- равны длине chunk_size

Строим RAG вручную: как это работает под капотом

Кстати об этом я даже не подумал. Лучше так же добавить overlap

def merge_small_chunks(pieces, chunk_size=500, overlap=50, separator=" "):
    buffer = []
    result = []

    for piece in pieces:
        buffer.append(piece)
        total_length = len(separator.join(buffer))

        if total_length > chunk_size:
            buffer.pop()
            if buffer:
                result.append(separator.join(buffer))

            tail = []
            tail_len = 0
            for p in reversed(buffer):
                if tail_len + len(p) > overlap:
                    break
                tail.insert(0, p)
                tail_len += len(p) + len(separator)

            buffer = tail
            buffer.append(piece)

    if buffer:
        result.append(separator.join(buffer))

    return result

От идеи к реальности: как я собрал свой первый пет-проект по распознаванию языка жестов

Да, у mediapipe есть распознавание кисти и идею с распознаванием ASL я уже делал с помощью mediapipe(ксати получилось чуть лучше и намного быстрее), но тут была идея сделать что-то с нуля, собрать данные, закрепить знание кода и тп

От идеи к реальности: как я собрал свой первый пет-проект по распознаванию языка жестов

Есть отдельная выборка где вообще нет руки, но насчет выборки где нет жестов, но есть рука даже не думал. Надо попробовавть, спасибо)