RAG-системы на арене: протестировали 5 популярных решений на реальных данных

Какой-то специальной подстройки решений мы не делали, брали значения по умолчанию.
По эмбеддерам и LLM в AnythingLLM , Witsy, Onyx:

• openai text-embedding-3-small

• gpt-4.1

Векторное хранилище в AnythingLLM брали по умолчанию LanceDB, режим chat mode (отдельный диалог под каждый вопрос).

Сбер выложил русскоязычную модель GPT-3 Large с 760 миллионами параметров в открытый доступ

Вот с таким черновиком Dockerfile запускаю ruGPT2048

FROM pytorch/pytorch:1.4-cuda10.1-cudnn7-runtime
USER root

# installing full CUDA toolkit
RUN apt update
RUN pip install --upgrade pip
RUN apt install -y build-essential g++ llvm-8-dev git cmake wget
RUN conda install -y -c conda-forge cudatoolkit-dev
# setting environment variables
ENV CUDA_HOME "/opt/conda/pkgs/cuda-toolkit"
ENV CUDA_TOOLKIT_ROOT_DIR $CUDA_HOME
ENV LIBRARY_PATH "$CUDA_HOME/lib64:$LIBRARY_PATH"
ENV LD_LIBRARY_PATH "$CUDA_HOME/lib64:$CUDA_HOME/extras/CUPTI/lib64:$LD_LIBRARY_PATH"
ENV CFLAGS "-I$CUDA_HOME/include $CFLAGS"
# installing triton
WORKDIR /workspace
RUN apt install -y llvm-9-dev
RUN pip install triton==0.2.1
RUN pip install torch-blocksparse
ENV PYTHONPATH "${PYTHONPATH}:/workspace/src/triton/python:/workspace/torch-blocksparse"

RUN git clone https://github.com/NVIDIA/apex && cd apex && pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./
COPY requirements.txt /tmp/requirements.txt # requirements из репы с ru-gpts
RUN pip install -r /tmp/requirements.txt
ENTRYPOINT [ "/bin/bash", "-l", "-c" ]


Deep learning и Caffe на новогодних праздниках

Советую посмотреть на курс Machine Learning на coursera.org,
курс Neural Networks for Machine Learning .

Также выше писал про cs231n.stanford.edu/syllabus.html.

Deep learning и Caffe на новогодних праздниках

Могу посоветовать http://cs231n.stanford.edu/syllabus.html.
Слайды и записи лекций (notes) хороши.

На данный момент этот курс продолжается, поэтому время от времени появляются новые материалы.