Pull to refresh

Comments 69

Неплохо!
Оно файлы к себе затягивает или просто строит индекс?
Доступ к файлу напрямую осуществляется или проксируется?
Что если у пользователя нет праа на какую-то папку?
Неплохо!

Спасибо!


Оно файлы к себе затягивает или просто строит индекс?

Ambar затягивает к себе все файлы и хранит у себя


Доступ к файлу напрямую осуществляется или проксируется?

Доступ к файлу через Ambar из его базы данных


Что если у пользователя нет праа на какую-то папку?

В настройках краулера можно указать из под какой учетки ходить. Во время поиска нет разделения файлов по правам

Ага. Т.е. доступы не наследуются из ntfs?
но rbac присутствует?
Ambar затягивает к себе все файлы и хранит у себя

Получается если помойка на терабайт, надо еще терабайт на Ambar выдать?

Да, получается так. И еще надо добавить место для поискового индекса

Использую дома архивариус 3000 — держит только индекс (примерно 20-30% от исходного объема). Из минусов: закрытый, не умеет OCR и под линуксом работает только под вайном.
угу, например для тектосвых файлов, вроде doc, html, pdf это где-то еще столько же места, сколько сами файлы. Покрайней мере так в recoll.
А что, делать пакеты больше не круто? Только докер, только хардкор?

Нам удобней разворачивать и обновлять приложение через docker, поэтому выбрали его

Больше не круто, да. К сожалению, теперь большинство софта деплоится в виде черных ящиков
К счастью докер это не черный ящик — в докер файле описана вся последовательность его приготовления.
Интересно!

Вопрос скорее концептуальный (идеи, предложения?): как быть с отсканированными документами? Доков много, секретари сканят все пачками в одну папку, не всегда все разбирается — адищенский ад в итоге.

Ну если ваши секретари уже отсканировали все документы то все просто — натравливаете на эту папку Ambar, он автоматически распознает текст со сканов и позволяет по нему искать. Вот скриншот как это выглядит: image

Русский распознается, также поддерживаются: Ita, Deu, Fra, Spa, Pl, Nld

Упс, извиняюсь, ниже уже ответили.

Прошу прощения за интимный вопрос, а что это вообще за рабочий процесс в котором несколько человек сканят в одну папку?


Просто мы делаем программу для работы с хотфолдерами и мне интересны пользовательские кейсы в этой области.


Если, конечно же, это не секретно.


Заранее спасибо.

Да нет никакого секрета: есть 1 сканер, есть 2 секретаря. Документы пришли, кто-то из них засунул их в сканер, он автоматом сделал копию пачки и положил в дефолтную папку. Пришел второй секретарь, сделал тоже самое с другим доком. Часть из этого отобрали и аккуратно куда-то положили, на часть забили.
А как происходит индексация новых файлов, по крону?

Да вы правы, в настройках краулера можно указать расписание запуска в крон-формате

Без учета разрешений доступа на оригинальные файлы вся эта затея бессмысленна. Прототип, не более.
Надо объяснить минусующим. Обычно на файловом сервере настроены четкие разрешения на папки различных отделов, на разные категории документов, или даже используется Dynamic Access Control.
Очень интересная идея сделать полнотекстовый кеш всего и отдавать его же всем.
Как наяву вижу следующие запросы: *парол*, *зарплат*директор*, и так далее.
На дворе 2017 год. И информационная безопасность это не последний, а первый вопрос, который должен быть у разработчика приложений.

Здорово заново изобрести Microsoft Search Server для *nix платформ, но безопасность, господа.

Иногда такие системы вполне себе живут в контурной модели безопасности, без всего развлечения с rbac. Для части применений этого вполне достаточно.

Докер-докер-докер-докер-докер. Убунту-убунту-убунту-убунту-убунту.


А если я хочу, например, на macOS развернуть это все? Или на OpenBSD? Или на RHEL? А ничего, говорят мне авторы этого проекта, ставь убунту и разворачивай там докер, потому что это стильно-модно-молодежно.


Нет ничего более идиотского, чем ПО, которое безальтернативно распространяется в виде докер-контейнера.

Так-то вообще гитхаб же. Бери/собирай/контрибьють
Я думаю если вы профинансируете в должной степени разработку, авторы учтут большинство ваших хотелок.
Открою страшную тайну — докер-контейнеры можно запустить и на macOS, и на опенке, и даже (до чего дожили!) на красной шапке.
Синее головное ведерко, надеюсь, не останется в стороне?)
Так докер можно запустить практически везде. Вот то, что нет отдельного пакета — это действительно хуже.
конечно, хорошо бы права доступа учитывать) и хорошо бы под винду, почему-то мне кажется, что проблема с файло-помойками в большей степени всё же у тех, кто в компьютерах не силён)
Софт ставится на сервере с Linux, а у не сильных в компьютерах клиентов может быть что угодно, в т.ч. и винда.
Если файлопомойка стала помойкой — это уже не инструмент, и его надо немножко удалить нахрен.
За удаление некоторых помоек весь отдел АСУ удалить могут. Причем физически, а не просто unmount в отделе кадров.
Знавал я одну помойку, стихийно образовавшуюся лет двенадцать назад.
«ШараСекретарь» называется.
Создавалась исключительно с целью файлообмена между начальником одного органа гос.власти с его приемной ибо принтер ставить начальнику было совершенно нецелесообразно, и даже настраивать печать на принтер в приемной не хотелось по соображениям — пусть секретарь допиливает напильником за шефом перед печатью.
(Да, я мог сказать что _Шефу_ не нужно ставить всё самое лучшее, и даже «так» посмотреть на завсклада, чтобы она перестала спорить).
Но блин, я не ожидал что эта папочка превратиться в главную файлопомойку предприятия.
Обнаружив что на этом компе висит больше файлов чем на штатной файлопомойке на большом толстом сервере с рейдом и т.п. я пытался бороться. Пару лет пытался. И ярлыки людям переправлял и разговоры разговаривал. Лет семь назад плюнул я на это дело и тупо переобозвал «Секретаря» в «Приемную» а файлсервер в «Секретарь».
Я там уже лет пять не появлялся, но шара живет…
История примерно такая же, только не у меня. Гос. предприятие, половина ПК личных, так же купленный в складчину qnap. Принес мне как-то друг диск, который в том qnap кто-то форматнул. И ладно, своя же помойка, но начальство грозило лишить премии весь отдел, так как им пользовалось все предприятие и основные БД (ms access) были на нем же.
Админа у них там не было, да и навряд ли кто-то в здравом уме согласился бы там работать на полную ставку.
UFO just landed and posted this here
идея классная, но без разграничения прав я не представляю, как ее внедрять.
У меня 300ГБ инфы на файловом сервере + у каждого пользователя еще свой профиль, который тоже можно засунуть для поиска инфы (папку Docs + Desktop).
Документы лежат в нужных папках по темам, но все равно их бывает хрен найдешь.
Осталось придумать как подтягивать разграничение по правам доступа и будет готовое решение.
Отличный пример применения докера. Просто образцово-показательный. После того, как ломается хотя бы одна из зависимостей, пересобрать золотой образ становится просто невозможно. Я бы сказал, что это гигантская куча антипаттернов системного администрирования.

А проект хороший, да.

Я вас не понял, про какой золотой образ вы говорите?

мы решились на создание своего продукта, конечно же open-source'ного.

А проект хороший, да.

Только вот он ни разу не "open source", там fair source с "Use Limitation: 1 user". Так что "хороший" при наличии массы разумных open source альтернатив — по-моему, преувеличение.

Ого. И они используют gpl'ные компоненты во всю без учёта лицензий? Сурово.

Я не уверен насчет gpl'ных, но там все как-то весьма сурово, да. Как минимум, у них в лицензировании должен быть отдельный (и большой, по идее, учитывая Docker) файлик с кучей всяких лицензий хотя бы на всякое такое. Впрочем, конкретно проект ambar-crawler у них вообще без явно указанной лицензии.

Одно юр.лицо — один юзер же. Всё нормально :)

Тщательно настроенный tesseract

А будут ли выложены исходники того же pipeline?

Можем вам лично предоставить, только расскажите что вы с кодом делать хотите.

Я поизучать исходники хотел :) Ведь вы описали свое решение как опенсорсное, а самая мякотка (апи и пайплайн) доступны только в виде докер-имейджей.
Ну так и лицензия не свободная. Опенсорс тут чисто в качестве рекламного хода, чтобы завлекать людей на свое фримиум решение. Ничего личного, просто бизнес.
Здорово! Google в свое время такие appliance продавал, но они на себе только индекс хранили и умели обходить в том числе пользовательские компьютеры, а тут все таки нужно много места, чтобы копию всех данных хранить.

Да, проблема появляется, когда захочешь это на NAS поставить. Идея хороша, но реализация хромает (как с сисадминской стороны — докерпомойка, так и с программной — хранение всех файлов в кастомной бд дубликатом)

Добавлю для создателей:
Крутое решение, только если бы был index only вариант обе эти проблемы были бы решены по большей части. Еще не помешал бы smb вариант, не хотелось бы всем давать админский доступ в малом/среднем бизнесе. А поисковик по документам мастхев.

Не понял про smb вариант, объясните пожалуйста

В owncloud\nextcloud можно подключить общую шару. Поиск по именам только есть. Обычно этого хватает, шара остается на месте, файлы не синхронизируются.

Интересно, а вы контрибьютите в проекты, которые используете? Как-то учитываете лицензии проектов, на которые опираетесь?


Например, я не вижу файла с перечислением лицензий зависимостей от слова совсем. Как минимум, часть зависимостей у вас под Apache License v2, но никакого указания этого я не вижу.


Ну и хвалиться тем, что у вас "Поддержка всех офисных форматов (в т.ч. openoffice), pdf с картинками и старых кодировок вроде CP866" довольно глупо, это есть у всех кто использует Apache Tika. Собственно, поддержку cp866/ibm866 я добавлял когда-то ради лексиконовских файлов.

Это коммерческий продукт, с несвободной лицензией дающий лишь ограниченный доступ (фактически фримиум), в котором «открытый код» лишь маркетинговый ход.
Формально они правы, свободная лицензия и открытый код хоть и коррелируют, но не синонимы. Но в целом это некрасиво конечно.
А нарушение чужих лицензий? Ну бывает. Но кто же будет судиться?

Мгновенно искать по именам файлов умеет everything (voidtools.com). Строит индекс, к себе ничего не копирует, умеет прикидываться http- и ftp-сервером.

Он хорош для локального поиска и, увы, windows only. Сканирование и переиндексация сетевой шары на несколько Тб может занять кучу времени.

Умеет индексировать сетевые диски. Обработка нескольких терабайт не может не занимать кучу времени, чудес не бывает. При использовании NTFS переиндексация осуществляется чуть ли не в реальном времени.

Я не отрицал, что не умеет сканировать шары, они добавляются в качестве обычного каталога. Но вот затык в том, что MFT и USN по сети не передаются, от того и низкие скорости. Кроме того, есть еще проблема с NTFS под линуксами: журнал не обновляется и переиндексацию приходится делать по расписанию.
Прочитал системные требования — 4 GB RAM, 50GB HDD, 2xCPU Core (кажется еще где-то на требование 64 бит натыкался...)
Это минимальные?! Чем вызвано? Просто хотел бы попробовать на старенькой машине.

Да это минимальные требования, такое железо необходимо чтобы запустился ElasticSearch и приемлемо работал OCR

Sign up to leave a comment.

Articles