Рано или поздно у любой ИТ компании (аутсорс или продуктовой) возникает желание организовать собственное пространство, где можно хранить информацию по проектам, сотрудникам, продажам. Вести рабочую переписку и обсуждать задачи/стратегии/документы. Чаще всего, такие компании начинают кодить все сами или пилят что-то для Битрикс24 и тд. В данной серии статей я расскажу о нашем велосипеде — опыте автоматизации процессов. Как положено, почти все self-hosted, opensource и постараемся обойтись почти без кодинга.
Disclamer
В серии статей описан пример реализации инфраструктуры, автор не призывает повторять и не претендует на "правильность" таких подходов. Некоторые части описываемой системы реально и успешно используются в нескольких организациях на протяжении 3-х лет. Автор с радостью принимает предложения по улучшению системы или предложения альтернативных решений. Пожалуйста, не разводите обсуждения типа "кому это нужно" и "что за костыли", кому не нужно, пусть не читает и не мешает комментаторам вести диалог
Итак, что же может захотеть средняя аутсорс компания от подобной системы:
- База данных сотрудников с распределением прав доступа к информации
- Конечно GIT сервер, пользователи которого, будут связанны с пунктом 1
- Обязательно Chat-Server (Messenger если хотите) и конечно с пользователями из пункта 1
- Корпоративная почта, по любому с пользователями из пункта 1
- Организация процесса найма/подбора кандидатов для HR
- Трекинг проектов и задач
- Организация процесса продаж
- Организация процесса обучения и стажировок
- Роад-мап разработчиков и других сотрудников
- Геймификация некоторых процессов (для души)
– это наш скромный список. У кого-то он в разы больше, у кого-то наоборот.
Сразу возникает много вопросов, "зачем нам свой GIT сервер?", "зачем сервер чатов?" и тд. На эти и новые вопросы из комментарий я буду отвечать по мере написания статей по конкретному направлению.
Из схемы перед катом и списка выше сразу понятно, что основной частью системы будет являться подсистема управления пользователями. Исторически, да и на практике, LDAP в этих вопросах лидер. LDAP старый, сложный, но очень мощный. Я предпринимал 3 попытки затащить LDAP в разных реализациях типа OpenLDAP и других, более легковесных, но это отнимало много времени, и я решил пока обойтись без него.
Таким образом, нам придется управлять всеми действиями через RESTapi. Возможно, позже я еще раз попробую интегрировать LDAP и напишу дополнение.
В качестве основы всей системы, мы перепробовали множество OpenSource ERP/CRM систем (Odoo, Axellor и другие), пытались адаптировать OpenProject и подобные проекты. Все они по своему хороши, но одним из требований была легковесность и простота доработки. Решили выбрать что-то на PHP, благо их вагон.
И так, мы имеем EspoCRM. Штука молодая, сложно сказать что это "самый лучший" выбор, но она нам понравилась. Без кодинга можно создавать сущности, можно добавлять поля и связи, похожа на CMS, но чуть более расширенная.
Наконец к делу. Подготавливаем платформу
После долгого предисловия, Espo будет выполнять следующие задачи:
- Управление пользователями
- Портал для сотрудников с новостями и другой информацией
- Организация HR процесса
- Ведение стажеров и обучающихся
- Таск-трекер
- Организация процесса продаж (CRM все таки :))
Устанавливаем платформу
Тут все как с любым PHP проектом. Весь процесс подробно и с картинками расписано вот тут
После установки мы попадаем вот в такой интерфейс:
И мы имеем готовую к работе CRM. Но нас сейчас интересует управление пользователями.
(Я решил использовать Русскую версию, перевод неплохой и понятный).
Идем в Администрирование -> Управление объектами -> User (Поля).
Видим очень много разных полей. Сейчас страница пользователя (для админа) выглядит вот так:
В зависимости от хотелок, можно добавить такие поля как Skype, Telegram, VK, Facebook и тд. Я добавил День рождения (странно, что его нет по дефолту), Дата начала стажировки, Дата начала обучения, Дата приема на работу, ИНН, Банк и номер расчетного счета (для документов и бухгалтера).
Мы также можем настроить видимость полей, в зависимости от роли или от любого другого поля.
Поля можно добавлять/удалять в любой момент.
Теперь идем в Администрирование -> Управление макетами -> Пользователи -> Детализация.
Видим что-то такое:
Теперь просто мышкой перетягиваем новые поля в нужные места, создаем панели и тд, все по своему вкусу. Сохраняем, и теперь вид страницы пользователя будет как в макете.
На этом настройку полей и шаблонов мы закончим, далее по тексту я буду писать что-то типа "добавим поле" и тд.
Это не мануал по EspoCRM, и я никакого отношения к этому продукту не имею. Я лишь описываю процесс создания интрасети, поэтому что-то описано более подробно, что-то наоборот.
Эту систему можно настраивать долго и беспощадно, можно менять внешний вид и тд. Но сейчас перейдем к следующей подсистеме.
Почта
Почта — крайне важный компонент системы. Ваши коллеги не обязательно должны ею активно пользоваться, есть мессенджеры и все такое. Но регистрации в разных сервисах, деловая переписка и тд — должно происходить через email.
В нашем случае — почта это не self-hosted подсистема. Конечно, можно организовать свой сервис, куча готовых решений на рынке. Но мы решили использовать Яндекс.Коннект. У них очень добрые лимиты в 1000 пользователей, достойный web-интерфейс и достаточный RESTapi. Конечно не без рекламы, но в наше время — это нормально.
Организовать почту можно по инструкциям от производителя и затем вернуться к этой статье.
Будем считать, что у нас уже есть настроенный сервис, и теперь нам надо связать почту и портал на espo.
Так как мы в целом не хотим много кодить, и интеграций у нас в будущем будет больше или они могут изменяться, мы решили использовать Node-RED.
Node-RED
Некоторым покажется странным использование такой штуки, но это действительно крутой продукт, позволяющий сделать очень много интеграций за короткий промежуток времени.
У Node-RED конечно есть минусы, основные: отсутствие разграничения прав, и он не подходит для высоко-нагруженных систем. Последнее нас не волнует, так как система не будет нагруженной, а вот первое означает, что изменять конфигурацию системы сможет только тот, у кого есть логин и пароль от админки.
Ставим Node-RED по инструкции с оф. сайта, проверяем, что все работает и открываем доки на API Яндекс.Коннекта.
Нам нужно зарегистрировать новое приложение и сгенерировать ему API Token.
В платформах выбираем "Веб-сервисы" и нажимаем кнопку-ссылку "Подставить URL для разработки".
Далее, настраиваем права данному приложению.
Нас сейчас интересует только Яндекс.Коннект Directory API, и настроить права можно, к примеру, вот так:
(минимально необходимо только Управление пользователями и Чтение данных о сотрудниках)
Сохраняем и видим что-то вот такое:
Теперь нам нужно получить токен, с которым и будем делать запросы. Добрые ребята из Яндекса предусмотрели Отладочный токен, который очень легко получить и можно смело использовать для запросов.
Открываем в браузере ссылку https://oauth.yandex.ru/authorize?response_type=token&client_id=<ID>, разрешаем доступ приложению и получаем заветный токен
Сохраняем токен в надежном месте.
Теперь, наконец, переходим к интеграции через Node-RED.
- Открываем http://localhost:1880, видим Flow 1
- Перетаскиваем из палитры inject и function
- Связываем как на картинке ниже
- Открываем настройки inject и ставим галочку "Inject once after 0.1 seconds, then"
- Открываем function и пишем такой код
global.set('YaConnectToken', 'AgAAAA......');
return msg;Так мы запишем токен в глобальные переменные и дальнейшем сможем получать его с помощью global.get() в любой функции.
Inject нужен, чтобы заставить функцию выполнится при старте Flow 1. В эту же функцию, мы будем добавлять и другие токены. Не очень удобно, но лучшего варианта я пока не нашел
Node-RED + Яндекс.Коннект
- Кидаем на Flow вот такие ноды: inject, function, http request
- Соединяем в том же порядке
- Открываем inject, выбираем в выпадающем меню, слева от поля ввода, JSON и пишем вот такой текст
{ "userName":"testuser", "firstName":"Test", "lastName":"User", "emailAddress":"testuser@mydomain.ru", "dob":"1988-01-01", "gender":"male", "passwordConfirm":"12345678Eiru", "isActive":true }
Это будет тестовый аккаунт нашего потенциального юзера.
- Открываем ноду function и пишем следующий код:
const TOKEN = global.get('YaConnectToken'); const user = msg.payload; // Получаем данные о юзере из предыдущей ноды const body = { 'department_id': 1, // ID отдела в Яндекс.Коннект, отдел по умолчанию 1 'is_admin': false, // Новый пользователь не админ 'nickname': user.userName, 'name': { 'first': user.firstName, 'last': user.lastName }, 'birthday': user.dob, // 'YYYY-MM-DD', 'gender': user.gender, //'male/female/null' 'password': user.passwordConfirm, 'is_dismissed': user.isActive, 'position': user.title // Опционально } return { headers: { 'Authorization': 'OAuth ' + TOKEN, //'X-Org-ID': 1234 // Нужно если у Вас больше одной организации. Подробнее тут: https://wilix.org/l/wlwrtj }, payload: body }
Тут мы подготавливаем тело запроса по инструкции и устанавливаем заголовок с токеном авторизации.
Открываем ноду http request, выбираем тип запроса POST, и в url вставляем такой адрес
https://api.directory.yandex.net/v6/users/
Нажимаем кнопку Deploy в правом верхнем углу и тыкаем на вкладыш слева от нового inject (это заставит ноду отправить JSON из inject в function и запустит весь процесс)
Если все прошло удачно, на выходе http request ноды, мы получим msg со statusCode 200 или 201 и примерно такой payload:
Ура! Мы сделали первый кусок интеграции!
Интеграция EspoCRM с Node-RED
Теперь нам нужно наконец связать базу пользователей (нашу CRM) с Node-RED и в последствии с Яндексом.
Тут от нас потребуется немного PHP, но я уже все подготовил.
Достаточно создать файл UserSaved.php в директории EspoCRM по пути custom/Espo/Custom/Hooks/User и скопировать туда вот этот код:
<?php
namespace Espo\Custom\Hooks\User;
use Espo\ORM\Entity;
class UserSaved extends \Espo\Core\Hooks\Base {
public function afterSave(Entity $entity, array $options = []) {
$entityValues = $entity->getValues();
unset($entityValues['password']);
$entityValues['isNew'] = $entity->isNew();
$data = array(
'event' => 'afterSave',
'entity' => $entityValues,
);
$this->_callRed($data);
}
public function afterRemove(Entity $entity, array $options = []) {
$entityValues = $entity->getValues();
unset($entityValues['password']);
$data = array(
'event' => 'afterRemove',
'entity' => $entityValues
);
$this->_callRed($data);
}
private function _callRed($data) {
$data_string = json_encode($data);
$ch = curl_init('__NODE_RED_ENDPOINT__');
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_POSTFIELDS, $data_string);
curl_setopt($ch, CURLOPT_HTTPHEADER, array(
'Content-Type: application/json',
'Content-Length: ' . strlen($data_string))
);
$response = curl_exec($ch);
curl_close($ch);
return $response;
}
}Тут мы объявляем Hook на сохранение и удаление объекта пользователя. (можно почитать в доке) Каждый раз, когда кто-то сохраняет/создает/удаляет пользователя в Espo, будет отправляться запрос на сервер Node-RED. Наверное не самый безопасный способ, но если сервер Node-RED и EspoCRM находятся на одной физической (или виртуальной) машине, можно использовать localhost и уже будет чуть секурнее.
NODE_RED_ENDPOINT — мы настроим чуть позже.
- Переключаемся обратно на Node-RED и перетягиваем из палитры следующие ноды: http in, http response, debug
- Открываем http in и настраиваем как на картинке
- Соединяем ноды вот так
- Возвращаемся к файлу UserSaved.php и меняем NODE_RED_ENDPOINT на АДРЕС_NODE_RED/user-event
- Сохраняем файл
- Нажимаем Deploy в Node-RED
- В EspoCRM идем в Администрирование -> Очистить кэш
- В EspoCRM, в левой панели открываем "Пользователи" и создаем нового юзера
- Если все прошло правильно, создастся новый юзер и в консоли Node-RED (справа нажать на вкладку с жуком) мы увидим подобный JSON
{ id: "5e430b3c59783cb41" name: "User Test" deleted: false isAdmin: false userName: "usertest" type: "regular" password: "GVhrB......" passwordConfirm: "oRM1..." authMethod: null salutationName: "Mr." firstName: "User" lastName: "Test" isActive: true isPortalUser: false isSuperAdmin: false title: "Frontend developer" emailAddress: null phoneNumber: null sendAccessInfo: false gender: "Male" createdAt: "2020-02-11 20:14:52" modifiedAt: "2020-02-11 20:14:52" dob: null inn: null emailAddressIsOptedOut: null phoneNumberIsOptedOut: null emailAddressData: array[0] phoneNumberData: array[0] defaultTeamId: null defaultTeamName: null teamsIds: array[0] teamsNames: object teamsColumns: object rolesIds: array[0] rolesNames: object portalsIds: array[0] portalsNames: object portalRolesIds: array[0] portalRolesNames: object createdById: "1" isNew: true }
Поле isNew сообщает нам, новый ли это пользователь или уже существующий
Поле passwordConfirm содержит пароль который мы ввели при создании юзера, он приходит только когда мы задаем новый пароль и вводим подтверждение пароля.
Это поле нам нужно, чтобы установить его в новую учетку на почте.
Осталось все это соединить:
- Переделываем схему как на картинке (самые первые 2 ноды не трогаем)
- Открываем ноду function и меняем строку 2 на вот это
const user = msg.payload.entity; if (msg.payload.event != 'afterSave') { // Если событие не про сохранение пользователя, ничего не делать return null } - Нажимаем Deploy
- Идем в Espo и опять создаем нового юзера (предыдущего можно удалить)
- Если все хорошо, то в консоли Node-RED видим JSON от Яндекса с данными нового аккаунта
- Радуемся :)
Итог
Мы рассмотрели базовый принцип интеграции через Node-RED. Конечно, мы не учли удаление и редактирование пользователя. Ниже ссылки на готовый Flow, который все учитывает. Его можно просто скопировать и импортировать себе (обновив токены доступа конечно).
EspoCRM можно настроить под свой вкус, цвет и наладить разные процессы, но вместо нее можно использовать любую другую систему, которую вы готовы взять за основу.
В следующих статьях я расскажу:
- как прикрутить self-hosted GIT (не GitLab :))
- как прикрутить self-hosted чат аля Slack
- как мы организовали процесс подбора персонала для HR и как ловим и сохраняем лидов с сайта.
- и как это все синхронизируется с базой пользователей.
FAQ:
Q: Зачем вообще Node-RED, если запрос можно сделать прямо из PHP к Яндексу?
A: Имея интеграцию на стороне Node-RED, мы можем менять конфигурацию, добавлять новые сервисы и хуки, на изменения пользователя, без дополнительного кодинга (не считая мелких функций на Node-RED). Процесс деплоя обновлений сводится к одной кнопке.
