Всем привет! В данной статье попробуем разобраться с проблемой N+1 (или может правильнее 1+N?) и как ее решить с помощью использования EntityGraph.
Проблема N+1 возникает, когда мы генерируем запрос на получение одной сущности из базы данных, но у данной сущности есть свои связанные сущности, которые мы тоже хотим получить и hibernate генерирует вначале один (1) запрос к базе данных, чтобы получить интересующую нас сущность, а потом N запросов, чтобы достать из базы данных связанные сущности. Данная проблема отражается отрицательно на производительности работы базы данных из-за большого числа обращений к ней.
Создадим проект и подключим следующие зависимости:
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-jpa</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.postgresql</groupId>
<artifactId>postgresql</artifactId>
<scope>runtime</scope>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<optional>true</optional>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
<dependency>
<groupId>com.github.javafaker</groupId>
<artifactId>javafaker</artifactId>
<version>1.0.2</version>
</dependency>
</dependencies>Создадим две простые сущности Client и EmailAddress.
@Data
@NoArgsConstructor
@Entity
@Table(name = "client")
public class Client {
@Id
@Column(name = "id")
@GeneratedValue(strategy = GenerationType.IDENTITY)
private Long id;
@Column(name = "full_name")
private String fullName;
@Column(name = "mobile_number")
private String mobileNumber;
@OneToMany(cascade = CascadeType.ALL, mappedBy = "client")
private List<EmailAddress> emailAddresses;
public Client(String fullName, String mobileNumber, List<EmailAddress> emailAddresses) {
this.fullName = fullName;
this.mobileNumber = mobileNumber;
this.emailAddresses = emailAddresses;
}
}@Entity
@Table(name = "email_address")
@Data
@NoArgsConstructor
public class EmailAddress {
@Id
@Column(name = "id")
@GeneratedValue(strategy = GenerationType.IDENTITY)
private Long id;
@Column(name = "email")
private String email;
@JsonIgnore
@ManyToOne(cascade = CascadeType.ALL, fetch = FetchType.LAZY)
@JoinColumn(name = "client_id", referencedColumnName = "id")
private Client client;
public EmailAddress(String email) {
this.email = email;
}
}Связь между Client и EmailAddress @OneToMany, то есть у одного клиента может быть несколько email адресов.
Создадим также ClientRepository.
public interface ClientRepository extends JpaRepository<Client, Long> {
}В application.properties пропишем подключение к базе данных, а также чтобы в консоль выводились sql команды.
spring.datasource.url=jdbc:postgresql://localhost:5432/название Вашей БД
spring.datasource.username=Ваше имя для подключения к postgres
spring.datasource.password=Ваш пароль
spring.datasource.driver-class-name=org.postgresql.Driver
spring.jpa.database=postgresql
spring.jpa.hibernate.ddl-auto=update
spring.jpa.show-sql=true
spring.jpa.properties.hibernate.format_sql=trueСоздадим класс ClientService, где у нас будет бизнес-логика. В данном классе создадим метод для генерации данных в нашу базу. Создадим 2000 клиентов и пусть у каждого клиента будет по два email адреса.
@Service
public class ClientService {
private final ClientRepository clientRepository;
@Autowired
public ClientService(ClientRepository clientRepository) {
this.clientRepository = clientRepository;
}
public void generateDB(){
List<Client> clients = create2000Clients();
for (int i = 0; i < clients.size(); i++) {
clientRepository.save(clients.get(i));
}
}
public List<Client> create2000Clients() {
List<Client> clients = new ArrayList<>();
Faker faker = new Faker();
for (int i = 0; i < 2_000; i++) {
String firstName = faker.name().firstName();
String lastName = faker.name().lastName();
String sufixTel = String.valueOf(i);
String telephone = "+375290000000";
List<EmailAddress>emailAddresses= Arrays.asList(
new EmailAddress((firstName + lastName).toLowerCase() + "1" + i + "@gmail.com"),
new EmailAddress((firstName + lastName).toLowerCase() + "2" + i + "@gmail.com"));
telephone = telephone.substring(0, telephone.length()-sufixTel.length()) + sufixTel;
Client client = new Client(
firstName + " " + lastName,
telephone,
emailAddresses
);
for (EmailAddress emailAddress:emailAddresses) {
emailAddress.setClient(client);
}
clients.add(client);
}
return clients;
}
}Также создадим ClientController, где будем вызывать методы.
@RestController
@RequestMapping("/api/v1/client")
public class ClientController {
private final ClientService clientService;
private final ClientRepository clientRepository;
@Autowired
public ClientController(ClientService clientService, ClientRepository clientRepository) {
this.clientService = clientService;
this.clientRepository = clientRepository;
}
@ResponseStatus(HttpStatus.OK)
@GetMapping("/fillDB")
public String fillDataBase() {
clientService.generateDB();
return "Amount clients: " + clientRepository.count();
}
}Через postman сделаем get запрос на http://localhost:8080/api/v1/client/fillDB наша тестовая база данных должна заполниться.
Далее дополним ClientRepository методом
List<Client> findByFullNameContaining(String name);Мы будем искать клиентов по части имени.
Дополним класс ClientService методом
public List<Client> findByNameContaining(String userName){
return clientRepository.findByFullNameContaining(userName);
}а также дополним класс ClientController методом
@ResponseStatus(HttpStatus.OK)
@GetMapping()
public List<Client> findByNameContaining(@RequestParam String clientName) {
List<Client> clients = clientService.findByNameContaining(clientName);
return clients;
}Создадим проблему N+1: зайдем в postman и сделаем get запрос с параметром clientName на http://localhost:8080/api/v1/client?clientName=Ren
И в консоли мы увидим, что hibernate сделал вначале один запрос в базу данных в таблицу client и нашел всех клиентов, а потом еще N-запросов к таблице email_address, чтобы получить у каждого клиента email адреса.
Как решить проблему N+1? Суть решения этой проблемы в том чтобы сократить количество запросов к базе данных до необходимого минимума, то есть до одного.
Есть несколько возможных решений, я покажу как это решить с помощью JPA Entity Graph.
Entity Graph - позволяет улучшить производительность во время выполнения запросов к базе данных при загрузке связанных ассоциаций и основных полей объекта. JPA Entity Graph загружает данные в один запрос выбора, избегая повторного обращения к базе данных. Это считается хорошим подходом для повышения производительности приложений.
Вариант 1. Пишем аннотацию@EntityGraph над методом findByFullNameContaining в ClientRepository.
public interface ClientRepository extends JpaRepository<Client, Long> {
@EntityGraph(type = EntityGraph.EntityGraphType.FETCH, attributePaths = "emailAddresses")
List<Client> findByFullNameContaining(String name);
}По умолчания @EntityGraph имеет тип EntityGraphType.FETCH , но для того чтобы понимать, что происходит я его указываю, и он применяет стратегию FetchType.EAGER к указанным атрибутам, то есть к emailAddresses.
Зайдем в postman и сделаем снова get запрос с параметром clientName на http://localhost:8080/api/v1/client?clientName=Ren
Мы получим только один запрос к базе данных.
Вариант 2. Пишем аннотацию @NamedEntityGraphнад классом Client.
@Data
@NoArgsConstructor
@Entity
@Table(name = "client")
@NamedEntityGraph(name = "client_entity-graph", attributeNodes = @NamedAttributeNode("emailAddresses"))
public class Client {
@Id
@Column(name = "id")
@GeneratedValue(strategy = GenerationType.IDENTITY)
private Long id;
@Column(name = "full_name")
private String fullName;
@Column(name = "mobile_number")
private String mobileNumber;
@OneToMany(cascade = CascadeType.ALL, mappedBy = "client")
private List<EmailAddress> emailAddresses;
public Client(String fullName, String mobileNumber, List<EmailAddress> emailAddresses) {
this.fullName = fullName;
this.mobileNumber = mobileNumber;
this.emailAddresses = emailAddresses;
}
}
В данном случае также будет использоваться "жадная" загрузка указанной связной сущности emailAddresses.
Также необходимо исправить аннотацию над ClientRepository.
public interface ClientRepository extends JpaRepository<Client, Long> {
@EntityGraph(type = EntityGraph.EntityGraphType.FETCH, value = "client_entity-graph")
List<Client> findByFullNameContaining(String name);
}Cделаем снова get запрос с параметром clientName на http://localhost:8080/api/v1/client?clientName=Ren
Получим один запрос к базе данных.
Спасибо Всем кто дочитал до конца данную статью. Всем пока.