И как нейросеть понимает, что...

Задумался.
Вот предлагаю я нейросети нарисовать, допустим, город. Рисует. Как правило, довольно похоже.

Санкт-Петербург
https://i.ibb.co/CVdZqH1/27639443c9c...ee464336f0.png

Рим
https://images.playground.com/8f0c8a...ac08c8692.jpeg

Монреаль

https://images.playground.com/f59e62...5214fcd70.jpeg

Прага
https://images.playground.com/42b647...4189d7e54.jpeg


Карловы Вары
https://images.playground.com/7f1171...5c84a7b18.jpeg

Иногда рисует узнаваемые объекты, иногда - рядовую застройку.
https://i.ibb.co/NYG3Pzs/ce016cb79fd...e60fb5bc57.png
Вот такой аркады в Питере нет. Но выглядит очень по-питерски. А над ней что? Облака?


Но это известные города. Неудивительно, что нейросеть их знает.

Норильск
https://avatars.mds.yandex.net/get-s...9973dffc4/orig
Ведь знает, что это город и что город на севере.

Могла посмотреть в Интернете? Но тогда бы все города рисовала похоже и гораздо более похоже.

Тирасполь
https://avatars.mds.yandex.net/get-s...e30fd6d10/orig
Да где в Тирасполе такое?


А вот возьмём городишки, которые вряд ли нейросеть может знать.
Кирьят-Экрон, в котором я живу.
https://avatars.mds.yandex.net/get-s...bf392e912/orig
Мало похоже. Высокие холмы, высокие дома. Если бы просто смотрела Интернете, нарисовала бы так:
https://upload.wikimedia.org/wikiped...erial_View.jpg

Вот тоже вид сверху. Разницу видите?
Однако ясно, что это - южный город. Кипарисы и никакаих берёз.

Жеребково-городишко в Одесской области. Вряд ли НС знает о нём. Но нарисовала дом, а не человека и не зверя.
https://avatars.mds.yandex.net/get-s...da8edef57/orig

Сосница Черниговкой области. Не думаю, что нс в процессе обучения получала какую-то информацию об этом городишке. И нарисовано совсем непохоже. Это, скорее, похоже на Германию.
https://avatars.mds.yandex.net/get-s...924478725/orig

Но, опять таки, непонятно. Если бы она набрала "Сосница" в Интернете, она бы не нарисовала такой дом. А если нет, то как поняла, что это город, а не человек, зверь или, скажем, блюдо из сосновых иголок?

Может быть, НС ориентируется на окончание? Стал задавать несуществующие города.

Мёпоград
https://avatars.mds.yandex.net/get-s...924478725/orig

Мухосранск
https://avatars.mds.yandex.net/get-s...bd12f69e4/orig

Среднежопинск
https://avatars.mds.yandex.net/get-s...809d73460/orig

.
Как видим, рисует города, хотя таких не существует.

Кирьят-Поцкин.
В Израиле есть Кирьят-Моцкин. А "поц" на идиш, простите "член"

И это Израиль, во всяком случае, юг. Пальмы.
https://avatars.mds.yandex.net/get-s...bbe6d5abf/orig

Мяу-Таун.
Ну, это понятно
https://avatars.mds.yandex.net/get-s...b31cf4ed6/orig

Сидоровка
https://avatars.mds.yandex.net/get-s...c70a2dfc2/orig
https://avatars.mds.yandex.net/get-s...00a26907a/orig

Костино
https://avatars.mds.yandex.net/get-s...9289df30b/orig

Мудозвоново
https://avatars.mds.yandex.net/get-s...a06d7faad/orig

Кимлодрищинск
Опечатка. Хотел написать "Кислодрищинск"
https://avatars.mds.yandex.net/get-s...20df65449/orig
.

Мудозвоново и Кимлодрищинск, всё-таки, люди. Хотя за их спинами какие-то дома.

Попробовал дать названия несуществующих животных, с "завр" в конце.

Кенлозавр
https://avatars.mds.yandex.net/get-s...62e4c20b1/orig


Ркогозавр
https://avatars.mds.yandex.net/get-s...0d608bafb/orig



Хрюкозавр
https://avatars.mds.yandex.net/get-s...a2988ea3c/orig.

А вот с фамилиями процент попаданий меньше, но всё равно много.



Макушкин
https://avatars.mds.yandex.net/get-s...c2529f8b5/orig

Коляков
https://avatars.mds.yandex.net/get-s...361d3e203/orig


Клогунов
https://avatars.mds.yandex.net/get-s...9289df30b/orig

Мапенко
https://avatars.mds.yandex.net/get-s...a06d7faad/orig
Как видим, не распознала

Еусякякина
https://avatars.mds.yandex.net/get-s...2b2e4c1e1/orig

Макакеева
https://avatars.mds.yandex.net/get-s...6c63a9238/orig

.

https://avatars.mds.yandex.net/get-s...00a26907a/orig

Пурпуридзе

Муксон
Я думал, что это фамилия
https://avatars.mds.yandex.net/get-s...12bf44179/orig

Алгоритмы работы нейросети довольно банальны -
1) По любому запросу ищет тысячу картинок,
2) Отсеивает совсем непохожие друг на друга,
3) А оставшиеся пытается привести к некому общему знаменателю,
4) но так, чтобы результат был похож на осмысленное изображение.
Если похожих картинок совсем нет - рисует мужчину или женщину.

Поэтому картинку на тему "осел выступает а звери записывают" нейросеть изобразить не может - нет в сети подобных изображений.
Получается либо выступающий осел, либо пишущие звери, либо пишущий осел.

Главные проблемы нейросети в том, что думать она не умеет:
Она не понимает, что именно она изобразила кто есть кто на сгенерированных ею картинках.
Особенно это заметно в запросах с несколькими персонажами, когда на тему "спорят викинг и раввин" изображает двух раввинов или двух викингов.
​
Так же нейросеть не умеет в трехмерку: не способна создать 3-D модель сгенерированного ею изображения, поэтому неправильно изображает объемные объекты.
Рано или поздно (скорее поздно чем рано) научится и тому и другому.

Однако к тому времени возникнет другая проблема: сеть будет наполнена сгенерированными нейросетью изображениями с шестью пальцами, и кривыми объектами, и нейросеть начнет дублировать прошлые ошибки, не умея отличать настоящую фотографию от сгенерированного ранее фейка.

P.S. Извиняюсь, если пишу банальности, которые всем известны.