есть некая фотка нужно найти старые записи в базе данных по ней (даже если она редактировалась),

из файла я могу получить несколько вариантов ключей для поиска в базе, условно можно разделить их по их длине и качеству, например самый грубый ключ будет всего 4х байтный (грубо говоря экран разделили на 4 зоны и усреднили цвет), но картинку можно повернуть несколько раз, или зеркалировать.

что-то не соображу как на таком примере мне организовать таблицу в базе для того, что-бы потом запросом искать (делать много колонок для этого короткого ключа не хочется, так как будут ключи 9, 16, 25, 36, 49, 56, 81, 100 байтные, может что-то поменяю, но пока планируется такой вариант)

SQL умеет только LIKE, больше он ничего не умеет.

Значит нужно иметь столько колонок, сколько потребуется. Для каждой длины ключа своя колонка.

а если 2 колонки. Ключ и ДлинаКлюча ? не ?

(2) Тогда это будет отдельная таблица - поисковый индекс

(0) Только различные варианты хеширования

А чем хеширование то не катит?

(2) в прицепе это подходит, только будет
ID, key, weight

чем длинее ключ тем больше значение веса

(5) простой хеш обломается после первой перезаписи файла,

я сначала думал в сторону построения дерева индекса, но вариант (2) наверно подойдет

(4)+ simhash лучше всего
https://habr.com/ru/company/superjob/blog/325014/
Все сведется к бинарным строкам, надо будет банально посчитать бинстроку текущего изображения и поискать в sql с минимальным числом битов отличия

(7) а почему обломается ? разве после изменения. он не будет другой ?

(7) Эм... CRC? Так помоему называется.

(0) дял частого поиска длинной строки среди множества строки придумали хэш-функцию, возвращающую короткий код. Поиск производится в 4 этапа:
1.Подготовительный: для каждой строки в базе рассчитывается хэш-код и строится по ним индекс.
2.Для строки поиска рассчитывается хэш-код.
3.Ищется строки с таким-же хэш-кодом.
4.Среди найденого на шаге 3 производится точное сравнение

(7) Рабочий вариант на мой взгляд.

(9) читаем (0)

>>>>есть некая фотка нужно найти старые записи в базе данных по ней (даже если она редактировалась)

то есть хеш разный, фотку не нашли

(13) >даже если она редактировалась
тут 100% найти без потерь и ложных срабатываний не поможет и ИИ

(13) Я думал ты хранишь все версии в бд. а раз только некоторые экземпляры. то не взлетит.

(13) Все отсканированные документы будут похожи друг на друга.

(13) Дык любой https://ru.wikipedia.org/wiki/Locality-sensitive_hashing юзаем и ищем очень похожие фотки.
Понятное дело если редактировалась сильно то там уже нихрена не найти

я склоняюсь что-то в таком духе https://habr.com/ru/post/55926/

и кстати я придумал как побороться с поворотами, надо изначально повернуть изображение под определенное правило (например левый нижний угол самый темный из всех углов) а потом вычислять хеш

(18) Прелестно

(19) 2 картинки, вторая - первая чуть повёрнутая... есть вполне хорошие шансы не попасть.

(18) основное "домашнее" редактирование это кадрирование - и тут не прокатит

(22) Если для хэша брать только центральный квадратик? Но как позиционировать сдвижку если кадрируют неровно

(22) основное домашнее редактирование
поворот, красные глаза, контрастность, цветность

кадрирование редко делают

(24) кадрирование делают в первую очередь

(24) Знаешь тонкость про метки девайса в каждом снимке?
Возможно там не только id устройства зашивается но и дата время и название файла, надо бы поразбираться с этим.
Тогда останется только выделить их и использовать в качестве хэша-идентификатора.

(26) не надежно... например на сканах старого альбома какие метки будут?

(27) Думаешь сканер метки не добавляет? Хаха.

сделал пилотный вариант (на основе 18, но доработал под поворот и последующий md5 хеш), по первым тестам примерно 30...50% задвоено, что где-то наверно близко, по сколько обычно делается несколько фото подряд.

правда медлено работает... примерно 200 файлов за 5 минут...

(0) Что-то не очень хороший вариант. Изменят яркость или экспозицию картинки хотя бы на 1% в любую сторону, и твой ключ перестанет работать.

Лучше сделай как в гугл-фото. Там определяется что изображено на фотографии, и ищется по этим наборам признаков. Например если на искомом фото человек сидит на скамейке и сзади проезжает автобус, то через поиск будут найдены все похожие фотографии где тоже сидит человек на скамейке и есть автобус.