Search the Community

В последние годы активно развиваются информационные технологии в области Computer Vision, Bigdata, нейронных сетей и дополненной реальности. Давайте вместе порассуждаем, что это могло бы привнести или даже принципиально изменить в нашем увлечении подводной охотой, дайвингом, фридайвингом… Эта статья разделена на 3 взаимосвязанные части: 1) Описание telegram-бота и нейросети определяющей подводных обитателей. 2) Прикладное применение computer vision и нейронных сетей. 3) Ваши замечания и пожелания, идеи. Часть 1) Описание telegram-бота и нейросети определяющей подводных обитателей Несколько лет назад я поставил себе задачу создания нейронной сети, которая бы распознавала всех обитателей подводного мира, что должно было бы дать возможность применения ее во многих областях жизнедеятельности человека, как в чисто научной, так и прикладной. Для решения этой задачи были написаны различные программные комплексы, которые собирали/обрабатывали/каталогизировали фото-видео материалы, опробованы различные математические модели нейронных сетей, проведены множественные эксперименты. В результате получен датасет, содержащий более 2 тысяч видов подводных обитателей, каждый из которых содержит от 1 до 7 тыс. правильно обработанных фотографий. Общий размер подводного датасета для обучения нейронной сети составляет сейчас более 500ГБ. Для многих видов подводных обитателей, у которых исходных материалов было достаточно, дополнительно появилась возможность представить с разделением по различным ракурсам обзора (сбоку, спереди, сверху, снизу), т.е. Вы можете определить с помощью нейросети не только вид, но и его положение. Позвольте представить Вам одну из начальных рабочих реализаций этой нейросети с подводными обитателями Республики Беларусь на базе telegram-бота: http://t.me/FishDetectBot или, ввиду блокировки адреса t.me в Беларуси, просто ввести в telegram "FishDetect" Замечание и пример, как пользоваться: - для получения предсказания того, что находится на изображении, достаточно передать этому telegram-боту изображение рыбы (перетащить, сфотографировать, передать из другого мобильного приложения и т.п.). В результате Вы получите список названий рыб с числовыми убывающими значениями предсказания вида рыбы от наиболее вероятного до вида, имеющего менее вероятное совпадение по мнению нейросети, т.е. первое значение – ответ на который стоит полагаться. - для получения максимально точного предсказания обязательно (пока)* обрезать (сфотографировать) изображение по контурам объекта предсказания (рыбы), желательно не перекрывая его отличительные признаки руками или иным образом. В идеале, разместив горизонтально на ровной однородной поверхности. - изображение должно содержать одну особь рыбы для распознавания. Пример для правильного фото: Пример с НЕправильным фото: * В ближайшее время в алгоритм обработки telegram-бота будет добавлена функция автоматической обрезки и обработки множественных объектов на изображении, а также на видео (см. ниже, как это уже работает). Этот бот подключен к нейронной сети, предсказывающей следующие виды, обитающие в нашей стране: Амур белый (Ctenopharyngodon idella, Grass carp)Амур белый (Ctenopharyngodon idella, Grass carp) - bottomАмур белый (Ctenopharyngodon idella, Grass carp) - frontАмур белый (Ctenopharyngodon idella, Grass carp) - topАмур черный (Mylopharyngodon piceu, Black amur)Амур черный (Mylopharyngodon piceu, Black amur) - frontБелоглазка (Abramis sapa, White-eye bream)Белуга (Huso huso, Beluga)Берш (Sander volgensis, Volga pikeperch)Берш (Sander volgensis, Volga pikeperch) - frontБобр (Castor, Eurasian beaver)Быстрянка (Alburnoides bipunctatus, Riffle minnow)Бычок трубчатый (Proterorhinus semilunaris, Western tubenose goby)Бычок-гонец (Neogobius gymnotrachelus, Racer goby)Бычок-кнут, бычок-мартовик (Mesogobius batrachocephalus, Knout goby)Бычок-кругляк (Neogobius melanostomus, Round Goby) - нерестБычок-кругляк (Neogobius melanostomus, Round goby)Бычок-песочник (Neogobius fluviatilis, Monkey goby)Бычок-рыжик (Ponticola eurycephalus, Mushroom goby)Бычок-цуцик (Proterorhinus marmoratus, Tubenose goby)Верховка, овсянка (Leucaspius delineatus, Sunbleak)Вырезуб (Rutilus frisii, Kutum)Вьюн (Misgurnus fossilis albino, Weatherfish)Вьюн (Misgurnus fossilis, Weatherfish)Голавль (Leuciscus cephalus, European chub)Голавль (Leuciscus cephalus, European chub) - bottomГолавль (Leuciscus cephalus, European chub) - frontГолавль (Leuciscus cephalus, European chub) - topГолец арктический (Salvelinus alpinus, Arctic char)Голец обыкновенный (Barbatula barbatula, Stone loach)Гольян обыкновенный, гольян красавка (Phoxinus phoxinus, Eurasian minnow)Гольян озёрный (Phoxinus perenurus, Lake minnow)Горчак (Rhodeus sericeus amarus, European bitterling)Густера (Blicca bjoerkna) - frontГустера (Blicca bjoerkna, White bream)Елец (Leuciscus leuciscus, Common dace)Ерш балона (Gymnocephalus baloni, Danube ruffe)Ерш обыкновенный (Gymnocephalus cernuus, Ruffe)Ерш обыкновенный (Gymnocephalus cernuus, Ruffe) - frontЕрш полосатый (Gymnocephalus schraetser, Schraetzer)Ерш черноморский (Scorpaena porcus, Black scorpionfish)Ерш-носарь, донской (Gymnocephalus acerina, Donets ruffe)Жерех (Aspius aspius, Asp)Жерех (Aspius aspius, Asp) - bottomЖерех (Aspius aspius, Asp) - frontЖерех (Aspius aspius, Asp) - topИгла черноморская (Syngnathus nigrolineatus, Greater pipefish)Калуга (Huso dauricus, Kaluga)Карась золотой (Carassius auratus, Goldfish)Карась обыкновенный (Carassius carassius, Crucian carp)Карась обыкновенный (Carassius carassius, Crucian carp) - bottomКарась обыкновенный (Carassius carassius, Crucian carp) - frontКарась серебряный (Carassius gibelio, Gibel Carp)Карась серебряный (Carassius gibelio, Gibel Carp) - bottomКарась серебряный (Carassius gibelio, Gibel Carp) - frontКарась серебряный (Carassius gibelio, Gibel Carp) - topКарась-золотая рыбка (Carassius auratus auratus, Goldfish)Карп (Cyprinus carpio carpio, Common Carp)Карп (Cyprinus carpio carpio, Common Carp) - bottomКарп (Cyprinus carpio carpio, Common Carp) - frontКарп (Cyprinus carpio carpio, Common Carp) - topКарп зеркальный (Cyprinus carpio carpio, Mirror carp)Карп зеркальный (Cyprinus carpio carpio, Mirror carp) - frontКарп кои (Cyprinus rubrofuscus, Koi)Колюшка девятииглая (Pungitius pungitius, Ninespine stickleback)Колюшка малая южная (Pungitius platygaster, Southern ninespine stickleback)Колюшка трехиглая (Gasterosteus aculeatus, Three-spined Stickleback)Колюшка трехиглая (Gasterosteus aculeatus, Three-spined Stickleback) - underyearlingКрасноперка (Scardinius erythrophthalmus, Rudd)Красноперка (Scardinius erythrophthalmus, Rudd) - bottomКрасноперка (Scardinius erythrophthalmus, Rudd) - frontКрасноперка (Scardinius erythrophthalmus, Rudd) - topКумжа (Salmo trutta, Sea trout)Кумжа (Salmo trutta, Sea trout) - frontКумжа (Salmo trutta, Sea trout) - underyearlingЛещ, подлещик (Abramis brama, Freshwater bream)Лещ, подлещик (Abramis brama, Freshwater bream) - bottomЛещ, подлещик (Abramis brama, Freshwater bream) - frontЛещ, подлещик (Abramis brama, Freshwater bream) - topЛинь (Tinca tinca, Tench)Линь (Tinca tinca, Tench) - bottomЛинь (Tinca tinca, Tench) - frontЛинь (Tinca tinca, Tench) - topЛинь золотой (Tinca tinca, Gold tench)Миксины (Myxini, Hagfish)Минога (Lampetra, Lamprey)Минога речная (Lampetra fluviatilis, River lamprey)Минога ручьевая (Lamperta planeri, European brook lamprey)Минога украинская (Eudontomyzon mariae, Ukrainian brook lamprey)Налим (Lota lota, Burbot)Налим (Lota lota, Burbot) - bottomНалим (Lota lota, Burbot) - frontОкунь речной (Perca fluviatilis, European perch)Окунь речной (Perca fluviatilis, European perch) - bottomОкунь речной (Perca fluviatilis, European perch) - frontОкунь речной (Perca fluviatilis, European perch) - topОсётр русский (Acipenser gueldenstaedtii, Danube sturgeon)Осётр русский (Acipenser gueldenstaedtii, Danube sturgeon) - bottomОсётр русский (Acipenser gueldenstaedtii, Danube sturgeon) - frontОсётр русский (Acipenser gueldenstaedtii, Danube sturgeon) - topОсётр сибирский (Acipenser baerii, Siberian Sturgeon)Пелядь (Coregonus peled, Peled)Пескарь белопёрый (Romanogobio albipinnatus, White-finned gudgeon)Пескарь обыкновенный (Gobio gobio, Gudgeon)Пескарь обыкновенный (Gobio gobio, Gudgeon) - bottomПескарь обыкновенный (Gobio gobio, Gudgeon) - frontПескарь обыкновенный (Gobio gobio, Gudgeon) - topПлотва (Rutilus rutilus, Roach)Плотва (Rutilus rutilus, Roach) - bottomПлотва (Rutilus rutilus, Roach) - frontПлотва (Rutilus rutilus, Roach) - topПодкаменщик обыкновенный (Cottus gobio, European Bullhead)Подлещик (Abramis brama, Freshwater bream) - less 1 kgПодуст (Chondrostoma nasus, Common nase)Подуст (Chondrostoma nasus, Common nase) - frontПодуст (Chondrostoma nasus, Common nase) - topПуголовка звездчатая (Benthophilus stellatus, Stellate tadpole-goby)Рак (Orconectes limosus, Spiny-cheek CrayfishРак американский сигнальный (Pacifastacus leniusculus, Signal Crayfish)Рак узкопалый (Astacus leptodactylus, Danube crayfish)Рак узкопалый (Astacus leptodactylus, Danube crayfish) - bottomРак широкопалый (Astacus astacus, European crayfish)Ротан (Perccottus glenii, Chinese sleeper)Ротан (Perccottus glenii, Chinese sleeper) - frontРыбец, сырть (Vimba vimba, Vimba bream)Ряпушка европейская (Coregonus albula, Vendace)Сазан (Cyprinus carpio, Common carp)Сазан (Cyprinus carpio, Common carp) - bottomСазан (Cyprinus carpio, Common carp) - frontСазан (Cyprinus carpio, Common carp) - topСарган (Belone belone, Garfish)Сиг (Coregonus maraenoides, Peipsi whitefish)Синец (Abramis ballerus, Zope)Снеток, корюшка европейская (Osmerus eperlanus, European smelt)Солнечный окунь (Lepomis megalotis, Longear Sunfish)Сом европейский (Silurus glanis, Sheatfish)Сом европейский (Silurus glanis, Sheatfish) - bottomСом европейский (Silurus glanis, Sheatfish) - frontСом европейский (Silurus glanis, Sheatfish) - topСом европейский альбинос (Silurus glanis albino, Sheatfish)Сомик американский (Ameiurus nebulosus, Brown bullhead)Сомик канальный (Ictalurus punctatus, Channel catfish)Стерлядь (Acipenser ruthenus, Sterlet sturgeon)Стерлядь (Acipenser ruthenus, Sterlet sturgeon) - frontСудак (Lucioperca lucioperca, Pike-perch)Судак (Lucioperca lucioperca, Pike-perch) - bottomСудак (Lucioperca lucioperca, Pike-perch) - frontСудак (Lucioperca lucioperca, Pike-perch) - topСёмга (Salmo salar, Atlantic salmon)Тиляпия зебровая (Буттикофера) (Tilapia buttikoferi, Zebra tilapia)Тиляпия нильская (Oreochromis niloticus, Nile Tilapia)Тиляпия нильская (Oreochromis niloticus, Nile Tilapia) - bottomТиляпия нильская (Oreochromis niloticus, Nile Tilapia) - frontТиляпия нильская (Oreochromis niloticus, Nile Tilapia) - topТиляпия нильская красная (Oreochromis niloticus, Red Nile tilapia)Тиляпия тигровая (Pelmatolapia mariae, Spotted tilapia)Толстолобик белый (Hypophthalmichthys molitrix, Silver carp)Толстолобик белый (Hypophthalmichthys molitrix, Silver carp) - frontТолстолобик золотой (Hypophthalmichthys nobilis, Gold carp)Толстолобик пёстрый (Hypophthalmichthys nobilis, Bighead Carp)Толстолобик пёстрый (Hypophthalmichthys nobilis, Bighead Carp) - bottomТолстолобик пёстрый (Hypophthalmichthys nobilis, Bighead Carp) - frontТолстолобик пёстрый (Hypophthalmichthys nobilis, Bighead Carp) - topТюлька (Clupeonella cultriventris, Black and Caspian Sea sprat)Угорь морской (Conger conger, European conger)Угорь морской (Conger conger, European conger) - underyearlingУгорь речной (Anguilla anguilla, European Eel)Угорь электрический (Electrophorus electricus, Electric eel)Уклейка (Alburnus alburnus, Bleak)Усач (Barbus barbus, Barbel)Форель радужная (Oncorhynchus mykiss, Rainbow trout)Форель ручьевая (Salmo trutta morpha fario, River trout)Хариус (Thymallus thymallus, Grayling)Хариус (Thymallus thymallus, Grayling) - frontХариус (Thymallus thymallus, Grayling) - topЧебачок амурский (Pseudorasbora parva, Stone moroko)Чехонь (Pelecus cultratus, Sichel)Чехонь (Pelecus cultratus, Sichel) - frontЩиповка золотистая (Sabanejewia aurata, Golden spined loach)Щиповка обыкновенная (Cobitis taenia, Spined loach)Щука (Esox lucius, Northern pike)Щука (Esox lucius, Northern pike) - bottomЩука (Esox lucius, Northern pike) - frontЩука (Esox lucius, Northern pike) - topЩука (Esox lucius, Northern pike) - underyearlingЩука амурская (Esox reicherti, Amur pike)Язь (Leuciscus idus, Ide)Язь (Leuciscus idus, Ide) - bottomЯзь (Leuciscus idus, Ide) - frontЯзь (Leuciscus idus, Ide) - topЯзь золотой (Leuciscus idus orfa, , Gold ide) В ближайшее время будет доступен публично на базе этой нейронной сети сайт-сервис (REST API), отдельное мобильное приложение, а также viber-бот, которые уже сейчас умеют и содержат следующую информацию: - распознавать по фотографии любого качества более 2000 видов подводных обитателей - гастрономическая ценность каждой рыбы (калории, витамины, белки, жиры, углеводы и т.д.) - халяльная (кошерная) или нет - названия на всех основных языках (для многих видов более чем на 20 языках) - альтернативные названия данного вида рыбы на каждом из языков (напр. рыбец (сырть), снеток (корюшка европейская)) - находится ли в Красной книге (исчезающий вид) - опасность для человека в природе (да/нет) - опасность употребления в пищу из-за содержания токсинов, ртути и т.д. (да/нет), из-за паразитов - наличие опасных для человека паразитов (см. напр. книгу "Паразиты рыб опасные для человека (Смирнова К.)") - разрешен ли вылов данной рыбы в каждой стране в выбранный период времени (для мобильного приложения по GPS) - регион обитания вида на карте (стран и конкретных водоемов, рек…) - пресноводная или морская / смешанный ? - промысловая ценность (рыбохозяйственное значение) - "степень вымирания" (редкость рыбы), графики уменьшения кол-ва по годам - размеры (диапазон) - продолжительность жизни - максимально зарегистрированный вес (размер) + рейтинг самых больших выловленных рыб выловленных этого вида - когда и при каких условиях (температура) проходит нерест - пути миграции на карте - ссылка на источники (книги с указанием стр.) с описанием рыбы и ссылка в wiki - точная научная классификация (класс – отряд – семейство…) - автор таксона - номер в каждой базе таксонов (itis, ncbi, eol, cabi и др.) - информация на что и когда лучше ловить Пример обучения нейросети и ее рыботы: VIDEO: g_video.mp4 Прошу всех желающих в этой теме, соблюдая требование к качеству изображения (см. выше) провести тестирование этого telegram-бота и нейронной сети для рыб обитающих в Республике Беларусь, а также высказать свои пожелания и замечания к самой идее этого продукта и его реализации, будущему и необходимости подобного приложения. Часть 2) Прикладное применение созданной нейросети Первым практическим применением нейросети стало создание подводного автономного дрона, напечатанного на 3D-принтере, который может производить различную работу – фотографировать или производить отлов конкретного вида. Вы можете указать ему, какой вид трофея и его размер он должен доставить Вам или просто указать координаты, где необходимо произвести нужный результативный нырок. Наблюдение за работой подводных дронов возможно также через очки VR: Прошу высказаться в этой теме о том, каким Вам видится будущее подводной охоты/дайвинга и др. подводной активности в симбиозе с технологиями будущего… Например, ниже я привел несколько примеров использования таких технологий в ближайшем будущем. Достаточно безумные, но осуществимые решения использования данной нейросети и computer vision в подводной охоте/дайвинге: - подводная маска с дополненной реальностью и подписью всех наблюдаемых объектов, степенью их опасности и т.д. - синхронизация спускового крючка с тем, что находится перед ружьем – запрет на выстрел, если это человек или запрещенный краснокнижный обитатель. p.s. Кроме распознавания подводных обитателей, подготовлены также датасеты грибов, животных, растений, деревьев, следов животных и их распознавание планируется добавить в первом квартале 2021 г. Также сейчас уже проходит тестирование отдельная нейросеть, определяющая многие виды рыб: по чешуе, икре, прошедшей термическую или иную обработку (сушеная), по текстуре волокон мяса и т.д. Часть 3) Ваши комментарии и видение технологического будущего подводной охоты, дайвинга, фридайвинга, акватлона очень желанны в этой теме Также, если Вы располагаете хорошими фотографиями подводных обитателей, Вы можете передать их через этого telegram-бота http://t.me/FishDetectBot или @admin любым удобным Вам способом - этим Вы поспособствуете в улучшении качества будущих предсказаний и внесете свой значимый вклад в развитие технологического прогресса.