Український стартап Harmix має революційне рішення для пошуку музики за допомогою AI

Для глобальної IT-індустрії ШІ швидко перетворюється з безкрайнього блакитного океану на мінливу водойму, що поступово темнішає від крові, яку пускають більш спритні, хижі гравці менш розторопним конкурентам. За цих умов досягти успіху можуть лише ті, хто ще задовго до ШІ-хайпу мав власні доробки та був готовий до жорсткої сутички.

Серед таких гравців — український проєкт Harmix, який пропонує не просто пошук музики за допомогою AI, а докорінні зміни у сфері паблішингу та синхронізації в цілому. Втім, краще про все по черзі…

Ідея сервісу з пошуку музики для відео прийшла студентові КПІ Назару Поночевному ще у 2018 році. Спершу це була тема його наукової роботи, але доволі швидко стало зрозуміло, що у практичному втіленні цього задуму є великий потенціал.

Маючи неабиякий хист в програмуванні ще зі шкільного віку, Назар, разом з тим, завжди тяжів до творчості. Його мати займалася музикою, а сам Назар і сьогодні у вільний час пише електронні треки та цікавиться діджеїнгом. Тож Harmix народився в синергії системного та креативного мислення.

З Harmix Назар став фіналістом конкурсу POLYTECO та вразив аудиторію на міжнародному івенті від КПІ Sikorsky Challenge 2019, де проєкт помітили фахівці з гонконгської компанії Global Virtual Design. Після цього Назар отримав запрошення на конференцію в Сінгапурі, де зайняв перше місце серед 200 стартапів зі всього світу.

Далі події розвивались ще стрімкіше. Перші гранти: 1, 13, 25 тисяч доларів. А вже у 2022 році Harmix отримали 500 000 від інвестора із Канади. Назар переїхав до Торонто, де паралельно з навчанням продовжує розвивати стартап разом із юною, обдарованою командою розробників, серед яких є українські студенти Оксфорду та стажери із Google. Завдяки переїзду до Канади Harmix взяли участь у TechCrunch Disrupt в Сан-Франциско, а нещодавно успішно презентували себе на престижній цеховій Production Music Conference в Лос-Анджелесі.

Наразі Harmix пропонують чотири продукти: prompt search, video search, similarity search та story search. Під терміном prompt search мається на увазі можливість пошуку композиції за будь-яким усним запитом. Наприклад, вам потрібен «dark orchestral track at a low place, with strings and large percussion», але ви гадки не маєте, яким чином подібне шукати? В цьому і допоможе prompt search — ключова інновація в переліку можливостей Harmix.

«Prompt search — це ніби четверте покоління у сфері пошукових систем для музичної індустрії. Раніше великі лейбли залучали до роботи зі своїми каталогами журналістів та критиків, які могли на слух дати визначення треку та класифікувати його в базі за допомогою певних тегів. Потім з’явилась можливість проставляти ці теги автоматизовано і вже по них шукати потрібну музику в гігантському каталозі, якщо вам, наприклад, прийшов запит на саундтрек для кіно», — пояснює Назар.

«Третє покоління — це similarity search. Завдяки цьому методу можна було шукати схожі за звучанням аудіо файли без огляду на теги та жанри. Тоді це був прорив. В принципі, і зараз similarity search лишається актуальним та затребуваним. Але prompt search — це нове слово. Він з’явився цього року і це пошук, куди вже інтегровано текст. Тепер люди можуть взагалі не орієнтуватись в жанрах, а просто своїми словами описати те, що їм потрібно. ШІ ж підбере їм потрібну музику».

Така еволюція пошукових систем відкриває захоплюючі перспективи аж до повного переосмислення сфери синхронізації (прим. — ліцензування музики в кіно, рекламі чи комп’ютерних іграх). ШІ швидко навчається і тепер має можливість обробляти данні одразу за двома параметрами — не тільки мільйони треків, але й слова, за якими люди шукають ці пісні. Harmix одними з перших у світі впровадили цю систему і добре розуміють, куди це піде далі. Спочатку prompt search дозволить суттєво прискорити, а деінде взагалі автоматизувати роботу супервайзерів (прим. — людина, яка підбирає музику для кіно чи гри). А далі це стане надбанням численних блогерів та ютуберів, які зможуть підбирати саундтреки з настільки ж влучним потраплянням в настрій, темп та формат власних відео, як у великому кіно.

Разом з тим, prompt search та конкретно Harmix можуть спровокувати революцію у сфері синхронізації із боку музикантів та композиторів. В цій індустрії багато чого вирішує наявність агента, що працює із каталогом — його зв’язки та доступ до тіла студійних продюсерів. Таким чином на стіл до режисера чи GameDev-студії потрапляє переважно музика великих лейблів, які співпрацюють з подібними агентами, мають вплив та розуміння таких складних процесів, як синхронізація. Бо інді-лейбли зрідка мислять поза межами циклу «реліз – стрімінги – Bandcamp».

Коли контент-мейкери всіх рівнів почнуть самі шукати потрібну їм музику, це поступово зруйнує вертикальні (ієрархічні) стосунки між митцем та клієнтом та налагодить тисячі нових горизонтальних зв'язків. Таким чином, стане можливою пряма угода між звичайним блогером та бедрум-продюсером. Однак, це лише одна із глобальних інтриг, які завертаються навколо українського стартапу.

«Ми вже бачимо, як великі гравці шукають можливість інтегрувати ШІ у свої бізнеси та інвестують в розробки. ШІ заходить у всі сфери й музика тут не буде виключенням. Інше питання, як це буде використовуватись далі? Наразі є три основні напрямки: ШІ, який сам пише музику; ШІ, як помічник у створенні музики людиною — він допомагає підбирати окремі стеми, mood чи inspiration треки тощо. Ну і, власне, пошук музики».

А як щодо темпів розвитку? Наразі Harmix вже спроможні загружати до своєї системи великі бібліотеки та запевняють, що можуть опрацювати каталог з мільйоном записів протягом двох тижнів. Зсередини продукт побудовано таким чином, що Harmix можуть дозволити собі одночасно залучати як великі світові лейбли, так і окремих артистів чи менші каталоги. В тому числі українські лейбли. Бо на відміну від багатьох стартапів, що досягли міжнародного визнання, Harmix не відкидають можливість роботи на рідному ринку та зацікавлені в його модернізації.

Члени команди Harmix тримаються принципу, що ШІ повинен допомагати людям в роботі, а не заміняти їх. Однак Назарові та його колезі Миколі Щербаню доводиться регулярно працювати з побоюваннями правовласників щодо ШІ. Дехто думає, що, отримавши доступ до бек-каталогу, штучний інтелект швидко навчиться копіювати чи навіть красти музику. Інші ж вважають, що це лише тимчасовий хайп і подібні інновації не здатні додати нічого корисного їх бізнесу. У відповідь, Harmix надають гарантію повернення коштів та запевняють, що не використовують музику клієнтів та партнерів для тренування моделей чи генерування треків.

Сам принцип роботи із сервісом доволі простий. Власник бек-каталогу (лейбл, дистриб’ютор чи видавець) може інтегрувати одразу всі чотири системи пошуку Harmix на свій сайт через API. Далі він передає свої треки та сплачує setup free, який базується на кількості треків у каталозі. Після цього Harmix аналізують треки та загружають їх на сайт для 30-денного тестування. Таким чином клієнт може спробувати технології пошуку Harmix на власному ж каталозі. Якщо результати пошуку треків не влаштують клієнта, то протягом 30 днів він може отримати повернення коштів. Це ризикована сервісна модель, на яку можна піти, тільки будучи впевненими у власному продукту.

Втім, частіше відбувається геппі-енд: задоволений клієнт після тесту інтегрує пошукову систему Harmix на власний сайт, знову ж таки через API. «Таким чином власники каталогів мають одразу декілька переваг: їх відвідувачі, які йдуть до них на сайт, можуть швидше знаходити потрібні треки й тим сами бустити кількість продажів. А їх sync department може швидше відповідати на музичні брифи, які їм присилають клієнти (рекламні агентства, ТБ та відео продакшени), а ще відкривати для себе рідкісні треки, про які вони могли забути через великий каталог», — пояснює VP of Partnerships в Harmix Микола Щербань.

Не слід виключати появу на цьому ринку нових гравців, бо конкуренти в Harmix є вже зараз. Сам Назар виділяє компанії Cyanite та AIMS, які також працюють із prompt search. Разом з тим, треба розуміти, що на зміну prompt search в перспективі може прийти щось нове – якесь ще більше досконале рішення, до появи та швидкої інтеграції якого команді Harmix треба бути готовим заздалегідь. Для цього вони проводять дослідження спільно із кращими університетами світу.

Діяти треба швидко, конкуренція росте, роботи дуже багато, але в Harmix тверезо дивляться на реальність та не піддаються зайвому азарту чи романтизації власної справи. Назар визнає, що проект має обмежену кількість часу для великих підписань, без яких продовжити розвиток та масштабування Harmix буде складно.

Ризик для стартапів завжди існує, але Harmix має обнадійливі сигнали. Лише за останні декілька місяців вони залучили каталоги з США, Британії, Німеччини, та Індії. А прямо зараз ведуть перемовини одразу з декількома найбільшими гравцями ринку. Тим часом Мінцифри в вересні визнали Harmix одним зі 100 найперспективніших стартапів України. Дізнавшись про цю новину з конференції в Каліфорнії, Назар резюмує: «Така підтримка надає впевненості та сил. Завжди складно запускати щось принципово нове, коли ти не можеш спиратись на чийсь попередній досвід. Але ми готові до роботи на найвищому міжнародному рівні й точно впевнені — із появою ШІ в музичній індустрії все стане набагато цікавіше».