Организованное программирование

друзья привет это подкаст Организованное программирование я его ведущий Кирилл Макевнин и сегодня вместе с Андреем Татариновым мы разберём тему эмля машинного обучения искусственного интеллекта но не с точки зрения как обычно это сейчас делают заменит ли он там нас всех не заменит а с точки зрения как бы инженерных задач которые стоят перед людьми которые эти системы используют и разрабатывают я правильно кстати если я скажу что это типа AI ops вот что-то в эту сторону ну мы можем в эту углубиться я бы не сказал ну я бы так не говорил о'кей ну технические всякие штуки там тоже есть в том числе с производительностью и всё в этом духе, да у Андрея своя собственная компания Эпоха 8 если по-русски её называть и вот Андрей занимается уже много лет помогает проектам стартапам делать ML ну пару слов про себя дополнительных расскажи у тебя там классные слова в описании есть привет да меня зовут Андрей Татаринов я много лет инженер когда-то работал в Яндексе в Гугле это иногда важно бывает упомянуть какое-то время назад я поверил в то что вот в машинном обучении будущее и подумал что может быть лучше чем для того чтобы ворваться в эту тему чем порешать чужие задачи в этой области и собственно тогда же я и организовал команду Эпоха 8 мы помогаем э решать задачи методами машинного обучения когда-то это было настоящее машинное обучение мы про это сейчас поговорим и задачи по процессингу данных вот как-то так ну это связано то есть ты начал до бума или в как бы после уже это зависит от того какой какую из инкарнаций Бума мы рассматриваем то есть там мир развивался так было то что люди называют классические Мль это вот семейство подходов в районе

бустингов XG бусты вот когда-то там катбost появился логистическая регрессия и этот вот этот класс алгоритмов в основном решали задачи это когда сразу уточню как какой год это условно до 2017 то есть вот в 2017 я понял что я как бы зарождаюсь как команда когда мы начали тогда уже было компьютерное зрение примерно в той же самой стадии развития что и сейчас там можно поспорить что там трансформерные визуальные трансформеры что-то поменяли но в целом не драматически то есть вот тогда уже существовал условный ренет которым до сих пор решают задачи компьютерного зрения мы попали в момент когда был первый первая итерация изменения методов решения задач естественного языка то есть вот когда мы стартовали там всё было совсем условно по кондовому были очень примитивные методы векторизации тогда была интересно тогда все думали что формализованный подход к разбору естественного языка будет что-то решать потом мы мы пережили появление бертов то есть вот первых трансформерных моделек и там получился первый бум там первый вот появление трансформерных моделек класса Берт убило целый класс не убила а сделала решаемыми легко целый класс задач по там работе с естественным языком например классификация текстов или там перевод тут наверное нельзя прямо вот не вставить очень важную наверное заметку но мне кажется про Эби которых распознавание и как это модели которые они строили пытались классифицировать язык на протяжении десятков по-моему лет потратили на это гигантское количество у направление фактически отдельно оно просто свернулось в трубочку всё целиком да это так да да-да да и вот вот в естественном языке мы прямо вот за это время пока я за индустрии внимательно слежу уже произошло вот фактически два перехода то есть вот был переход когда всё было супер сложно и там умные люди на костылях и логике программировали что-то очень сложное но в это же время очень примитивное с точки зрения поведения потом появилось первое поколение трансформеров мы долго жили вот в этом серединном пути там трансформеры для текста в целом были очень похожи по по и подходу и по методам решения с ними связанные с ренетами в CV и потом мы уже увидели вот буквально сколько лет 3-4 года назад -э появление лэмок которая ещё на порядок проще там убивает ещё больше индустрии там делает их тривиа делает ещё большее количество задач тривиальными у меня есть анекдот про лмки как мы поняли что за за этим надо следить и там в это надо вкладываться года три или четыре назад у нас был проект внутри которого ну нужно было решить задачу разбора и структурирования текста на естественном языке условно пользователь тебе говорит что-то ты это что-то должен превратить в не очень тривиальный JСН который описывает то что он сказал там внутри некоторой специальной предметной области и мы тогда внимате хорошо владели предыдущим поколением методов решения то есть вот неры берты вот это всё мы потратили не знаю несколько недель на прототип который хорошо работал но ложал потому что он на самом деле не понимал смысла а вот занимался каким-то лайтовым паттернматчингом и было и был обвешен кучей какой-то логики вот сожгли несколько ну вот прям две или три человека недели в нём было после этого кто-то на дурака попробовал вот в самую первую чат GPT сунуть ту же задачу и получил решение по качеству лучшее чем то во что мы вложили несколько недель буквально вот типа за 2 часа а было обидно но стало понятно что надо учиться готовить этот класс технологий тоже слушай а для меня всё это появилось когда вышел чат GPT третий да получается сколько там 3 года назад но я так подозреваю что в целом это раньше началось ещё да ну вот GPTшки тупые появились раньше то есть вот например там есть классная серия видосов Андрея Карпатова который воспроизводит GPT2 вот мне кажется что там вот у щёлкнуло где-то в этом месте трёшка да просто так рассказываешь знаешь как будто там целая эпоха прошла этой индустрии а в реальности ты говоришь семнадцатый год ну вот когда там движение пошло и сейчас там всего-то ничего прошло а прогресс космический пока он не доходит до финальной своей точки угу кстати знаешь вот в этом отношении перед тем как мы там в более технические детали пойдём я хотел одну такую вещь сказать не знаю знаешь ты ответ на этот вопрос или нет но просто интересно вот каждый раз когда я смотрю мм ребят рассказывающих про космос мы всех знаем да Сурдин там Семихатов и так далее они всегда приводят пример вот про развитие вообще технологии всего вот смотрите было время когда а там Спутник Человек в космосе Луна и казалось что вот как бы если экстраполировать через там сколько-то лет мы на Марсе окажемся а потом выяснилось что просто вот есть тупик в который мы встали и всё и 50 лет ничего больше там толком не происходило фундаментального в этом смысле и ну фундаментально это может как раз дыры чёрные открывали всякое такое но я имею в виду физически инженерно не происходило то есть мы ничего не могли сделать и вот здесь не будет ли так же потому что у меня почему-то ощущение что вот это вот общее ожидание оно немножко как бы забыли люди историю может быть я абсолютно не прав но мне кажется что есть типа некий предел после которого нужно качественно другие решения и мы к ним вообще не готовы просто потому что нужно уже переходить вот на там реальный искусственный интеллект допустим что вообще люди об этом говорят так это или не так слушай мне кажется здесь или мы сейчас каждый год будет новое новое новое новое ещё десятки лет если отвечать на вопрос что люди говорят ну мы знаем что они говорят то всё у нас там будет в следующем году вот а мне кажется что ну фундаментально мир устроен так что экспонент не бывает бывают вот вот эти вот с кривые где у тебя есть экспоненциальная часть но потом у тебя есть насыщение и ты упираешься в какой-то потолок и это вот мне кажется какое-то такое фундаментальное свойство мира мы его видели мы его как бы на микромасштабе видим условно и в своих исследовательских проектах где у тебя исследовательское движение далеко не не там нелинейное не не прямое ты всегда там у тебя есть прорыв и плато в котором ты депрессуешь и пытаешься найти силы значит следующий прорыв сделать каким-то как-то повернув переформулировав задачу там или что-то сделать мне кажется что и я верю что также также и здесь то есть я бы не видел предпосылок тому что условно там GPT5 будет драматически умнее мы это кстати видим сейчас по бенчам по бенчмаркам и и кстати мне кажется ещё важно мы это видим потому как быстро меняются лидеры на лидербордах то есть обрати внимание условно каждый месяц у нас какая-то новость что там кто-то Google Open каждый день по-моему сейчас уже такие новости они они как бы вот вот это что из этого следует как мне кажется что есть некоторый вот теоретический предел качества достижимый и похоже что не очень сложным образом ну где не очень сложным это так в условно потому что он очень дорогой там надо много думать но в целом метод реше метод достижения как будто бы известен и и видно что как бы в целом там амбициозная команда обладающая достаточными ресурсами и достаточным количеством мозга способна дойти до топа и то что они меняются обозначает что вот они все стараются и все примерно на одном уровне мне как будто бы из этого кажется что вот мы где-то в районе насыщения текущими методами потому что иначе иначе где-нибудь бы был кто-нибудь самый умный сноухау который был бы дальше всех единственное наверное обращу внимание как будто бы это неравномерно немножко происходит то есть по тексту как будто бы по насыщению идёт а вот видео чуть-чуть отстаёт то есть видео сейчас идёт рывками пока ещё то есть как будто там запаса чуть больше а ну потому что вот прямо переход от трэша который понятно к видео которые ты не отличишь уже по-моему вот на днях произошёл когда там какую-то там штуку выпустили мы всё ждём когда мы SMM заменим а на виртуальных аватаров мы каждый раз тестируем такие: "Нет ещё чуть-чуть не хватает" хотя на английском уже довольно неплохо но ещё чуть не хватает да ребят напишите в комментариях пожалуйста что вы об этом думаете поддаётесь ли вы общему: "Мы все умрём и нас заменит искусственный интеллект" или вы тоже видите какое-то ограничение потолок и нужны какие-то то есть как будто бы инженерные решения пока ещё применяются но фундаментально никаких новых штук вроде как бы нет хотя с другой стороны нам просто не рассказывают они сидят там что-то пилят ну узнаем когда они что-нибудь выпустят новый мы узнаем да исследование да это точно мы узнаем о'кей в итоге что у нас сейчас получается то есть получается что вообще-то довольно сложная тематика превратилась в классический API вызовы к сервисам по большому счёту для большинства и это кстати классно потому что теперь куча компаний получила доступ к тому чего у них раньше не было а я уже как-то вот на одном из подкастов рассказывал м знаешь я как-то игнорировал игнорировал игнорировал потому что Угу я не совсем понимал как бы как мне это применить на своих сервисах а потом в какой-то момент очень быстро когда раги появились да и у тебя Open стал платформой и появились ассистенты в которые ты просто грузишь текстовые файлы я такой: "Мне грубо говоря м как бы обвязку вокруг этого сложнее сделать чем собственно ишку построить" то есть грубо говоря я ассистента делаю за не знаю 10 минут а ещё потом 4 дня интегрирую это в сайт потому что виджеты нужны там вот это всё и я такой сижу и думаю: "Капец вот это мы дожили" то есть я сейчас везде повнедрял у нас например на наших проектах везде есть ну знаешь классическая для теха штука открываешь он знает контекст знает что-то там по коду делаешь я ему ещё там говорю: "Не надо ответ говорить типа давай аккуратнее чтобы люди не расстраивались" а то они тоже знаешь ценность теряется там есть нюансы всякие и всё они переписывают они говорят: "Блин красота" то есть я прямо вижу как люди пишут как всё происходит как классно но для меня с точки зрения типа знаешь сказать слово что мы тут и применяем у меня язык не поворачивается то есть для меня это просто апивызовы это Ну да это волшебные апивызовы с таким вот внутренним поведением ну да да и это вот то что ты описываешь в целом описывает нашу работу то есть мы действительно там больше занялись э инженерией вокруг как бы внешних или внутренних опишек но надо отметить что вот структурно цикл работы не очень поменялся в том смысле что ну в зависимости от того какие у тебя требования по качеству вот насколько ты условно хочешь хорошо контролировать своё поведение поведение того что ты делаешь насколько ты хочешь Ну да в нас сложную область ты это погружаешь может оказаться что вот наивного подхода сформировал промт засунул в него контекст и написал первую редакцию своей инструкции может оказаться что этого недостаточно и в целом вот если ты это делаешь как бы для кого-то другого за деньги у кого есть требования к тому как это работает ты попадаешь вот в целом в стандартный цикл контроля качества итерирования и ну итерирование с контролем качества просто раньше когда мы занимались ну в целом и в других ээ в других областях например в компьютерном зрении всё до сих пор так то есть у тебя есть условно обучающий датасет результатом обучения является какая-то конкретная моделька которую ты можешь протестировать проанализировать ошибки и вернуться к формированию там изменению детсета так чтобы он получше работал вот в нашем цикле если у тебя задача сложнее чем оптимистичная для тебе всё равно приходится в этом цикле покрутиться тебе всё равно приходится там научиться мерить качество того чего ты делаешь запустить вот этот цикл итерирования понимать что меня что-то в одном месте для того чтобы отработать новый кейс ты не ломаешь стакая то есть ну вот в этом смысле как будто бы всё то же самое только у тебя больше нет или ты можешь опустить процесс как бы обучения то есть у тебя ты сразу из головы делаешь промт тут хочется знаешь такой прямо прикладной какой-то конкретики а давай вот возьмём какой-нибуд кейс про который ты рассказываешь и на нём вот погоняем этот цикл чтобы понять кейс ну вот например там представь себе что ты решаешь не тривиальную задачу ну решаешь не задачу широким классом допустимых ответов то есть вот когда когда твой ученик внутри твоей системы разговаривает в целом для тебя почти любой диалог между пользователем и ассистентом является хорошим в в широком диапазоне и да и чат GPT прекрасно с этим справляется абсолютно тут тут ему только надо контекст дать и больше ничего не надо это правда абсолютно если бы ты например решал условно более целеориентированную задачу например ты бы делал персонального помощника по управлению календарём и ты бы хотел чтобы например э в качестве побочных эффектов ээ взаимодействия пользователя с ассистентом у тебя в календаре возникали исчезали перемещались там конкретные события ты бы заметил что далеко не всегда это работает хорошо из коробки там тебе вот и предметом твоего изменения и улучшения становится то как ты объясняешь ассистенту что на самом деле от него надо какие там ты ему даёшь инструменты как ты структурируешь работу там ассистента с этими инструментами как ты борешься с галлюцинациями там вот и вот этот весь цикл и это оказывается нетривиально то есть хм хорошо тогда сразу вопрос мы сейчас с тобой делим как бы непосредственно умность скажем так модельки и её способность взаимодействовать с системами ну типа аля агент когда он там пошёл куда-то в опишку сделал сам вызов мы сейчас говорим только про именно понимание его того что надо сделать ну тут смотри тут вот мы уже уходим немножко в метафизику потому что как на самом деле это всё работает никто не знает прям правда то есть на самом деле фундаментально Лэмки - это очень умный автокомплит там с огромным э-э багажом какой-то статистической информации про мир который этой информации его накормили во время обучения и поэтому я вот не знаю тут это сложно то есть сложно различать как каким-то формализованным способом эти А и я бы ещё хотел тут добавить момент очень интересный мы как люди у нас искажённая метрика умности оказывается что те задачи которые для нас как для человека условно являются сложными могут оказаться простыми или тривиальными там для какой-то технической системы но мы как люди так как там мы откалиброваны мерить интеллектуальность других людей мы думаем что по по каким-то маркерным задачам если они решаются то то система умная там так было с компьютерами очень давно когда там перемножение двух больших чисел считалось там недостижимой высотой интеллекта и мы думали что компьютеры нас всех заменят сейчас мы думаем про про другие классы задач как про маркер интеллектуальности да ну давай я попробую ещё раз потому что я понял что немножко тебе наверное неправильно сформулировал вопрос вот мы берём конкретный календарь да ты говоришь это супер специфическая штука под которую нужно учить отдельно вопрос учить отдельно с нуля то есть это просто вот мы просто с нуля или мы берём тот же самый не знаю готовую модельку или вообще просто в чат GPT вопишку загружаем то есть какое решение сейчас должно быть правильно смотри э тут у тебя есть диапазон то есть наверное тут надо говорить про то как ты это решаешь если ты там прикладной разработчик который ценит своё время и хочет там итеративно достигать всё более хорошего результата очевидно что там твоим первым решением не может быть обучения чего угодно ты имееш с нуля то есть это потому что дорогое удовольствие да тут правда такая вот кажется что прямо у обучения с нуля заградительный ценник для там обычных смертных то есть максимум о чём мы можем говорить сейчас - это файнтюнинг там про это можно отдельно затронуть но вот правда такая что ты начинаешь с того что ты пишешь самый лучший промт который можешь и дальше твоя задача - это его хорошо потестировать ну там или как-то потестировать но ты в какой-то момент оказываешься в ситуации где иногда работает иногда нет а тебе надо чтобы чаще работало ну опять же мы есть разница что мы берём я почему спрашиваю потому что видишь для меня это тоже такая открытая книга то есть ты можешь сказать например там ну о'кей по дефолту взяли Open чтобы не париться но например потом взял себе локально de PSI скачал и воспользовался вот дай тут немножко технических как бы подробностей потому что мой опыт использования локальный был примерно такой я поставил себе има да она или как там называется эта фигня поставил разные модельки поэкспериментировал знаешь какую задачу делал вспомнил короче я parсил Headhunter для того чтобы понять в вакансиях какие основные технологии нужны для того чтобы понять что например мы делаем там программу по Пайthну допустим или почему-то и мы хотим посмотреть что в вакансиях пишут понятно что lЛМКА очень упрощает эту задачу но проблема в том что когда я начал натравливать всякие дипсики и всё остальное на эту штуку я даю вакансию говорю: "Покажи мне пожалуйста технологии которые здесь используются" они мне такую чушь там выдавать начали вот во-первых чушь во-вторых очень долго я понял что у меня в принципе альтернативы кроме OpenI нет ну по крайней мере исходя из того что я попробовал и в принципе я на нём пользуюсь плачу за это немножко денег но это работает хорошо да там вот есть вот с этой точки зрения ээ конкретно про эллэмки можно думать там условно есть примерно три тира по умности сштехническим требованиям там есть тир очень маленьких моделек которые там запускаются на бытовом желете есть средний тир там 7Б модельки которые требуют там либо одну большую железку либо парочку поменьше и есть этот третий тир гигантских моделей там то что у Open то что там вот самая большая модель псика они скорее всего тебе в прикладном смысле недостижимы для inf то есть ты можешь ты можешь это сделать там но инференс для тебя станет дорогим прости что значит инференс я просто тут терминологии может не знаю инференсом в машинном обучении обычно называют один прогон модели то есть превращение входных входных параметров в результат работы угу то есть ты закидываешь соответственно какие-то вход и выход слушай я тут небольшое техническое уточнение опять же наверное если бы я лучше в этом разбирался я бы не задавал эти вопросы но а я не совсем понимаю то есть для меня модель как бы звучит как просто база данных но при этом ты её запускаешь а штука которая запускает её заставляют работать она типа отдельно то есть как модели работают универсальным алгоритмом я что-то вот у меня в голове не укладывается просто я пытаюсь себе представить это как функцию угу но они же все разные как это работает много слоёв но давай попробуем их распутать и вот мне кажется классные классная ветка ребят если вы это понимаете знаете там по как это называется по тайм-кодам можно вперёд будет перемотать этот для чайников объяснение как это работает да в целом нейросетки то есть вне зависимости от внутренней архитектуры там конволюционная трансформерные какие-то ещё это фактически какая-то последовательность матричных перемножений и нелинейности то есть вот если очень грубо то весь процесс инференса одной какой-то мльной модельки сводится к тому что ты формируешь входной вектор вектор входных значений он попадает в какой-то конвейер матричных перемножений у тебя есть матрица номер один ты её перемножаешь а получаешь промежуточный результат применяешь нелинейность берёшь вторую матрицу и так далее там топологи то что внутри происходит просто ты говоришь ты вот это на самом деле оно там внутри дела этотайм да то есть когда я говорю ты на самом деле это делает рантай там рантаймов много они в целом делают примерно одно и то же поэтому тебе наверное не очень важно как бы какой какой это рантай до тех пор пока ты не начинаешь погружаться во взаимодействие с железом то есть там опять есть нюансы это стало внезапно тоже важно в лалэмках потому что элэмки очень большие и ты хочешь самым эффективным способом её прогонять от начала до конца но также это важно там например в компьютерном зрении где ты на минимальном железе пытаешься запустить максимальное количество тебе ещё и realтайм нужен по сути да дадада да вот последовательность матричных перемножений то есть вот это это вот основная интуиция которая исполняется каким-то рантаймом там если ты хочешь по-простому то ты просто берёшь пайторч и инфренсишь через него если ты хочешь эффективности ты берёшь какой-то из оптимизированных рантаймов учишься конвертировать то что у тебя есть туда и так далее короче вот тут прямо вот этот вопрос который меня больше всего волнует рантаймы понятно модельки понятно но они что получается все договорились о едином интерфейсе как они все друг к другу подходят зависит смотри так сейчас ещё один момент конкретно про infence lмок там есть ещё один раунд сложностей а если мы заговорим произонинг модели то то ещё один слой сложности давай это запомним попозже вспомним если вдруг захотим теперь про совместимость интерфейсов сформулируй точнее что ты имеешь в виду как подходят друг к другу просто смотри для меня вот вот кто-то типа делает модельку я не очень понимаю что с точки зрения То есть она же это же не просто бинарный файл да это же какая-то структура которую должен понимать иначе как он с ней вообще будет работать и соответственно получается что у тебя должен быть ты же под какой-то рантай затачиваешь свою модельку правильно или существует некий общий интерфейс что типа эта структура вот такая и ты ну знаешь как у тебя есть разные там не знаю интерпретаторы ты берёшь и у тебя код на там твоём языке работает то есть как как они друг другу подходят то есть если я просто сделаю какую-то модельку с чего вдруг она в этом рантайме заработает я не очень понимаю ты делаешь так чтобы она подходила то есть там например под конкретный runтай или всё-таки есть некое соглашение общее которое работает под конкретный runй сш спецификацию то есть например существу таймах есть спецификация

у некоторых ага то есть ну из из хорошо специфицированных кажется что надо вот там honorable mentionnx это прямо индустриальный стандарт то есть это ну прямо вот люди договорились про то как мы переносимым способом описываем топологию конкретной сетки как мы складываем ей параметры каждого слоя каким способом какой семантикой обладает каждый слой то есть как он интерпретируется да но в целом в целом ты ориентируешься на runтайм ну точнее так там если ты вдруг вот решил с нуля э сделать новую модель какую-то наверное в домене языковых моделей то ты скорее всего начинаешь с того что ты берёшь Pytorch и прототипируешь эту модель внутри него pтоorch он одинаковый для всех условно это вот такой фундамент сейчас машинного обучения в области в лаборатории он одинаковый он работает ты можешь в целом имея э описание модели в терминах пайторча ты можешь её уже запускать это скорее всего будет не самый не самый эффективный метод запуска я понял слушай у меня сразу вопрос следующий то есть вот уже более-менее понятно становится да в этом плане кстати сама модель - это такая довольно статическая штука реально как база ну прямо вот файлы с данными грубо говоря определённые структуры которые Рантайм умеет правильно считывать понимает что как считать но тогда возникает вопрос это то есть получается что с одной стороны у тебя модели же ещё и по-разному могут быть устроены да но при этом всё равно если они под пайч все заточены считают а может ли быть такое что у тебя модель как-то ну ты вообще какой-то другой способ придумал или там что-то ещё такое оптимизировал что рантай скажет: "Я с таким не умею работать?" Да такое бывает ты можешь с этим столкнуться если ты хочешь странного и это это прям является препятствием э например если ты хочешь пойти в бедет устройство то есть вот анекдот не связанный с с лэмками а такой если ты например хочешь запустить маленькую модель машинного компьютерного зрения на каком-то диапазоне мобильных устройств или там на мобильных устройствах и на чём-нибудь ещё то ты сталкиваешься с тем что любая кастомизация или любая странная вещь оказывается неконвертируемой в какой-то из рантаймов ну вот например у нас есть проект Брикеet там я его очень люблю это там один из наших первых заказчиков он решает задачу распознавания деталек LEGO там сфоткал кучу он их распознал и сказал тебе что из них построить долгое время сам Inference работал на на устройствах то есть на Android на iOS девайсах это гетерогенная среда рантаймов рантайм на Андроиде итайм на Айосе разный там на iOS хочет чтобы ты использовал их корm android говорит странное то есть он говорит: "Используй Napi но он не работает на половине устройств из вот рынка поэтому у тебя там ещё рядышком лежит и ГПУ Runтайм то есть на андроидах TFL с разными делегатами наосе CORML или TFl с делегатом Corml и это как по-русски наименьшее наибольше обсудите вот то есть ты ищешь решение в том пространстве которое работает везде в Брикете мы не смогли зашипить э в прот вот на устройство модель которая давала плюс 2% по точности там для нас это много потому что он не конвертировался в TF Light как конкретным делегатом вот это это реальная проблема ага то есть смотри у тебя грубо говоря не какой-то там типа аляадаптер к модельке цепляется чтобы она работала под конкретную штуку а её структура прямо под конкретный runнтайм должна быть поэтому по факту тебе приходится её прямо конвертить под что-то а конвертить или это прямо реально конвертация то есть ты берёшь как типа из джпгов пнг типа ты такой берёшь и говоришь: "Так сконверти мне в такую штуку" это как бы это можно про это думать как про компиляцию или как про трансляцию из одного пространства операторов то есть представь себе что у тебя есть программа какая-то она написана вот в терминах какого-то языка программирования и ты её хочешь запустить вот на другом компьютере с другим пространством операторов то есть он он как будто бы похож но примитивные операции в нём немножко другие и ты пишешь прямо физически ты тебе нужен транслятор иногда оказывается что некоторые операции не имеют аналога там между чтобы я понимал да то есть в итоге это всё-таки как кроссмпиляция типа у тебя есть ходник программы на GO а ты можешь его скомпилить под Linux под винду и там ещё что-то или у тебя есть уже готовая моделька и ты просто конвертишь её из одной штуки в другую про это можно думать про как про то что существует там самый выразительный язык я поэтому сказал про Pйтоorche вот Pytorch - это самый выразительный язык вот в этой области ну а понял и существует несколько самых выразительных языков там там опять-таки надо упомянуть Джакс надо упомянуть Тензрфлоу который вот уже куда-то делся там его заменил Джакс ну как минимум торч Джакс надо упомянуть это как бы первыисточник твоей топологии то есть того как ты организуешь ээ слои как информация течёт какую сложную семантику конкретного слоя ты можешь реализовать то есть там в терминах там торча или джакса ты можешь написать что угодно странное то есть ты можешь придумать что вот у тебя есть какой-то вход ты можешь сделать сложную условную логику работы вот на этом конкретном шаге а для того чтобы потом эффективно в каком-то оптимизированном рантайме твой слой запустился он должен быть там эффективно реализован если ты захотел чего-то очень странного то скорее всего эффективно твоя модель работать не будет ну ты имеешь в виду что те трансляторы которые есть они просто могут не справиться вообще с этим сказать: "Слушайте у нас таких операций нет мы так вообще не умеем" да это в точности то что происходит да и собственно там твой выбор в этот момент становится либо перепридумать операцию если она выразима как комбинация чего-то либо сказать: "Ну о'кей я ей не буду пользоваться если ты понимаешь как там условно без неё обойтись там или что-то ещё" вот но да это вот в точности то что происходит тогда вот допустим вот я под еламу скачиваю еламу поставил и скачиваю под неё модельки что на фоне происходит какой рантай там используется слушай надо посмотреть давай может быть погуглим потому что получается что он же не просто их скачивает откуда-то там с официальных сайтов это значит что у них где-то лежат уже сконверченные под них готовые с которыми она работает вот я что имел в виду в этом плане ну более-менее понятно опять вот про конкретный инструмент который ты упомянул я не готов а она не илама лама называется а то мне сейчас этот накидают мне сейчас лама просто если лама просто то то ты имеешь в виду семейство модели и отметы сейчас будет смешно если я затупил нет есть короче утилита угу лама CPP с помощью которой ты можешь ставить любую модельку доступную и гонять её локально вот собственно через неё и почему-то у меня в голове отсело что она лама называется но я сейчас понимаю что похоже я Да тут как бы тут рынок весь этот много много символов есть амоне ты имеешь в виду что-то классала CPP что было сначала рантаймом под конкретный класс моделейма а потом стало рантаймом под более широкий набор моделей сейчас погоди это даже не Runтайм это в смысле это реально просто утилита а вот э как бы что-то внутри там может быть она какой-то другой рантайм использует с появлением лолмок и с появлением необходимости суперэффективно делать infence всё нашёл они я и лама несколько раз сказал слово она называется allama allлаama - это просто это просто тупо колайline удобнейшая утилита с помощью которой ты прямо любую модельку прямо одной командой там поставить и на ней что-нибудь запустить ты их можешь свичить это такой какнменеджер для а языков другой вопрос что внутри конечно она сама по себе не runнтайм то есть она что-то использует и поэтому я спрашивал я почему вообще про неё оч говорить потому что она является самым популярным способом вот локально гонять модельки то есть через неё все это делают вот ну просто опять же если ты посмотришь там по редиту по всему поэтому я тебя и спрашивал я думал просто знаком с этой штукой знаешь сколько у неё старов на гитхабе 142.000 да давай я так скажу в мире вот с появлением лмок появился ещё класс специализированных рантаймов в том числе там подквантованные модели то есть наверное не будет совсем ошибкой сказать что появились новые рантаймы блин просто там количество инструментов всего что происходит я вот просто мотаю редмишку и там плохо становится ладно я не готов открывать эту кроличью нору в том что там происходит хорошо но смотри то то есть в целом интуиция про то как это работает она там всё равно такая же что у тебя есть вот там есть волшебное слово этот гф формат это формат хранения квантованных моделей которые много проектов умеют загружать и в целом много проектов пишут условно свой runтайм свой интерпретатор тех данных там которые которые лежат внутри модельки вот а мне кажется что интересно тут надо рассказать ещё про особенность работы лэмок угу давай если смотреть на лэмки с точки зрения опыта как бы предыдущих поколений нейросеток то в целом Лэмка внутри своего процесса инференса делает много итераций вот это это для меня в какой-то момент было такой: "Вау как это так?" То есть лмка запускается не один раз то есть вот информационный поток не один раз проходит со входа на выход она делает это очень много раз подряд ну это просто же опция рантайма правильно я понимаю это свойство этого класса моделей то есть вот точнее даже не класса а вот какого-то метакласса все лэмки примерно работают так если говорить про runтайм как вот ориентированный на лмки то да то есть этот вот рабочий цикл зашит зашит в рантайме угу угу вот но мне кажется это очень интересным что когда ты решаешь свою задачу автокомплита ты сформировал свой промт там не знаю на 150 токенов ты ожидаешь что ещё сотня токенов ответа сформируется тебе в рамках инференса модели то оказывается что эти токены формируются по одному то есть ты запустил её первый раз 100 токенов получил 101 запустил со 10м получил 102 и так далее вот этот вот цикл проходит много раз поэтому ты видишь например там в стриминговом аутпуте моделек ты видишь как они бегут это вот ровно с такой скоростью они формируются слушай ну это ровно то о чём всегда говорили что у тебя по сути он каждый раз угадывает какое следующее слово подставить то есть ты ему каждый раз даёшь эту штуку на фот и он её перегаривает да да кстати за забавно несмотря на то что я это знал я не понимал вот что по это действительно идёт полностью это не в смысле оно там достраивает а ты просто прогон полный заново делаешь это прикольно кстати да там сейчас как бы для для полноты надо отметить что там вот из-за того что это последовательный прогон там существуют оптимизаторы наборы оптимизации которые позволяют тебе не совсем прогонять всё с всё с самого начала а использовать информацию с предыдущего запуска так чтобы поэффективнее сделать вот следующий кусочек это то что наросло именно с лэмками потому что это стало прямо очень важной задачей там например есть хитрости класса то есть мне меня очень забавляет спекулятивный декодинг идея когда ты на самом деле делаешь infреence не одной несколькими моделями одна маленькая бежит очень быстро вперёд генерит токены потому что обычно токены у тебя предсказуемые но иногда нет и ты можешь условно делать верификацию там более тяжёлой моделью толь там каждые пять токенов каждые два токена там то есть снизить снизить количество запусков тяжёлой модели сделав попробовав сделать лёгкую работу там более лёгкой например капец сколько там там инженерии это очень интересная тема с кучей инженерии внутри но мы её не касаемся то есть ты как прикладной программист очередного и стартапа который является Open Aiveпером там твоя предметная область другая твоя предметная область - это как заменеджить эти опишки и как структурировать свою программу так чтобы она разумно работала тут хочется немножко посмеяться на эту тему когда ты говоришь что твоя задача как стартапера менеджерить опишки я бы хотел сказать кое-что другое твоя задача как стартапера пока всё это горит убедить инвесторов вечерных дать тебе побольше денег а что там внутри вообще неважно ты же знаешь сколько проектов полетело куча же народу просто тупо посадила там кого-то на фоне и типа мы и ай самое главное получить деньги да были же скандалы такие по-моему несколько уже всплыло не слышал да ну стартапы про то что проекты оптимистично мокают машинное обучение людьми а потом оказывается что задача не до конца автоматизируемая я вот слышал кстати я знаеш что вспомнил опять же меня могут тухлыми помидорами закидать если я ошибся но по-моему это так я читал это где-то помнишь история когда Amazon в какой-то момент это по-моему ещё написал о том что у них вот ты берёшь с полки у тебя там всё само ттт и вроде же выяснилось что там просто сидели на фоне ребята которые отслеживали в камеры там никакого вил распознавания не было да я не уверен что там как бы это совсем фейк но в целом это хороший подход ну то есть тут как бы в защиту Амазона надо сказать что молодцы как бы забутстрапили процесс инженерно круто да скорее всего на комбинации машинного решения и людей им не повезло потому что оказалось что задача гораздо хуже автоматизируется и это правда вот конкретно задача с товарами автоматизируется гораздо хуже чем у тебя рабо чем тебе кажется интуитивно мы в эту задачу несколько раз ну-ка Угу она сложная ты когда думаешь про эту задачу как бы на поверхности тебе кажется что там вот стоит кефир написано кефир ну кефир же то есть что взял кефир взял вот потом оказывается что там у тебя безумное количество с каюшек то есть если про любой магазин думать ты ты сразу попадаешь на десятки тысяч sk - это что прости это SK - это Stock keeping unниit это Это терминология из Екома ну или там вот из торгов да да я помню такой номер да или идентификато это моя интерпретация для меня SKU - это уникальный товар оригинально это расшифровывается как stock keeping unit то есть единствен учёта с точки зрения остатков ну факто да то есть у тебя есть какой-то номер слушай а не проще я вот сейчас вот думаю про эту задачу а не проще тупо решать тем что каждый товар ставишь знаешь такую фигню которая на него этот ставит чип ну этот RF ID повесить это плюс сколько-то там не знаю цент на товар ну вот да вопрос в цене вопрос конечно в цене но как будто бы если он пассивный там должно быть вот прямо супердёшево я вот я насколько помню в Амазоне была комбинация всего то есть всех там есть технические вот про RFID я не самый большой специалист я чуть-чуть про них знаю я знаю что там есть технические ограничения на количество детектируемых э- меток на там что-то ещё то есть тебе не всегда легко даже с помощью там RFID и там аппаратного решения точно ответить на вопрос сколько меток ушло с полки если у тебя много если у тебя много объектов то есть там есть технические ограничения обалдеть то есть короче мы далеки пока от решения такой обобщённой задачи вот этой конкретно да но на самом деле мы далеки от неё даже если людей посадить в камеры смотреть там всё равно ничего непонятно то есть это это крутая условно мечта путь к которой прямо сложный там причём если вспоминать про Amazоon там же там вот мы внимательно рассматривали как у них эти полки устроены там у них и Весы и R FID метки и камеры понятно всё короче воткнули что такое можно да да я общался ещё вот так они на мне заказчики я могу всё рассказать какой-то европейский стартап мы вот разговаривали там до работ не договорились ребята делают примерно ту же задачу только в Европе автоматизированный процентов на 30 то есть у них вот прямо реально штат индусов они надеются что когда-то они задачу решат это конечно сильная вещь вообще потому что я понимаю для чего туда все идут если ты это делаешь у тебя лёгкость выноса товаров и убирание очередей на кассах это такой бус с точки зренияма просто слов нет я уверен это человек который это сделает и компания она станет самой крутой компанией в этом мире потому что у тебя нет ничего более крутого чем eком который работает без каз без очередей мне с этой точки зрения кажется что какой-то подход к авто я чушь несу я что-то заговариваюсь и мне кажется сейчас прилетать будет за каждое слово которое я говорю неком конечно а в смысле обычная оффлайновая офлайновый да коммерция вот мне кажется что там какой-то есть должен быть нелинейный выход то есть может быть надо оптимизировать не автоматизировать не распознавание взаимодействия человека с полкой а не знаю не пускать человека к полке и работать как АРГАС условный вот в UK есть магазин в котором нету полок а есть терминал ты такой в нём накликал тебе вынесли упакованные товары там какой-то безумный каталог на 100.000 сю ну видишь ну тут мы возвращаемся к этой же проблеме от которой мы хотим уйти более того в Москве если ты помнишь была э-э попытка по-моему тех то ли тех я не помню я ими никогда не пользовался но я помню был момент когда они везде стояли то есть ты заходишь у тебя просто комната и там тупо стоят вот эти терминалы для выбора товара это конечно не решение я был техдиректором одного из таких проектов да был проект Enter амбициозный проект и идея была примерно такая да иметь маленький сток на полках иметь склад вместо полок иметь терминал чтобы ты в нём заказал и да мы его делали ну это оптимизация больше скорее такая типа внутренняя это не оптимизация с точки зрения пассажиропотока скажем так кстати я хочу просто пример классный привести тоже с тобой абсолютно согласен что решение может быть в какой-то в перевороте этой системы меня когда-то вдох не то что вдохновил меня очень поразила одна интересная история про Пакма казалось бы где Пакман где мы но всё-таки там есть история прикольная помнишь там же такая штука что когда вот эти вот каким словом назвать привидение да начинают тебя догонять если рядышком проезжаешь я знаю что там история за этой штукой то есть грубо говоря придумалась эта игра хрен знает сколько лет назад мощностей не было вообще и рассчитывать где он там находится чтобы за ним бегать это была слишком тяжёлая вычислительная задача ты знаешь как они решили её в конце концов расскажи там гениальное решение инженерное а то есть они инвертировали проблему у тебя грубо говоря когда вот этот вот жёлтый как кстати его зовут знаешь колобок колобок мне кажется его как раз короче хо сейчас я тебе прикол расскажу он когда проезжают клетку у тебя на клетке появляется степень горячести когда он на ней был ну типа допустим число пять и оно с какой-то периодичностью уменьшается у тебя получается что такой как бы флёр за ним идёт и когда эти штуки наезжают на эти клетки у тебя просто идёт очень тупое сопоставление угу и в этом как гениальность решения что они смогли эту задачу порешать потому что полный расчёт делать где он там находится и так далее было ну невозможно в тех условиях и вот здесь наверное как-то так же это может просто перевернуть сознание и у тебя решение будет вообще другим тут надо отметить что частично наше сознание уже перевёрнуто то есть частично в онлайне задача уже перевёрнута в область твоего оцифрованного взаимодействия с витриной то есть вот там на Амазоне ты заказываешь ты заказываешь на цифровой витрине известно точно что ты хотел там есть и остаётся задача автоматизации как бы склада бэкофиса вот этого всего и доставки раз мы с тобой в Екоме давай ещё немножко его потрогаем потому что есть невероятно важная задача это рекомендательные системы вот насколько сильно я просто вот тут вообще не знаю насколько сильно лэмки позволили улучшить или они вообще здесь не участвуют у меня нет полной информации про эту тему мы трогали рекомендашки какими-то методами я знаю что тело рекомендательных систем до сих пор вот такое более кондовое там коллаборативная фильтрация да да на маточном разложении и вот на этом всём ты получаешь какое-то тело информационную основу для решения задачи вот кстати Twitter как когда-то там 2 года назад публиковал частичные исходники своей системы там вот было тоже что у них в фундаменте гигантское матричное разложение поверх которого настроены слои вот лэмки я надеюсь что они помогут решать задачу у тебя не так всё очевидно как применить ЛЛэмку к к этой задаче то есть вот вот тут надо как бы проявить эмпатию к Лэмке с точки зрения решения задачи и рекомендаций вот представь себе что у тебя не знаю Еком в нём сотни тысяч скаюшек там вот если ты маленький у тебя 100.000 сю если ты большой у тебя 300 млн там как-то и тебе надо вот к тебе пришёл человек про него известна история покупок последняя пять штучек или там просмотров чего-нибудь ещё как-то он оставил какой-то цифровой след в терминах сюшек из твоего ассортимента и перед тобой стоит задача сформировать ему витрину на 20 товаров если думать про то как применить лэмку к этому в лоб то как будто ты хочешь ей сказать: "Вот вот человек вот он на это смотрел скажи мне что ему показать" я сразу тебе скажу сложнее потому что для того чтобы делать такой анализ ты обязан загружать туда историю покупок ещё и всех остальных людей потому что тебе надо смотреть кто покупал такой же товар что они обычно покупают там там взаимосвязи хитрые очень сложные ну вот это может быть кстати к вопросу про лмки вот вот этот шаг возмо вот этот шаг работает на этапе обучения то есть при любом то есть он точнее так сорри тут тут есть аспекты эта информация обычно попадает в систему на этапе обучения хотя там бывают хаки как донасыщать систему в рантайме чтобы вот поэффективнее адаптироваться к изменениям если бы это ложилось на лэмке то наверное ты бы хотел вот историю разных людей и их покупки закладывать при обучении но при этом может оказаться что commнсенс некоторый в лэмках достаточно хорош чтобы достаточно хорошо работать без этого мы же их за это любим что они что в целом вот там накормленное тем объёмом тем массивом знаний про человечество у них вот хороший кондсенс правильно понимаю вот я сейчас задумывался над этим то есть да это логично что надо обучать этим данным но смотрите что получается у тебя продажи идут непрерывно amazon там миллионы продаж в секунду я не знаю сколько они там продают и это же обучение это же не просто ты в неё как вопишку типа крит там создать да тебе же надо после этого ещё поработать с этим то есть я правильно понимаю что вообще-то это нерешаемая задача на самом деле ты не можешь туда гнать каждую секунду сотни тысячи заказов и при этом ожидать что она будет работать потому что тебе нужно не просто её насытить но и обучать вот если говорить про рекомендации то в целом вот а абстрактно эта задача структурируется так что у тебя есть некоторое условно рекомендательное ядро которое в целом имеет право быть статичным то есть вот в некоторой степени статичным то есть имеет право не обновляться секунда к секунду имеет право обновляться там раз в сутки раз в неделю там скорее всего информация о совместимости о как бы о товарных парах она она не очень сильно плывёт правда такая что она плывёт там есть сезонность там есть что-то ещё но в целом она там люди себя ведут в какой-то окрестности примерно одинаково так и у тебя есть вот infence модели рекомендации когда к тебе приходит новый человек с его новой уникальной историей каким-то поведением которое он проявляет и ты хочешь вот прогнать его через твой решатель чтобы сформировать вот под него кастомизированную выдачу поэтому я не уверен что тебе нужно секунда в секунду что-то переобучать но семейство этих систем в целом требует регулярного дообучения то есть например потому что в нём нет абсолютной правды там что интересно что с точки зрения задач там например компьютерного зрения ты имеешь право обучить модель распознавания людей там лиц там котиков 5 лет назад и она будет актуальна сейчас потому что котики как бы не поменяли своей природы за эти 5 лет угу вот аа система рекомендации скоринга там чего-нибудь предсказания спроса или ну это реклама это это всё маркетинг реклама аналитика там это бесконечное количество кстати одни из самых наверное востребованных систем где это применяется в гигантских просто объёмах и там это нужно на постоянке а вот слушай интересно да получается вот если мы переходим на технический уровень а как бы мы с тобой видишь так и немножко там и немножко там инженерное решение то есть это как раз тот самый момент где взять там Open AI или я говорю: "Я беру de PSK ты просто не можешь" или можешь ты имеешь в виду для задачи рекомендаций вот я как раз хотел сказать вот я хотел продолжить мысль про поэмпатирую лмки даже если ты вот у тебя представь себе что у тебя есть хорошая языковая модель она вот прям классная прямо вот актуальными трендами обладает у себя где-то вот в кишках у тебя есть ещё вторая сложная задача в привязке к живому якому тебе надо чтобы она не нагаллюцинировала чего-то что наверное подходит но у тебя нет в ассортименте а тебе надо чтобы ответ финальный твоей системы был в терминах твоих искаюшек которые ты способен продать по которым есть остатки или там они и они доставляются в в регион пользователя который ей пользуются сейчас э-э и вот это вот это мне кажется прямо сложная часть потому что ты не можешь условно сказать что примитивом с точки зрения ЛМ является SK потому что тогда она вот должна переобучаться условно каждый день там ээ или там как-то часто адаптируясь а и тут вот у меня сейчас нет хорошего ответа а что делать то есть вот как совместить вот то есть в целом как бы есть хороший ответ как использовать лэмки для реранкинга то есть обычно когда мы говорим там про pйплайн рекомендаций он он не однопроходный то есть у тебя не одна чёрная коробочка которая тебе сразу выплёвывает правильный ответ обычно у тебя там есть какой-то пайплайн по которому течёт информация улучшаясь обычно у тебя есть часть э быстрая грубого грубых рекомендаций которая наверное работает там на основе какого-нибудь матричного разложения и предыдущего поведения пользователей может быть туда что-то ещё подмешивается там может туда замешивается ещё и то что ты просто продать хочешь и как правило там у тебя есть второй этап работы этой системы когда ты берёшь перечень кандидатов и хочешь из них достать самое лучшее вот обычно там наверное вот на этот этап ты можешь положить лэмку потому что тогда у тебя условно в контекст поместится 100-200 там 500 кандидатов товаров и ты сможешь прямо в явном виде задать вопрос какие 20 из вот этих перечисленных показать прямо сейчас слушай а вот промт инжениринг в этом отношении то есть допустим мы загружаем товары я мы просто эту тему с тобой взяли я надеюсь все понимают что это вообще на всё что угодно кладётся и музыкальные сервисы и не только рекомендации ну кейс прикольный оказался да тут много нюансиков которые как раз технические инженерные аспекты затрагивают вот смотри допустим а мне всегда ещё промто было в этом плане интересно то есть вот мы насыщаем мы же не просто отправляем товар такой-то мы говорим где он продаётся там просто метаинформация в гигантском количестве у меня два вопроса во-первых промтинг то есть типа можно ли сделать так что вот я например запрашиваю и он такой знает обо мне много всего и он там такой вот километровый промт туда засовывает и это работает почему спрашиваю потому что я до сих пор не считаю что умею нормально работать с промми хотя я использую ФСТ и в гриву каждый день потому что чем длиннее делаю промт тем хуже результат хотя и поэтому я стараюсь всегда дробить вот задачу работы с лэмкой просто вот на очень маленькие куски то есть она отдаёт картину в целом и потом по кускам разбирается чем знаешь такой просить от начала до конца что-то сделать ну это такой мой локальный опыт поэтому во-первых вот эта штука а вторая штука тут уже больше крагу типа всё-таки разница между обучением как бы самой модели её изменением и вот этой надслойкой как бы в виде рага вот давай вот два этих вопроса попробуем затронуть начнём вот с первого по промнгу смотри у меня ответ про промнг такой точнее так у тебя на самом деле про промнг у тебя на самом деле два вопроса первый как хорошо писать ну как они точнее работают то есть им как надо да вот смотри я не уверен что мы знаем то есть мне кажется что это предмет для То есть я всегда рассматриваю это как предмет для исследования то есть вот если сейчас шажочек назад и там на метауровне вот мне кажется что в эмэльные проекты ну или там вот проекты айные проекты в них есть исследовательская стадия и мне кажется вот мой мой наш стандартный рабочий цикл сначала попробовать максимально широко отфильтровать варианты которые имеют потенциал быть хорошими и в них закопаться тонкими правками я не уверен что мы даже имеем возможность в общем говорить про методы работы то есть наверное есть там возможно можно выделить какие-то общие рекомендации но в целом короче Magжик - это всё да почему летают самолёты это вот реально у нас несколько слоёв неопределённости мы не понимаем как эти системы работают их авторы не понимают как они работают мы можем исследовать э этот чёрный ящик с точки зрения нашей задачи и вот у нас должна быть какая-то методология этого исследования ты сейчас говоришь я такой понимаю вот промт инженеринг вот это все то есть это промт не инженеринг а промт magic то есть это чуваки которые знают как можно давай так потыкаем давай так давай так это это конечно выглядит грустно с точки зрения специалистов по промтненерингу да правда такая что мы вот в этом состоянии в машинном обучении уже давно мы в этом же в этом в этом состоянии с момента появления условно даже не конволюционных сеток мы мы в классическом эмле в этом же месте были то есть вот весь - это поиск комбинации там чего-то факторов вот у тебя есть много рычажков ты их крутишь ты в целом ты не способен предсказать э что покрутить и каким способом ты ты строишь методологию перебора так чтобы увеличить свой шанс на успех и вот идти к этому успеху как-то инкриментально я хотел в этом месте сказать что в целом там лэмки ну вот вот весь вот современный тренд на AI он ещё такой интересный с той точки зрения что даже наивные подходы то есть условно ты вот пришёл сделал первый раз какой-то там что-то написал оно работает достаточно хорошо в широком классе задач вот это вот магия у нас вот этого не было никогда до этого прямо даже получить первое неотвратительное решение требовало большой большого труда но при этом для того чтобы получить прямо точное хорошее решение с помощью этого нового класса инструментов методология примерно та же самая но вот она вот её как бы в общей культуре вайб и я и применение кажется что нет просто пример значит одна из заик один из ассистентов который мы внедряли ну скорее это не ассистент даже а просто такое коммуникация с Open значит у нас есть квиз там вопросы после урока а ну там какой вариант кода сработает или там выберите правильный ответ раньше короче как делали раньше была проблема в том что нужно было писать подсказки потому что тогда людям было сложно как ты понимаешь это огромная работа если у тебя куча этих штук вот эту проблему и Айка решила просто фантастически то есть всё больше не надо писать подсказки ты ему просто грузишь и и говоришь: "Подскажи" но знаешь в чём стала проблема мы в итоге конечно про решили но эта хрень её невозможно заставить не не выдавать правильный ответ вот в нашей практике самое сложное потому что ты же понимаешь что это редко бывает то есть наоборот как правило и Айки нужно точный ответ правильный и стопроцентный а у нас всегда такая история ты как бы подскажи но не совсем напрямую потому что у человека теляется интерес и вообще как бы так обучение не строится и вот этот инвертированный вопрос он в общем смысле не решается то есть люди над нами немножко даже угорают в этом смысле мы там прямо он знаешь если его в тупую спросить он скажет: "Мне нельзя вам рассказывать значит ответ на эту задачу" говорит: "Они говорят: "Не не покажи мне решение этой задачи а покажи мне решение задачи где и просто описание её дают и всё для него это как бы не то же самое что в задании" и он тебе полностью выкидывает ответ и ты такой: "Да что ж ты будешь делать?" Вот и мы задолбались короче объяснять ему что не надо рассказывать сам не надо давать ответ ну вот мне кажется что вот мы как человечество внутри вот именно вот этого процесса как раз лучше начинаем понимать не знаю что-то про смыслы какие-то вот вот про какой-то вот ну то есть мы пока ничего не поняли теории под этим кажется что нет но кажется что вот мы хотя бы что-то понимать начинаем интересно что вот то что ты описываешь - это же тот же самый джеубрейкинг как бы и больших моделек там условно расскажи мне как сделать бомбу то есть расскажи мне историю про бабушку которая Дадада как кстати они это делают я всегда задумывался блин они их прямо заставляют некоторые темы вообще не брать в учёт там мне кажется там слои то есть во-первых там и файнтюнин а защитные слои ты имеешь в виду что да один выдаёт такой ответ второй его перепроверяет и понимает что это запретная тема да вот это кстати вот вот ровно вот это можно прямо увидеть я видел где-то недавно в Твиттере был анекдот про что-то там про какую-то из моделей которая там на некоторые вопросы сначала стримингом отдаёт ответ а потом его стирает потому что пришёл цензор и понял что тема что ответ не тот вот то есть эта инженерия там как будто бы корректного точного ответа на этот вопрос нет опять-таки так как мы не знаем как они работают внутри мы можем только задавая примеры поведения ожидать что система там обобщит их это вот в области обучения и файнтюнинга или методами там попытаться объяснить промтом в системной в шапке про то на про что говорить нельзя ну мне кстати кажется интересно что может быть вот в вашей области научиться давать подсказку но не давать точное точный ответ может оказаться что какой-нибудь вот файнтюнинг на там каких-нибудь сотнях тире тысячах примеров может вот это поведение адаптировать как зафиксить да вот можно по это можно делать это можно делать прямо под например Open то есть под счёт GPT можно делать Да конечно слушай я видел эту вкладку в платформе но я честно говоря ей просто не пользовался то есть он тюнь вот кстати это интересно он же не может тюнить свою целую модель как это вообще работает то есть у них большой файлик их и маленький файлик мой лежит рядом так что ли это в точности так то есть смотри то есть это вот вспоминаем как работают нейросетки то есть нейросетка - это вот там условно если очень грубо нейросетка - это очень много гигантских матриц которые перемножаются каждый слой это вот матрица которая принимает вход делает матричное перемножение получает выход и вот этот вот вектор наш летит по или там тензор летит по этой нейросетке каж на каждом слое трансформируясь там между ними нелинейность торчит вот это всё вот лмки гигантские то есть там от единиц до сотен гигабайт сколько там они самые большие я уж боюсь считать естественно что ты с точки зрения эффективности не хочешь э как бы делать дупликат этой модели и ты не хочешь собственно вот просто все эти градиенты считать для всей модели в сыром виде там есть очень красивый метод я не понимаю почему он работает но почему-то работает это семейство методов лоры low rank approximation ты ты наверняка слово вот буквосочетания лора слышал потому что у тебя как правило файнтюнинг любой модели там вот условной ламы это базовая модель плюс лорафайлик честно в этом плане я колхозан полный я в опишку просто хожу о'кей и правильно делаешь короче в кишках уй скорее всего вот примерно то же самое вот как это работает представь себе что мы хотим зафаймтюнить большой какой-то какой-то из промежуточных слоёв там гигантская матрица там не знаю 100 млн на 100 млн ну фантюнить просто определение да что фантюнить мы просто вот хотим скажем нас не устраивает да не устраивает ответы мы хотим чтобы он вот как конкретный пример не выдавал правильные ответы чётче понимал что значит не выдавать правильный ответ о'кей да там как бы мы формулируем задачу файнтюнинга как задачу условно обучение модели начиная с какой-то вот стартовой точки ну от начиная от базовой модели с задачами со звёздочкой не отходить очень далеко от стартовой модели но при этом начать попадать чуть-чуть лучше в маленький обучающий датасет так как это работает у тебя есть твоя гигантская квадратная матрица и оказывается что если сделать а и ты хочешь её подкрутить то есть немножко модифицировать ты можешь думать про эту операцию как про операцию сложения оригинальной матрицы с какой-то матрицей модификации вот допустим второе предположение мы можем предположить что матрица модификаций - это не полная матрица такого же размера а результат перемножения двух маленьких матриц друг на друга то есть представь себе что вот у тебя есть матрица миллион на миллион ты можешь сказать: "Допустим эта матрица модификации миллион на миллион" на самом деле является результатом перемножения матрицы миллион на 100 и матрицы 100 на миллион ну вот почему не знаю вот так вот мне показалось оказывается что это работает оказывается можно подбирать вот эти вот маленькие low rank матрицы которые дают при перемножении большую матрицу модификации базовой матрицы весов конкретного слоя и это почему-то работает это можно и это быстрее потому что ты ну физически меньше градиентов считаешь физически меньше весов подкручиваешь вот так вот интересно угу никогда бы не думал что это вообще Мне не очевидно почему это вообще работает а мне поскольку видишь у тебя-то хотя бы в голове вот модель потому что опять же я с матрицами реально последний раз сталкивался только в институте и поэтому у меня мозг немножко знаешь такой поскрипывает когда я пытаюсь себе представить этот пайплайн весь я понимаю что нужно чуть-чуть больше вникать но честно говоря я и не буду мне главное что опишку дают да но вот с прикладной точки зрения что про это надо запомнить что в целом у большинства провайдеров есть функционал файнтюнинга файнтюнинг работает файтюнинг - это такой процесс который принимает на вход пары запрос то есть вот вот промт или там вот история диалога которую ты передаёшь как которую ты собираешься передавать на вход и ожидаемый результат ты можешь попробовать свою задачу под свою задачу собрать там какой-то файнтюнинговый датасет может быть не очень большой сказать: "Сделай мне кастомную модель на базе такой-то она появится у тебя в опишке под кастомным айдишником и ты можешь её попробовать поиспользовать" они дороже в использовании но иногда ты от этого получаешь профит как правило стилистическая как правило стиль хорошо тюнится возможно вот твоя твоя задача ризонинга тоже 100% надо уча поспрашивать вообще про это я думаю там есть просто ответ потому что это очень востребованная история для определённых скажем так индустрий или направлений и я прямо уверен чточат GPT про это сам расскажет как всё это делать так что я попробую да как себя тюнинуть я поэтому с ним об этом и поговорю а вообще это классная история потому что я говорю видел это но почему-то я так об этом не задумывался хорошо но это мы говорим до то есть это речь не про новые данные это речь именно про до обучение чтобы м выдавать чуть-чуть другой ответ модифицированный под нашу специфическую задачу опять же мы это делаем на большой обобщённой модели которая вообще про всё вот и для нас это работает хорошо а теперь дозагрузка данных потому что вот мы к этому с тобой тоже шли и вот тут уже появляется история которую я не совсем понимаю то есть есть же история того что у тебя сама моделька её можно править да а есть история что у тебя есть раги угу а сейчас ещё если я понимаю правильно каги там называется эта штука или это маркетинговая уже булшитина мне кажется что это всё вот то есть это на самом деле это как это семейство решений которые оперируют на поверх зафиксированной языковой модели методом условно измене динамического формирования промта то есть мне кажется если я правильно интерпретирую как то это скорее всего что-нибудь проledge не как знаешь это там история следующая это прямо вот сейчас типа из серии давай сначала для тех кто не знает просто объясним мне с этим чуть проще потому что я с этим много работаю то есть грубо говоря пример на hex кстати есть help в любом проекте есть help и если и в принципе он даже проиндексирован то есть в принципе если ты open на него запустишь то она будет более-менее там когда ты вопрос даёшь но проблема в том что там всё-таки промта не совсем достаточно там надо прямо точные актуальные данные они бывают меняются и так далее поэтому например у нас есть механика загрузки туда в Open соответственно есть отдельный ассистент у него что кстати супер приятно ты в эту систему векторную базу грузишь просто тупо текстовые эмдшные файлы больше ничего не надо для меня это просто вот одно из самых счастливых так сказать решений того как это работает я не знаю что там за магия происходит векторная база данных что-то он там как-то раскладывает и да он ответы ты даёшь ему только промт что вот грубо говоря отвечай по загруженным файлам угу ты специалист службы поддержки вот упрощённо промт именно такой а ещё кстати не могу не отметить очень классную историю вообще мне в этом плане слежение за тем что пишут пользователи вот в этот helpл настолько сильно помогает переосознать вообще человечество и как вообще с людьми работать я просто в шоке потому что знаешь как люди иногда пишут то есть человек например пишет пишет пишет а потом такой: "А как мне связаться там с разработчиками?" И он какую-то херню начинает писать в ответ из серии ну на каждом сайте есть там тра-тата я такой: "А и я прямо бегу в промт" это то есть у меня промт знаешь такой каждый день растёт и я такой впромт если вас спросят про то как с нами связаться ссылочку на Telegram там бота давай блин вообще конечно фантастика короче у меня раги вот эти на рагах рагами погоняют и соответственно вот везде я это использую для ассистентов своих рассказать как они внутри работают ну давай мы немножко про это да как и работают как взаимодействуют и опять же я насколько понимаю там есть проблема с объёмом потому что фактически это некий под пред давай так предкшированный что ли подготовленный промт если я правильно понимаю не совсем а не часть да нет не совсем смотри как раз как раз рак - это способ ответить на ограничение промта на ограничение на длину промта вот если очень грубо то есть там на самом деле это ещё способ ответить ещё на э так сорри сейчас секундочку назад а давай отматываем про промты казалось бы что если у тебя есть там идеальная модель с бесконечного размера входом то ты теоретически можешь вот ни про какую машинерию вокруг не думать а просто сделать вот дамп всего своего массива знаний ровно в этот промт и ожидать что модель осознает что в нём написано и будет отвечать вот оказывается что там существует то есть ретрив даже из данных переданных в промт напрямую не стопроцентный при большом объёме при большом размере промта вот он тупо игнорит да дадада я видел некоторое количество графиков там причём забавно то есть я не знаю насколько это верно для современных моделей там условно на 2 года назад график ретрива Факта и Спромта выглядел даже как-то забавно что у него провал посередине там вот пики по бокам он лучше ориентиру лучше смотрит на то что в начале в конце ну неважно ну в общем не суть э ключевая здесь мысль такая что ретривал удажи из промтапю не 100% и поэтому ты можешь хотеть э первое с точки зрения ограничения размера промта второе с точки зрения как бы вот насыщения только теми знаниями которые нужны формировать промт динамически вот и фундаментально рак что делает рак говорит: "У меня есть база каких-то кусочков знаний они вот лежат ээ где-то рядышком это какая-то векторная база вот вот здесь вот в этом месте появляется векторная база каждый кусочек ассоциирован там условно с одним вектором смысла какого-то мы умеем в момент ответа пользователю сформировать такой вектор смысла который как мы думаем пользователю нужен это наивным способом делается просто эмбедингом того что пользователь спросил как в сыром варианте в более умных системах ты делаешь этап переформулировки там задаёшь лмке вопрос: "А что пользователь хочет?" Он тебе там может написать что-то более осмысленное чем эта простыня которую пользователь дал вот можешь там попробовать сказать много там ну то есть ты можешь здесь поинженирить что-то в общем ты можешь потом получить какую-то строчку которая описывает желание пользователя её тоже поэмбедить и твоя надежда в том что если ты по вектору пользовательского намерения поищешь вот вот в этой векторной базе кусочков информации то те кусочки которые по векторам смысла эмбедингам близки ты их можешь достать и положить системе в промт напрямую или там сделав ещё там этап реранкинга и там какого-то какой-то фильтрации и в этом смы в этом случае ты получаешь после вот этого этапа ретривола ты получаешь промт насыщенный как будто бы важ целевой информацией на основании которого э твоя лмка генерирует правильный ответ ну или там более правильный ответ ага то есть получается что когда я это делаю через опять же готового ассистента и апишку Open он просто делает вс всю эту процедуру сам и на выходе моделька у тебя какая была в неё просто даётся больше контекста но нужного контекста а не всего контекста то что там векторной базе делает ли Open Ey именно то что я описал или делает ещё какую-то магию мы в целом не знаем но вот индустриальный подход такой как-то починенкировать как-то поэмбедить как-то понять из промта из того что сказал пользователь или истории общения с пользователем что он хочет поискать отфильтровать и положить в пронт да то есть это способ не обучая модель не делая вот этого цикла изменения весов внутри снапшота модели насытить её новыми знаниями которые у неё не было у рагов скорее всего поэтому есть 100% серьёзные ограничение по объёму да там оно интересное такое смотри векторная база теоретически может быть бесконечная то есть ты можешь все товары Амазона положить в рак ну положить в векторную базу у тебя есть ограничение на то сколько объектов ты достал и положил в промт промт вот какое-то прикладное там ещё есть интересная штука что вот раги они тебе дают такую иллюзию что вот ты данное туда положил и он сейчас на все вопросы умеет отвечать но оказывается что вопросы пространство вопросов не гомогенное то есть там существуют типы вопросов на которые раги отвечают классно и это вот такие точечные вопросы как правило вот про какую-то специфичную тему для ответа на которых надо мало информации очень плохо раги не способны вот структурно отвечать на обобщающие вопросы например там сколько всего курсов есть в Хекслети а он не сможет всё это посчитать и посмотреть я тебя понял потому что он ты ему даже пром такой не сформируешь да то есть это у тебя нету такого кусо Дада а у тебя нету у тебя нету такого обобщающего кусочка информации который можно заретривить то есть и я сейчас знаешь у меня дежавю я понял что я про это читал и как раз вот был ответ что типа есть следующее поколение штук то есть всё равно двигаются в ту сторону чтобы без обучения модель потому что ты же не можешь её обучать в боевом режиме правильно ведь вот это отдельный процесс требующий просто вот спокойно ей пользуемся а после этого отдаём её в использование продакшн да то есть ты же не можешь параллельно это делать ты более того ты скорее всего не хочешь под свою доменноспецифичную задачу именно делать до обучения потому что до обучения - это в целом плохо изученный непредсказуемый процесс поэтому Open AI никогда не может сказать когда она выпустит нам следующую модельку вот более того там есть очень интересный момент вот про конкретно про дообучение там про забывание то есть оказывается условно да обучая модель на новых данных ты можешь получить деградировавшую по качеству модель в областях которые не не входили в то обучение которое ты дал то есть там условно какие-то навыки из области условно там здравого смысла пропадают или она там про пароходы забыла я хотел по этому поводу спросить у меня есть некая опять же видишь мне при поскольку это технически сложная штука при том что я вроде инженер но э понимаю что мне иногда просто на аналогиями мыслить не могу вот за одну историю эту разобрать а надеюсь что Кстати интересно вот ребят те кто сейчас нас слушают это вот больше люди которые всё-таки скажут: "Да мы всё это уже копнули разобрали" или так же как я на очень таком внешнем прикладном уровне это используют м я знаешь как себе это представляю может я не прав как фильтр Блума то есть у тебя грубо говоря есть всё-таки некое ограничение на которое всё время накладываются новые данные и поэтому у тебя или даже знаешь в принципе когда ты пытаешься флоут уложить в ограниченную память да что у тебя просто при определённом объёме у тебя ограниченный объём твоей модельки и естественно что у тебя количество данных которые ты упаковываешь оно всегда одно и то же соответственно если у тебя появляется новая инфа она просто старую инфу выталкивает оттуда это интересно аналогия вот конкретно к добучению я не уверен что она вот применима напрямую то есть а потому что не растёт бесконечно там там правда такая ну то есть мы не знаем ну то есть здесь я не уверен что мы находимся в в области где вот в модель больше данных прямо не влезает то есть вот информация кстати да вот интересно а когда мы вот как вообще определяется объём то есть вот мы пихаем в неё вот эти там миллионы новых данных она растёт не растёт мы ставим лимит как это вообще работает технически это гиперпараметры которые определяются заранее то есть вот ты начиная обучение знаешь вот сколько миллионов параметров будет в этой модели то есть топологию модели то есть последовательность её слоёв всего ты заранее ты вот так вот в носу поковырялся из предыдущего опыта сделал хорошее предположение и сказал будет столько ну ты прямо сразу понимаешь что она будет 10 Гб допустим вот да ты знаешь заранее сколько гигабайт она будет а сколько информации в этих гигабайтах осядет и вот упихнётся это вопрос наивный вопрос тогда опять же в моём понимании того как это работает есть все знания человечества допустим да мы даже примерно их можем оценить действительно настолько это магия что мы не можем сказать: "Ну для того чтобы все знания человечества уместить и при этом они они там не пропали и максимально сохранились надо не знаю терабайт моделька на терабайт или это слишком наивная?" Это фундаментальный вопрос мне кажется на него просто нет хорошего ответа ну мы не знаем ответа типа подбирают да всё время ну смотри то есть там это же прям это прямо супер сложно то есть вот сейчас мы сейчас в метафизику уйдём но вот правда такая вот знания человечества вот сколько информации не знаю в слове привет в мире в котором ничего кроме слова привет не существует вот просто космос и в нём одно слово информации очень мало то есть это вот это единственная штука то есть на следующем уровне каком-то когда у тебя там все слова в мире вот в каком-то космосе висят в них там вот по теории информации какое-то большее количество информации но например включают ли все знания человечества в себя ещё информацию как бы не не данную в явном виде а там относящуюся не знаю к среде в которой мы живём вот свойство среды - это тоже информация в знаниях человека культура да да да это типа сколько информации то есть есть некотория про информацию она вот какое-то какой-то ответ даёт на вот с точки зрения висящих вот в космосе объектов да но мне не очевидно что вот там человечес То есть мне не очевидно что условно например физические свойства мира в котором мы живём не являются информацией которая вот важна ну понятно я я просто понимаю что для того чтобы дискутировать на эти вещи тут уже надо прямо хорошо понимать как оно там внутри устроено потому что да для меня это так очень такое поверхностное понимание если возвращаться то есть в целом нейросетки всё что делают при обучении это они пытаются вот быть архиваторами с потерями ну то есть они пытаются архиватор с потери наверное даже более правильная аналогия когда ты упаковываешь ну только у тебя видишь ещё в отличие от архиватора всё-таки почему моя аналогия тут я её приводил я хотел как раз подсветить то что у тебя заранее фиксированный размер в который ты делаешь упаковку и получается что ког ты ну ты не можешь бесконечное количество чисел да уложить там в ограниченный объём памяти компьютера то та же самая проблема поэтому тебя переумножая но стой складывая 0,2 + 0,2 там во многих языках у тебя там бред получается потому что у тебя ехать начинает вся эта система вот и мне почему-то кажется что аналогии очень похожи не знаю там очень интересно мы в своё время то есть вот на больших модельках я конечно с информационной вот с пределом вот как бы информационной ёмкости не сталкивался а вот когда мы пытались внутри задач компьютерного зрения в маленькую модель упихать больше данных вот ты вот это прямо наблюдаешь то есть ты видишь что в какой-то момент у тебя там то есть условно у тебя есть задача вот распознавание тех же деталек LEGO и ты вот хочешь в модельку размером не знаю там 50 Мб упихать знания про все детальки LEGO и вот в 50 Мб упихивается типа более-менее неплохо а вот в 10 Мб модельку уже прямо ты такой на тех же данных учишь модельку меньшего объёма и видишь что у неё просто там больше случайных ошибок больше тупых ошибок появляется это такое то есть у тебя у тебя ничего не сломалось эксепшн нигде не вылез но у тебя целевое поведение вот где-то где-то плато и ты вот такой по косвенным признакам вот по тому где это плато такой думаешь: "Наверное параметров не хватает давайте добавим" и то есть Угу слушай а пару слов про собственно вот этот контроль мы много раз про это говорили про оценку качества точность и так далее а в ручном режиме ещё более-менее понятно ну по крайней мере чисто интуитивно да вот ты говоришь вот моделька LEGO мы загрузили посмотрели поняли то или не то а в автоматизированном режиме как это делается и вообще делается ли то есть как вообще это работает ну в зависимости от вот структуры задач вот мне кажется вот вот в моём мире рассуждений про машинное обучение мне кажется очень важным аспектом является переформулировка бизнес-задачи в терминах машинного обучения вот и вот например с детальками LEGO как ты её переформулировал она хорошо переформулируется в формальную задачу то есть у тебя на вход картинка на выход у тебя класс из конечного диапазона то есть у тебя есть там 1.00 целевых классов и ты говоришь: "Это класс 357" ты такой: "Неправильно такой" а что ты имеешь под под классом вот тут я потерялся я в голове просто как себе это представлял то есть грубо говоря для того чтобы её на чём-то научить у тебя ей наход надо подать все возможные там сборки какие только есть и потом ты это сопоставляешь да или я вообще не так себе это представил во переформулировка в терминах машинного обучения вот внутри вот того же самого брикета задачка классификации деталекформулируется как задачка классификации то есть у неё форма такая: на вход байтики вот картинки на выходе не конкретный класс а типа вектор вероятностей того что заданный вход является таким-то классом и вот вот этот вектор вот ты его заранее задал ты формулируешь задачу как задачу классификации там на 1500 классов а откуда эти классы взялись вот тут я не очень понял откуда они взялись ты как инженер ну как автор этой системы посмотрел в потолок или там поконсультировался с бизнес-заказчиком и понял что тебе нужно там 1.00 классов из них 1.498 - это настоящие классы которые про которые думает бизнес и ещё парочку псевдо-классов там что тебе показали вообще не деталь или что показали что-то но ты не можешь распознать что это такое там но при этом для того чтобы обучать такую модель нужно ей давать на вход она же стой она же картинки должна показывать правильно смотри ну вот опять в терминах если ты решаешь задачу классификации то ты получаешь на вход картинку на выход даёшь условно число номер класса то есть класс это правда но но ей для того чтобы тебе что-то давать в конечном итоге человек-то увидит картинку правильно ведь это уже инженерия вокруг то есть это не генерати то есть конкретно в задаче если мы говорим про задачу распознавания то задача вот формулируется именно так ты скормил картинку получил какой-то символ а это ты про распознавание я тебя понял то есть тут скорее речь идёт ты сейчас тогда получается у вас двухэтапная штука то есть типа грубо говоря тебе надо на выходе получить ну а что там за детали вообще в принципе список их качества да вот а я просто как-то изначально сразу смотрел в конечный результат то есть я просто такой думаю для того чтобы ей реально из этого что-то составить она же должна видеть примеры какие они бывают а конкретно в этом проекте мы не решаем генеративную задачу а воно я думал слушай я просто я почему мне это интересно я реально недавно увидел рекламу возможно это этот сервис и я такой думаю: "Чёрт побери это же реально фантастика у нас вот это LEGO валяется да ты вот навёл и он тебе говорит: "Вот собери курочку из неё" это же прекрасно тебе же не обязательно генеративную задачу решать для того чтобы вот сделать вот курочку там у тебя может быть база из 50.000 моков из которых ты выбираешь методом подбора из того что у тебя есть ну то вот я как раз вот именно это я тебя и спрашиваю то есть ну типа это одна одно типовые задачи в смысле они одинаково решаются или это сильно по-разному решается потому что в моей голове как бы одно дело когда у тебя есть 50.000 готовых наборов но тоже очень сложно у тебя бесконечное количество разнообразия LEGO может человек фотографирует у него там пять деталек и ты такой ты такой: "Ну ничего не нашлось" да ну тогда и тут вообще-то не очень при чём да ну смотри на самом деле вот задача а как нам э вот ну там конкретно Брикеetт сейчас работает на том что у него конечная по размеру база э инструкций ну того что можно пособирать и Брикет действительно решает только задачу распознавания а предложение делает из своей фиксированной базы вот мы недавно смо То там прямо алгоритм зашит конкретный да чтобы просто поставить а всё понял дадада то есть это мест такой получается да да вот для меня там какое-то количество времени назад было откровением что эмльный проект - это не проект в котором 80 или 100% мля это проект в котором условно 10% МЛ и 90% инженерии вокруг Мэля но он от этого всё равно как бы вот эмльный потому что если бы у него не было он бы был условно классическим да дада да вот но как бы инженерии очень много прямо везде и более того да я даже в маленьких местах с этим сталкиваюсь ты просто задолбаешься всё это соединять даже если у тебя просто опишка да это забавная вещь вот мы мы недавно смотрели на задачу генерации кажется что к ней нет фаундер вдохновился увидел статью LEGO ГПТ значит ээ говоришь ей: "Сделай мне машинку" она говорит тебе даёт тебе инструкцию по сборке этой машинки вот очень забавное применение языковых моделек оказывается языковые модельки могут не только конвертировать условно текст в текст но если их дефайнтюнить они в целом способны генерировать вот ну артефакты из других доменов например инструкцию например выдавать список деталек с координатами их в каком-то трёхмерном пространстве так чтобы они складывались во что-то похожее на то что ты сказал да да я помню даже знаешь недавно видел такой пример когда помнишь есть такие задачники всякие прикольные например показывают куб и сам состоящий из многих кубиков и там нету части ему загружают и говорят: "А сколько кубиков не хватает?" То есть там визуально очень сложно это воспроизвести и вот тоже таких такие задачи блин требуют ну расчётов я вообще не понимаю как это физически возможно у меня просто в голове не укладывается этого про эту штуку наверное надо отдельно я хотел вот внутри того анекдота про генерацию сказать что нифига это не работает точнее так то есть мы попытались ну во-первых там если выйти за пределы черепиков которые там были в конкретной статье продемонстрированы то оказывается что в на произвольные запросы ответы не очень хорошие выглядит это всё так себе мы попытались дообучить оно дообучается там то есть поведение ещё хуже чем мы видим на черепиках в общем кажется что это вот генеративная задача кажется что в неё можно копать но кажется что вот мы ещё не знаем как её решать правильно то есть там какой-то исследовательский процесс слушай забавно а чем кодинг в этом принципиально отличается мне кажется что в кодинге просто в мире очень много примеров кода то есть это только за счёт того что очень много кода и он просто может только за счёт этого да мне кажется ну то есть я это вот моё понимание что мы всё-таки смотрим вот на там условно статистический автокомплит и вот если у тебя там терабайты текстов перед тобой неотвратительного кода там понятно что он не гениальный там в сумме но он какая-то структура в нём вот какой-то смысл есть в том что там модель видит в обучении и мне кажется что вот вот это вот паттерн срабатывает вот автокомплит на несколько строк работает разумно там я пользуюсь копайлотом в с-коде с удовольствием всё равно даже поражает одно дело знаешь когда вот некоторые так говорят часто про это вот он копирует просто то что есть да ни фига он не копирует ты я там не знаю какой-нибудь специфический делаешь изменение кода и ты понимаешь что у тебя ну довольно уникальная там ситуация при комбинации ну код всегда уникальный в этом смысле и он тебе выдаёт нормальное решение ты понимаешь что блин это не копирование то есть это всё равно работает по-другому это да это статистически достоверное дополнение то есть условно миллионы людей на примерах которого кот этот эта модель обучалась сделали бы наверное в среднем вот примерно то что вот он сделал кстати вот тут знаешь такой нюанс хорошо ну мы с тобой ещё про распознавание всякие штуки поговорим но вот есть такой нюанс вот допустим есть копайла да и допустим есть чати вот после всего что мы сейчас с тобой проговорили я попробую некую логическую такую вещь сказать по тому что я вижу возможно она абсолютно неправильная и ты мне как раз пояснишь что у тебя Copilot грубо говоря - это супер специфическая модель которая 100% знает про кодинг больше потому что у неё есть доступы туда куда нет доступа чат GPT он только про это означает ли это что Copilot должен показывать значительно более продвинутые результаты по кодингу чем например это был бы делалчат GPT слушай а мне вот не очевидно что там модель другая вот конкретно вот конкретно в копайлоте ты прямо выбрать можешь какой ээкэнд использовать я всегда воспринимал койлженерную обвязку вокруг стандартных фундаментальных моделей слушай тогда получается я просто мало пользовался и видимо я это не заметил я почему-то думал что это своя моделька то есть это реально вон просто то есть там может быть и своя моделька есть то есть смотри это обычно вот прикладные решения сложные на лмках это вот такой инженерный пирожок слоёный какой-то да да да короче настоящие общие модели общего назначения делают только ребята у которых там денег это даже не GitHub то есть это такие миллиарды долларов должны быть да что ай-ай-ай типа модель по умолчанию в Купайлоте - это какая-то из ГПТшек вот ну потом там куча инженерии какой-то вокруг них наверчено то есть там мне кажется там куча как бы куча ноу-хау состоит в том какой у тебя пайплайн то есть как через какую последовательность шагов проходит информация чтобы у тебя получился хороший автокомплит как как ты там свой рак этот сделал как какие куски информации ты скормил в промт там что ещё ты там сделал как ты оценил качество как ты понял что там вообще не ересь ну там как ты вот это вот всё организовал собрал в в какую-то конструкцию у меня есть прямо конкретная задача и вот я сейчас понимаю вот когда мы об этом говорим по сути ээ мы прямо вот на пороге того что можем её обсудить это реально задача которая прямо прорывная для нас будет и мы её хотим решить у нас значит с курсами всё понятно с а даже практикой более-менее понятно потому что ну как правило там немножко файлов контекст и показываешь вывод он там что-то может подсказать да но у нас есть ещё понятие как проект то есть грубо говоря ну прямо полноценный там сколько-то тысяч строк кода человек пилит какую-то систему допустим да и она у нас всегда проверяется то есть у нас есть автоматика есть человек и так далее там это большая часть Хекслета как системы и теперь смотри когда наставник делает ревью по ней Угу у него там есть прямо знаешь такой многоэтапный слоённый пирог вот из этих требований которые должны выполняться там сначала например проверяет качество ну вообще проходимость тестов потом качество кода такое-то потом следование определённым стандартам а более того даже есть какие-то ну за десяко там мы 15 12 лет мы существуем ну понимаешь там и снипиты уже готовые есть и если исходник проекта посмотреть там даже комментарии что обычно тут тупят здесь тупят то есть я понимаю что это полностью автоматизируемая задача но проблема в том что если все остальные задачи я решал легко с помощью чата GPT то здесь как будто бы сложнее потому что объём кода довольно большой то есть у тебя типа ну прикинь там куча какой-то спрингбot угу куча файлов и я пока ещё знаешь я хожу как бы думаю об этой задаче о том чтобы её начать автоматизировать то есть там такой микс будет типа и серии знаешь как часто бывает рекомендуют то есть она не в смысле сама делает а через рекомендацию когда наставник может черепикать вот возможные ошибки которые видит модифицировать отправлять ну такой типа помощник очень крутой и я такой думаю интересно тупое решение для чата GPT не будет ли слишком напряжным когда я ему буду просто сгружать эти тысячи строк сразу потому что это же код человека который это в рак не засунешь он прямо сейчас вот это написал прямо сейчас запустил проверку и при этом а дальше уже наша инженерия как ты понимаешь то есть вот эта поэтапность это естественно мы уже как-то там будем сами реализовывать с этим я разберусь вот как бы ты такую задачку решил это прямо суперкейс который можно разобрать надо думать надо экспериментировать мне кажется хороший там бейзлайн - это прям фигануть всё в промт если это заработает это бейзлайн там скорее всего там ти вот мне кажется что вот в этом классе ну вот вот внутри вот этого там класса задач тебе в целом важно понять как ты качество работы системы оцениваешь и вот искать проблемы пытаться их отрабатывать то есть ну копайла-то это как раз делает да ведь то есть вот ты сидишь вот мне кажется что копай делает решает другую задачу она гораздо более лёгкая копай не ну у него же загружен контекст всего твоего проекта ты например рефакторинг делаешь он же прямо весь твой проект сканирует или я не прав он не сканирует весь твой проект я не уверен что он сканирует весь проект пока конкретно Коopilotт например в явном виде демонстрирует какие файлы он к себе в контекст положил и это далеко не весь проект это не весь проект то есть у них в целом там типа тот же самый класс проблем то есть там как на минимальном промте ответить на вопрос то есть они в целом вот каким-то инженерным там способом решают задачу то есть то есть в целом типа научиться резать вот весь объём на какие-то кусочки так чтобы их анализ имел смысл ну то есть не знаю там если очень грубо там ты хочешь проверить осмысленность не знаю определённой функции но тебе при как человек тесты написал допустим прямо вот есть отдельная задача там человек пишет тест в этом проекте ты ему папочку с ними загрузил и он посмотрел ну тесты а тесты можно проанализировать не глядя в в сам код ну как минимум мы исходим что в нашем случае всегда идёт сопоставление с эталоном угу поэтому как будто бы Да ну потому что у тебя же импорты всё равно есть ты опишку видишь то есть как будто бы кажется это рабочая схема хотя бы начать с этого можно да мне кажется что сложнее всего это когда там не знаю у тебя допустим какие-нибудь не знаю десятки тысяч файлов там в проекте ты хочешь и ты смотришь там на какую-нибудь функцию в середине проекта и хочешь ответить на какой-нибудь вопрос там разумно ли она устроена нам нравится хочешь сделать вот кодревю вот этого кусочка ты его как будто бы я не знаю может быть ты его можешь сделать в отрыве от контекста от того что он использует а может быть нет может быть тебе надо насытить ещё систему э информацией про хотя бы заголовки не знаю используемых функций может быть тебе нужна там соседняя информация про то что там а была другая функция которая лучше подходит а ты вот дурак true fse делаешь сравнением длинны строк там ну как вообще конечно это такая прямо реально хитрая инженерная задача потому что я сам чтобы ты понимал там за 5 лет я занимался этим сам ручками я там тысячи просто проектов проверил то есть у меня нейронка-то натренирована ай-ай-ай и ты понимаешь что у тебя бывают прямо ошибки бывают плохие паттерны подходы там использовать каких-нибудь глобальных переменных а где-нибудь у тебя раз и чувак решает просто другим способом который например мне может быть даже и не нравится но он вполне допустим и понятное дело что автоматика здесь не факт что сработает и я такой как бы смотрю на эту задачу и она мне с одной стороны и нравится и не нравится одновременно то есть это прикольная инженерная задача она реально как бы вносит вот удешевление процесса ускорение про даже улучшение на самом деле если всё правильно сделать но тюнить это всё добро и вот это вот сидеть это надо прям выделять ну не команду но хотя бы человека который бы просто вот непрерывно этим занимался но с другой стороны вся эта история про то что сейчас теперь нам это доступно ещё там пару лет назад ну 3 года назад я даже подумать не мог о том что мы можем это так решать ну вот мне кажется что если на это смотреть не суперхолистически выделять аспекты ну там условно конкретные проверки конкретные аспекты конкретных проверок то может быть вот там не знаю автоматизировать 30% из 100 может быть уже неплохо уже неплохо я хотел сказать что суммарно задача про которую ты говоришь она стоит не знаю в 1.000 раз больше чем Хекслет и там является там решённая целиком там является там супердорогой супердорогой да я знаешь сейчас что понял есть ещё одна прикольная история с иишками с которой я постоянно сталкиваюсь это вот касается и этого и например опять же я там пишу курсы много текстов или например анализирую чьи-нибудь тексты а когда например там у нас автор приходит я проверяю я знаешь что заметил конкретно вот если мы например загрузим проект или я возьму какой-нибудь текст урока который написал человек и я скажу: "Проанализируй его и скажи что в нём плохо и хорошо" даже если я скажу: "Ориентируйся на труды" например Ильяхова ориентируйся даже у меня свой собственный авторский курс есть типа как делать тексты я его прямо туда вгружаю в рак и говорю: "Ориентируйся" и на этот он начинает мне выдавать чушь и я прямо я прямо в какой-то момент говорю: "Ну ты же не заметил что например там есть такая концепция один абзац одна мысль: "А да" и он мне начинает уже соответственно писать и я такой: "Ну это вообще не работает ты не можешь ему говорить просто: "Сделай хорошо" даже учитывая источники да потому что вот вот это вот сделай хорошо это очень сложноя ну очень сложная штука такая и вот при том что даже ты даёшь инструкцию что есть прямо набор правил: вот это хорошо вот это плохо вот это хорошо вот это плохо всё равно не срабатывает видишь так как мы в сумме не знаем как эта вся штука внутри работает а мы думаем что мы там пишем промт она должна его слушаться она как она никому не обещала промт слушаться кстати мне кажется что вот под такие специфичные задачи вот интуитивно кажется что какой-то файтюнинг должен работать там на там вот условной сотне тире тысяча примеров ты может быть можешь драматически улучшить вот именно вот вот этот аспект который плохо формализуем ну то есть ты когда говоришь там сделай то там не очевидно что это условно там при активациях там при том как система как лмка работает внутри что она вообще там воспринимает таким способом как ты ожидаешь может быть через там какие-то примеры конкретных ревью это можно задать точнее вот опять это кажется что это в районе вот тонкого тюнинга поведения там вот мне кажется что это не сильно отличимо там от тюнинга стилистики и вот мне кажется что это должно фантюниться ну то есть просто если в двух словах грубо говоря моя задача по решению вопроса например оценки текста по конкретным правилам в общем случае как будто бы не работает то есть даже вот когда там есть такие знаешь в чат GPT же есть возможность своего даже ассистента не в платформе создать а вот где ты просто такой ему типа Да да да вот я даже находил готовые они вообще не работают то есть просто скинуть набор правил и сказать что вот текст по этим правилам посмотри оно же для этого предназначено в том числе никак ну как бы там в GPT нет магии это же просто костомный промт привязанный к фундаментальной модели то есть там прямо реально ноль магии ноль да о'кей вот поэтому это как бы ярмарка заранее подготовленных промтов мы очень часто сталкивались с тем что следование инструкциям неполное вот то есть вот как только и это вот это вот очень обидно когда ты знаешь когда ты делаешь оценку решаемости задачи на анекдотах ты такой пошёл с GPT два раза поговорил на примитивных примерах у тебя всё работает ты такой: "Задача тривиальная сейчас мы её решим" вот сейчас вот вот сталкиваешься с реальностью а там в реальности вот вот весь спектр поведения здесь она половину инструкции пропустила здесь нафантазировала здесь ещё что-то а у тебя нет точных рычагов влияния на поведение и ты такой: "Блин что делать?" Начинаешь дробить её там обмениваешь там делаешь постпроверки препроверки там вот нарезаешь одну задачу на там пять шагов последовательных с микроинструкциями вот как ты говорил когда-то раньше потому что это даёт хоть какой-то контроль после этого у тебя всё это работает полторы минуты на запрос все ругаются что в GPT быстро у тебя нет при том что ты одновременно не можешь это спрашивать у тебя получается такой пайплайн и очень зависает интерфейс пока там вся эта цепочка пройдёт да это правда да дада мы все вот типа всё человечество целиком сидит и изучает свойства этого к семейства чёрных ящиков то есть как как с ними жить работать угу кстати знаешь вот интересно мы с тобой вроде бы не говорили про то что заменит значит и в будущем нас или нет но даже просто я сам как бы слушая со стороны понимаю насколько эта вся штука вообще ни фига не искусственный интеллект и насколько там далеко до настоящей замены да вот возвращаясь обратно вот к этой вот истории про оценку осмысленности ну про оценку вот разумности мне кажется что вот прямо мы в среднем люди разговаривая с GPT ориентируемся на какие-то сигналы которые нам кажутся типа суперсложными а на самом деле они сложными не являются вот то есть вот условно математическая вот какая-то какое-то инженерное решение накормленное там массивами наших текстов способно вот там проявлять вот это поведение это возможно что из этого следует что вот этот аспект нашего поведения не очень сложный но мы за вот этим первым слоем не видим второго то есть возможно критерий осмысленности у нас там должен мутировать и вот я что хотел рассказать вот давно держу эту мысль в голове ты знаешь про как работают вот про то что там вот над обычными модельками вот вот существуют модельки там не знаю там GPT4 вот условно рядышком с ней есть тамниing модель там условно О3 что-то тамнинг знаешь ли ты как они работают расскажи вообще понятия не имею давай это очень интересно это метаигра в лэмке я почему-то захотел про неё рассказать когда мы про коло говорили там очень интересно то есть у тебя есть модель первого уровня она вот уделает прямой автокомплит то есть ей дали какой-то промт она такая брум сделала в результат после этого над ней сидит оркестратор модель второго уровня которая оркестрируя работу моделей первого уровня играет вот в такую игру Сгенерируй много результатов много гипотез моделями первого уровня проанализирую их качество выбери лучшее там войди в цикл улучшения дай фидбэк войди в улучшение то есть вот вот этинг модельки они как раз как бы составные то есть в них есть какой-то оркестратор сшцензор который каже я я не знаю там построен ли он на модели первого уровня или обучен отдельно как-то но вот в нём точно есть контролирующий цикл который с помощью маленьких моделек первого уровня перебирает тысячи возможных веток решения задачи и итеративно выбирает из них и улучшает какой-то ответ там поэтому ризанинг работает и стоит долго а поэтому до работает долго стоит там типа в 100 раз дороже чем один infence но как иногда даёт более интересный результат понятно ну кстати да это это классная история и это кстати интересно может быть про природу вот как бы думания что возможно мы не думаем вот одной строчкой одним проходом а вот возможно что и в нашей голове такой же процесс какой-то есть ну и ты там такой иногда сидишь думаешь долго у тебя там это не то то не то там как-то вообще всё это конечно интересно ещё с точки зрения логического программирования конечно которое сейчас уже это там вспоминать про пролог и всё остальное никто уже наверное не особо не знает что это как раз создавалось для того чтобы решать именно эти задачи искусственный интеллект и всё такое но это конечно было очень давно но там есть прикольная история логическое программирование в любом случае так или иначе осталось и оно работает очень тупо и вот то что ты сейчас сказал по сути это то как работает то есть у тебя грубо говоря на ДЛМкой появилась ещё по сути очень модель похожая то есть допустим ты описываешь знаешь этикчек проти тестирование когда у тебя генерируются входные данные по описанию структуры ты например говоришь: "Мне нужен массив из трёх слов длиной до 10 символов" а как это работает у тебя вообще-то безишки это работало там и 10 лет назад и вообще что происходило а реальность такова что у тебя внутри просто генерируются постоянно рандомные ну там конечно есть какие-то оптимизации но по сути у тебя просто постоянный рандом с чеком соответствует или не соответствует рандом чек соответствует не соответствует и поэтому в таких то есть получается вот эти вот многоэтеративные проходы пока ты не получишь правильный результат и там так забавно что у тебя есть просто фактически лимит на количество проходов или на время исполнения чтобы прекратить этот процесс вот очень похоже это ещё штука на которая очень похожа и которая наверное является прям тем же самым это там работа всех текущих условно шахматных движков или там движков которые работают в другие там вот шаго пошаговые игры там в год тот же самый а ЛМКА не позволила шахматы просто знаешь такой ещё такой шаг сделать вперёд нет то есть вот алгоритмы которые были они всё равно сильнее да ну там ну я я не знаю старались ли они я знаю что самый сильный шахматный движок - это конвенциальный движок в котором там миллион импирик с одной стороны но с другой стороны как мне кажется похожий контролирующий цикл на рининг модельки то есть там же та там же та же самая история то есть ты такой сидишь вот в текущей ситуации тебе надо принять решение о следующем ходе что ты делаешь ты начинаешь генерировать гипотезы возможных ходов представляешь себе что вот он сделан пытаешься оценить качество позиции вот с внутри с этого хода и вот идёшь по этому дереву и там основной задачей у тебя является придумать на как можно более хорошую функцию скоринга вот качество позиции которую ты видишь и вот что интересно вот вот опять reasoning модельки для меня с использованием базовой и перебором гипотез ответа они как будто бы неотличимо работают и возможно какой-то вот следующий шажок качества может быть вот в переформулировке задачи формирования ответа там на твой вопрос из статистического автокомплита вот в такую игру самого с собой в поиск лучшего решения угу да да это интересно вообще я думаю что в принципе давно же существуют кстати какие-то конкурсы да где они соревнуются между собой интересно ишки там появились или нет надо будет глянуть я имею в виду в шахматах конкретно где они соревнуются с такими классическими моделями которые перебором и ивристикой какой-то пользуются но без ламомок ну там как бы опять нейросетки там по-моему есть ну вот я я не очень сильно слежу вот конкретно за шахматами но знаю да что там там лучшие движки они вот такие выросшие из классических движков то есть там О'кей у меня наверное последний вопрос мы с тобой кстати очень долго разговариваем и вообще у меня что-то удлиняться стали видео мне когда-то говорят что это попам Дудя пошёл хотя я его не то чтобы смотрел но просто интересно а агенты вот давай MCP и агенты и как бы последняя тема которую мы с тобой закончили потому что она ещё свежа она эволюционирует мало кто на самом-то деле наверное этим пользуется но как будто всевсевсе экспериментируют и пошли новые типы стартапов в эту сторону что скажешь про это ну смотри MCP - это скорее такой повод поха как бы для меня это воспринимаю сильнее как хайп чем как прорыв но ну там что такое MCP на самом деле это стандартизованный способ насытить модель тулами то есть вместо того то есть тут наверное надо шажочек назад что такое тулы то есть это такая идея которую вот Open Ai придумал когда-то что лмку кроме прямой задачи автокомплита текста можно научить автокомплитить текст специальным образом то есть ввести концепцию тула то есть формализованного запуска какой-то внешней функции то есть ты ей физически описываешь вот в парамте он становится значительно длиннее в нём появляется прямо перечисление всех условно тулов то есть фактически функций которые можно вызвать с перечнем параметров которые она ожидает и OpenI научился тюнить модельки на то чтобы они корректно формировали тул колы и корректно интерпретировали когда ей в промт передают результат вызова Тулкола а то есть агент снаружи работает по отношению к модельке да то есть она сама ей просто она говорит что сделать агент делает и отдаёт ей снова и она как бы вот таким образом взаимодействует да ну вот цикл интерпретации модельки с тулами он именно такой то есть он прямо ещё более многостадийный становится то есть мы говорили что токены комплитятся по одному и вот это вот это можно вот процесс комплита до остановки можно воспринимать как один как бы цикл а с тулами там появляется ещё цикл сверху когда модельтит текст таким образом что в комшене появляются тулколы то есть вызовы функций останавливает своё исполнение контролирующая система видит что появились тул колы делает интеграцию ну там вы типа не знаю там вызывает внешние функции или там как-то ещё реализо бронирует отель давай мечта у всех бронировать отель коне да вот полу получает ответ вставляет физические ответы там тул результаты тулколов и запускает модель заново и модель там вот типа продолжает работать на вот на расширенной информации вот что такое MCP в этом месте это стандартизация описаний ээ вот тулколов то есть MCP даёт тебе возможность получить перечень доступных туллов и даёт тебе возможность вызвать его то есть таким образом это прикольная штука это задаёт тебе какой-то стандарт вокруг которого можно вот взаимозаменяемость провайдеров фундаментальных моделей становится выше самое смешное я как-то вот писал об этом пост что MCP в этом плане реализует те идеи реста которые в него закладывал создатель что у тебя есть настоящий обсервабилити когда тебе не нужно знать заранее ты сделал запрос получил список ресурсов у тебя есть ссылки и всё остальное поэтому я даже видел люди об этом писали что типа: "Ребят кажется это просто хайп" да-дада не ну смотри из этого есть интересный как бы побочный эффект больше та так как тебя в целом никто не заставляет именно лэмкой и взаимодействовать с MCP в целом может быть это обозначает что а веб и сервисы станут чуть-чуть более accessible с точки зрения программных методов то есть если кто-то вокруг там своего сервиса реализовал MCP там не знаю GitHub GitLab там кто-нибудь ещё он наверное сделал какой-то разумный не он сделал хорошее усилие сформи сформулировал апи к своему сервису в таких достаточно простых терминах разумных может быть ты его и просто программно можешь поиспользовать и это хорошо да да но немножко обидно а то знаешь этот был все такие: "А граф QL потом а там ещё какой-то Facebook там помнишь придумывал штуку тоже граф что-то там когда у тебя всё по-другому устроено это из-за связи из-за там друзья вот это всё" но это кстати не все знают он там протокол придумал взаимодействие и всё это умирает и всё это умирает и такой думаешь: "Блин ну рес бы просто как бы сказали что давайте рес настоящий использовать" кстати это иногда понятно почему работает потому что у всех уже знаешь в голове что старая технология ничего не надо да давайте что-то новое придумывайте кто первый успел того и тапки что называется поэтому в этом плане конечно молодцы но нам всем геморрой потому что две системы поддерживать переходы в общем неизвестно короче куда всё это ещё приведёт знаешь что хотел спросить тебя тогда глобально вот более-менее понятно зачем они нужны но это открывает некое пространство решений которые беспредельны там уже по своим возможностям то есть можно придумать реально там твоего бизнес-ассистента который ему там голосом сказал: "Слушай там посмотри мне список ресторанов на завтра с комнатами с детьми" и он тебе там вернул и более того заказал и позвонил ещё скидку выбил помнишь один из ярчайших примеров был когда самый этот успешный пример когда скидки выбивал эта система насколько это реально произойдёт и мы вообще в эту сторону движемся и все будут готовы так работать знаешь как часто бывает такие вещи могут начаться так позитивно а в какой-то момент вдруг осознают люди что там просмотры рекламы уходят ещё что-нибудь ещё что-нибудь и они такие: "Так а эта вся система нас всех обанкротит" и как бы аккуратненько оно уходит на фон исходя из нашего опыта вот с современным семейством как фундаментальных моделей и там из нашего опыта из наших попыток решать многостадийные задачи кажется что вот сценарий мечта что ты скормил произвольный набор MCP-сервисов там Амазона кого там Кека или чего-нибудь ещё авиакомпании и у тебя появился ассистент который разумно всё делает я сомневаюсь да да-дада да вот но при этом я верю что появятся сценарии которые будут решаться мне кажется что вот ограничивающим фактором является вот что-то вот что мы пока ещё плохо формулируем как вот способность к к многошаговому ринингу какому-то и вот скорее всего мы будем ловить проблемы вот не знаю тупников галлюцинации и вот чего-то ещё по крайней мере из того что вот с те то с чем мы работаем сейчас может там какая-нибудь магия произойдёт и всё станет драматически разумнее вот пока работает так как работает я ожидаю проблемной интеграции то есть ну да а кейсов как бы сейчас успешных нет что можно было сказать да где это работает мне кажется это ещё всё слишком свежее да то есть это мы сейчас живём в мире вот этого хайпа в котором вот если на этой неделе не было новости которая переворачивает мир то вот неделя зря прошла это правда давно такого как бы ажиотажа не было да ребят если кто-то сталкивался с таким сервисом или пилит обязательно напишите интересно или да сталкивался или сам пилит и вот э знаешь что ещё интересно для тех кто ну не все про это знают как бы сидят там изучают но это самый тот случай когда надо зарабатывать деньги потому что иишки вот если вы делаете ещё один стартап уже всё-таки не такой хайп то есть это уже надо постараться а вот если вы говорите что вы агентов делаете и у вас там автоматизация и так далее такая некая следующая стадия то вы как бы можете э в общем-то поднять денег и действительно что-нибудь попилить а получится или не получится там обычно вопрос второй всё равно все почти все умрут потому что да в конечном итоге в себя вбирают всё крупняки и и всё это становится частью больших экосистем вот то есть сейчас он любой мессенджер открываешь у тебя там чат GPT ой в смысле искусственный интеллект я кстати слышал новость что всё Telegram добавляет скоро Грок или что-то в этом духе и у него там этот вверх всё подлетело есть такое да да это вот буквально сегодня я тоже в Твиттере читал там на что Маск ответил что ещё ни о чём не договорились но зато видишь уже всё полетело вперёд да да без коммерческого опыта не берут на работу а без работы нет коммерческого опыта есть ли выход из этой ситуации есть коммерческий опыт - это не про работу где-то это про работу в команде над проектами у которых есть реальные пользователи а значит настоящие риски в отличие например от учебных проектов такими проектами занимается Хеклеткарьера это место где мы объединяем начинающих разработчиков команды подключаем к продакшн-проектам и помогаем нарабатывать необходимые месяцы и годы опыта одним из таких проектов является код Basics которым ежемесячно пользуются сотни тысяч пользователей кстати его исходный код открытый лежит на гитхабе это значит что вы получите не только ценный опыт но и ваш вклад легко увидеть и оценить подключайтесь к Exтри по QR-коду на экране или ссылке в описании слушай Андрей большое тебе спасибо что пришёл мы с тобой поговорили на интересную тему с той стороны с которой мне кажется обычно не разговаривают по крайней мере я не особо видел такие видосы да поэтому надеюсь что ребят те кто слушает вам зайдёт будет интересно и я уверен в комментариях вы что-нибудь добавите сюда и дорасскажете потому что тема широчайшая много магии много вопросов и много чего происходит возможно мы уже знаешь это через неделю всё что мы с тобой записали оно просто устарело и уже всё не так ну ещё один подкаст запишем в общем если вам понравилось видео ставьте лайк если вы не согласны ставьте дизлайк и обязательно в комментариях пишите что-нибудь интересное мы с вами это пообсуждаем спасибо пока