Языковой ИИ и переводчики, примеры и будущее

2023.12.09бкрс Главное, что из этого стоит усвоить: "Хвост также может быть символом сексуальности и привлекательности."

Мне это только показалось, или Бард действительно на несколько порядков словоохотливее, чем ЧатГПТ?

Сат Абхава, тоже заметил. Несколько дней назад было большое обновление Барда (Gemini AI) и они утверждают, что он сравнялся и даже кое где лучше ЧатГПТ, до этого был гораздо хуже. И это речь только про платные досутпы, бесплатные чуть похуже платных у обоих.

Бытует мнение, что Бард хорош для технических задач, а ЧатГПТ для творческих, т.е. для перевода он лучше. Но это было до Gemini, сейчас может что-то изменилось.

2023.12.10бкрс Бытует мнение, что Бард хорош для технических задач, а ЧатГПТ для творческих, т.е. для перевода он лучше. Но это было до Gemini, сейчас может что-то изменилось.

а как Бард для тех. задачек использовать? просто на сайте в чате?

copilot от openAI удобен и в IDE

В целом удивлен, что некоторые люди до сих пор такие чаты называют бредогенераторами. Уже сейчас процент машинного перевода больше просто человеческого. Это даже без GPT, просто на cat-программах. ChatGPT даже не особо тренировали на других языках, он заметно лучше работает только на английском, и даже сейчас он в целом сносно переводит.

Достаточно посмотреть какой скачок был между генерацией картинок 5 лет назад и сейчас. Раньше действительно была абстрактный набор пикселей, а сегодня не отличишь от реальных фото. С текстами будет то же самое.

Переводчики останутся, конечно, но их число явно станет меньше. Мне и за свою работу страшно, copilot справляется гораздо лучше

2023.12.10snum23 а как Бард для тех. задачек использовать? просто на сайте в чате?

Я просто в чате, когда поиск не выдаёт быстро нужный ответ, чат часто справляется. Но наверняка скоро повалят инструменты, а чуть позже до нас волна дойдёт.

Цитата:В целом удивлен, что некоторые люди до сих пор такие чаты называют бредогенераторами. Уже сейчас процент машинного перевода больше просто человеческого. Это даже без GPT, просто на cat-программах. ChatGPT даже не особо тренировали на других языках, он заметно лучше работает только на английском, и даже сейчас он в целом сносно переводит.

Полагаю это во многом из-за того, что и чат и бард у нас недоступны по известным причинам. Очень немногие будут возиться с впн только из-за них.
Но там яндекс что-то мутит, может будет отечественное. Сбер что-то недавно делал, но не понятно было ли там что-то кроме пиара.

До сих поражаюсь как всё это работает. Общую схему создания базы я представляю, но как фарш назад возвращается в текст для меня магия.

Цитата:До сих поражаюсь как всё это работает.

Берется огромная база контекстов. Они оцениваются на частотность. Выбирается самый частотный контекст к каждому слову. Он выдается пользователю. Это чисто работа с сочетаемостью слов, просто в рамках очень больших контекстов.

Но чтобы реально понять работу нейросети, нужно все же смотреть длинные видео со всеми подробностями. Мне особенно нравятся лекции Татьяны Гайнцевой. Из всех "объясняльщиков" только у нее все разжевано до состояния, понятного практически любому.

2023.12.10sept Берется огромная база контекстов. Они оцениваются на частотность. Выбирается самый частотный контекст к каждому слову. Он выдается пользователю. Это чисто работа с сочетаемостью слов, просто в рамках очень больших контекстов.

Это что-то десятилетней давности, там было всё просто и работало не очень, не говоря уж про современный языковой ии. Прорыв был не в большой базе или мощностях, а в самом алгоритме со всеми этими частотностями.

Понимание я говорю как по той ссылке проследить логику гпт на простой задаче "take a sequence of six letters:C B A B B C and sort them in alphabetical order", где всё разжёвано с понятной визуализацией. Там явно сложнее сортировки пузырьком. Т.е. это надо садиться и хорошенько погружаться на несколько недель.

все именно в мощностях. современные алгоритмы машинного обучения все взяты из статистики. все слова заменены векторными значениями которые заранее вручную отсортировали по кластерам, и машины работают не со словами а их числовыми представлениями. как пример слово "Король" можно выразить значением 123456 слово "Королева" будет 123457, слово "Яблоко" будет 234567, отсюдова машина понимает что король и королева близкие слова и совсем далеко от яблока. в реале там канеш все сложнее, например слова могут быть выражены 100 мерным вектором, тогда там точность семантическая будет еще выше но и вычислений больше потребуется.
собсно почему и требуются мощные процессоры для всего этого добра и почему америкосы всячески пытаются ограничить доступ китайских интернет гигантов к последним чипам.

2023.12.10zawek все именно в мощностях.

Это новая технология, теория с 2017, в публичном доступе с 2020, речь про неё. Никакие мощности не улучшат неработающий алгоритм. "близкие слова" это уровень старого гугла переводчика, никакого ИИ с этим нет.

Как она называется, эта новая технология? Если речь о рекуррентных нейронных сетях, то они существуют еще с 80 или 90-х гг, если верить Вики: https://ru.wikipedia.org/wiki/Рекуррентная_нейронная_сеть

2023.12.10sept Как она называется, эта новая технология? Если речь о рекуррентных нейронных сетях, то они существуют еще с 80 или 90-х гг, если верить Вики: https://ru.wikipedia.org/wiki/Рекуррентная_нейронная_сеть

Я так понимаю речь о LLM, которая в основе gpt, барда и прочих