Публикации по теме 'nlp'
Теоретический аспект обработки естественного языка
Введение
За миллионы лет люди приспособили таинственные пути для развития искусства общения. Все началось со сплетен, которые позже позволили нам эффективно общаться и передавать наши сообщения другим людям с помощью звука. Чтобы сузить его, есть два основных фактора, участвующих в ускорении эволюции человека: один — язык, а другой — машины. Промышленная революция оказала огромное влияние на каждую экосистему. Наряду с людьми развиваются и машины, в начале 80-х нам приходилось управлять..
Пришло ваше время победить нападающих
Три шага, которые вы должны добавить к своей модели НЛП с состязательным текстом
Выиграть войну против противника - непростая задача. Наиболее известные классические модели НЛП отлично работают с «идеальным» текстом. Но когда дело доходит до текста реального мира, он становится неприятным. В этом посте я представляю некоторые способы борьбы с более грязными и вредоносными текстами. Способы, которые я нашел уместными для работы в таких случаях, исходя из моего собственного опыта...
Классификация токсичных комментариев
На данный момент Kaggle организовала два соревнования по проблеме классификации токсичных комментариев [1]. В обоих конкурсах пытались отделить «токсичные» комментарии от обычных, хотя в более позднем конкурсе также пытались свести к минимуму непреднамеренную предвзятость модели. В этом посте (часть 1) мы пройдем первое испытание, а второе оставим в следующем посте (часть 2). Мы рассмотрим проблему шаг за шагом, сосредоточившись на LSTM в первой задаче и BERT во второй задаче. В этом..
Классификация текста с использованием двунаправленного LSTM
Изучение biLSTM и его использования для классификации текста
Что такое классификация текста?
Процесс классификации документов на естественном языке по применимым категориям из помеченной коллекции известен как классификация текста или категоризация текста. Классификация текста, с точки зрения непрофессионала, - это процесс извлечения общих меток (взятых из списка заранее определенных групп) из неструктурированного текста.
В этой статье мы построим модель классификации для выявления..
Обработка естественного языка с помощью R
Область обработки естественного языка (NLP), изучающая взаимодействие компьютерных наук и человеческого общения, быстро растет. Позволяя роботам понимать, интерпретировать и воспроизводить естественный язык, НЛП открывает целый мир возможностей для исследований и приложений. В первом разделе этой статьи будут рассмотрены различные языки, которые можно использовать для НЛП, а во втором разделе основное внимание будет уделено пяти пакетам НЛП, доступным на языке R. Мы также сделали бы..
Разработка тестов для измерения знаний GPT-3 по фундаментальным наукам.
Могут ли студенты изучить новейшую языковую модель OpenAI и использовать ее в качестве круглосуточного консультанта? Могут ли студенты использовать его для списывания на экзаменах? Может ли GPT-3 помочь фундаментальным исследованиям? Он говорит, когда не знает?
Введение
Генеративные предварительно обученные преобразователи (GPT) — это глубоко изученные авторегрессионные языковые модели, обученные на большом корпусе текста, которые при получении запроса на ввод синтезируют выходные..
Простое введение в точечный продукт
Скалярное произведение — это обычная операция, выполняемая над векторами, которая в результате возвращает скаляр. Этот скаляр предоставляет информацию об отношениях между векторами.
Фон
Для двух векторов a и b длины n скалярное произведение можно использовать, чтобы показать взаимосвязь между ними. Например, указывают ли они в одном направлении? Противоположные направления? Они перпендикулярны?
Результатом является скаляр, поэтому скалярное произведение иногда..
Новые материалы
Механизм редактирования графиков X6
Представлять
X6 — это механизм редактирования графов на основе HTML и SVG, который предоставляет недорогие возможности настройки и готовые встроенные расширения, которые позволяют нам..
Введение в обучение с подкреплением. Часть 4. Двойной DQN и дуэльный DQN.
Двойной DQN и Дуэльный DQN
В части 3 мы увидели, как работает алгоритм DQN и как с его помощью можно научиться решать сложные задачи. В этой части мы увидим два алгоритма, улучшающих DQN...
Простая рекомендательная система с использованием PageRank
Узнайте, как можно быстро и легко создать рекомендательную систему с помощью PageRank, одного из самых популярных алгоритмов Network Science, в сочетании с методами проекции графа.
Создание..
Стабильная диффузия с помощью Hugging Face
Используйте меню Runtime вверху и выберите от Change runtime type до GPU .
!nvidia-smi
!pip install diffusers==0.8.0
!pip install transformers scipy ftfy
!pip install..
Ежедневный дневник чувака, которому есть что терять | Часть 7: Мы в утопии «Watch Dogs»?
Ежедневный дневник чувака, которому есть что терять | Часть 7: Мы в утопии «Watch Dogs»?
Итак, вчера, когда я ходил туда-сюда с дверной доской и едой Uber. Я слушал радио, как это делают за..
МАСТЕРСТВО ТРУБ И МОНЕТИЗАЦИЯ ОТ МЭТТА ПАР
Специалист по цифровому маркетингу
Вы когда-нибудь мечтали создать успешный канал на YouTube, но вас не пугала идея сниматься на камеру или следовать традиционным путем YouTube? Не ищите..
Как стать программистом — без степени CS
Всю свою взрослую жизнь я искал профессию, которая бы мне подошла. Я изучал психологию и деловое общение и работал в обеих областях, но мне всегда казалось, что я играю роль, которая мне не..