Развитие ИИ: Ключевая роль инфраструктуры веб-данных

Искусственный интеллект (ИИ) переживает бурный рост, и каждый день появляются новые сценарии его применения. Чтобы в полной мере использовать потенциал этой технологии, предприятиям необходимы масштабные объемы данных. Однако зачастую критически важная информация заблокирована или неструктурирована, что ограничивает ее использование моделями ИИ.

Эта проблема коренится в фундаментальном дизайне самой Всемирной паутины. Веб не был изначально спроектирован для автоматического обнаружения и извлечения данных, которые требуются современным ИИ-приложениям. Преодоление этого внутреннего ограничения требует создания надежной инфраструктуры.

Будущее ИИ, возможно, зависит от появления нового слоя инфраструктуры веб-данных. Этот слой позволит моделям исследовать и картировать постоянно расширяющийся цифровой ландшафт. Он должен быть способен ориентироваться в сотнях миллионов существующих веб-доменов и миллиардах новых URL-адресов, создаваемых еженедельно, предоставляя информацию в реальном времени и преодолевая технические барьеры. Существует огромное количество доступных данных, большая часть которых пока остается неоткрытой и неиспользованной.

Обеспечение доступа к актуальным, релевантным и достоверным данным

Хотя первые прорывы в области ИИ были обусловлены увеличением объема обучающих данных и размера моделей, организации сейчас сталкиваются с фундаментальным препятствием: им необходимо идти в ногу с динамичной, неструктурированной и постоянно меняющейся природой веб-данных. Это крайне важно для того, чтобы основывать результаты ИИ на текущей и проверяемой информации. Производительность ИИ все больше зависит не только от архитектуры модели, но и от вычислительных, сетевых, поисковых и инженерных возможностей системы — то есть от ее способности быстро и надежно получать свежие, релевантные и достоверные данные.

Традиционное обучение моделей опирается на снимки информации, собранные в определенный момент времени. Обучать ИИ на таких статических данных уже недостаточно. Чтобы отслеживать колебания, такие как цены конкурентов, настроения потребителей и рыночные тенденции, компаниям необходим постоянный поток новой информации, получение данных в реальном времени с соответствующим контекстом. Их инфраструктура, следовательно, должна быть способна обрабатывать миллионы одновременных взаимодействий с веб-сайтами, которые различаются по географии, языку, формату и правилам доступа.

Без информации в реальном времени системам ИИ не хватает необходимого контекста. В деловой среде устаревшие ответы приводят к неверным решениям и разочарованным клиентам. Скорость — это не просто удобство; это необходимость. Современные организации работают в условиях, где цены, запасы, рынки, угрозы безопасности и поведение клиентов постоянно меняются. Задержка в получении данных может значительно снизить полезность даже самой сложной модели.

Использование актуальных, высококачественных веб-данных также может уменьшить галлюцинации ИИ, предоставляя моделям более релевантную базу знаний, тем самым повышая доверие пользователей. Многие специалисты сходятся во мнении, что доступ к веб-данным в реальном времени жизненно важен для повышения доверия к результатам ИИ. Для эффективной и результативной работы модели информация также должна быть сведена к необходимым элементам.

Несмотря на достижения, такие как генерация с расширенным поиском (RAG), когда модели извлекают внешние данные в момент запроса, многие системы ИИ по-прежнему с трудом выдают актуальные, контекстно-релевантные и достоверные результаты в рабочих условиях. Эксперты предполагают, что значительный процент ИИ-проектов, не поддерживаемых «готовыми для ИИ» данными (точными, структурированными, организованными, контекстуализированными), вероятно, будут заброшены.

Это происходит потому, что масштабируемый поиск сам по себе не решает проблему полностью. Данные должны извлекаться в больших объемах и в реальном времени, поскольку задержка напрямую влияет на опыт конечного пользователя. Доступ к свежим, готовым для ИИ данным в масштабе представляет значительные технические и структурные проблемы. Предприятия часто комбинируют получение общедоступных веб-данных с API, лицензированными наборами данных и собственными внутренними данными в своих ИИ-приложениях. Интеграция этих фрагментированных источников в своевременный и пригодный для использования слой знаний требует специализированных возможностей. Многие ИИ-организации зависят от инфраструктуры веб-данных в реальном времени, но часто сталкиваются с различными ограничениями. Компании активно разрабатывают технические подходы для преодоления этих препятствий.

Полезная аналогия описывает обученную модель как интеллект, а релевантные данные как знания. Мощный интеллектуальный слой, сидящий поверх полого слоя знаний, подобен гению, который ничего не знает — практически бесполезен. Интеллект и знания должны соединиться.

Перспективы новой инфраструктуры

Новый слой инфраструктуры веб-данных может удовлетворить растущую потребность в более сильных входных данных для ИИ, обеспечивая обнаружение данных, доступ в реальном времени и адаптацию к конкретному контексту. Основная цель состоит в том, чтобы собирать данные в масштабе с минимальной задержкой, избегая блокировок.

Вместо того чтобы полагаться исключительно на увеличение вычислительной мощности, такая платформа имитирует поведение человека при просмотре веб-страниц для доступа к доступному контенту и преобразования необработанного кода в структурированные потоки данных. Она может взаимодействовать с веб-сайтами, с которыми традиционные инструменты скрейпинга могут испытывать трудности, например, с сайтами, активно использующими JavaScript, или защищенными агрессивным антибот-ПО.

По сути, эта инфраструктура имитирует веб-пользователя с идентификационной информацией — IP-адресом, местоположением и множеством других параметров — но в огромном масштабе. Представьте себе выполнение таких действий миллиарды раз в день на миллионах веб-сайтов, всегда выглядя именно так, как ожидает каждый веб-сайт.

Естественно, непрерывное извлечение данных создает новые проблемы управления данными. Чтобы решить их, платформы могут применять строгие протоколы соответствия, согласованные с глобальными рамками конфиденциальности, такими как Общий регламент по защите данных (GDPR) ЕС и Закон Калифорнии о конфиденциальности потребителей (CCPA). Они также могут быть ограничены общедоступной информацией, избегая платного доступа или частных логинов. Любые используемые сети должны быть проверены и основаны на согласии, а владельцам IP-адресов могут предоставляться стимулы. Таким образом, системы могут быть разработаны в соответствии с ужесточающимися правилами.

Разработка таких сложных возможностей непроста. Для компании создание этой критически важной инфраструктуры собственными силами может стать полноценной инженерной проблемой, конкурирующей с основной работой по развитию ИИ. Эта сложность заставляет многие организации искать специализированные платформы, разработанные специально для извлечения, оркестрации и наблюдения за данными.

Инфраструктура для реального мира

Извлечение данных в реальном времени меняет возможности систем ИИ внутри организаций. Например, розничная компания может использовать общедоступную информацию для динамического ценообразования, а мировые бренды могут отслеживать нарушения товарных знаков.

По мере развития экосистемы организации, инвестирующие в этот развивающийся слой инфраструктуры данных, будут лучше подготовлены к созданию систем ИИ, которые более отзывчивы, надежны и соответствуют реальным условиям. Эти системы будут непрерывно адаптироваться, используя текущие веб-данные. Со временем различие между моделями ИИ и инфраструктурой, которая их питает, может даже начать стираться.

Мир постоянно меняется, и все, что происходит в мире, загружается в общедоступную сеть. Объем генерируемых новых данных растет и ускоряется.