Cognitive Search Brings the Power of AI to Enterprise Search

Forrester, one of the leading analyst firms, defines Cognitive Search in a recent report¹ as: The new generation of enterprise search that employs AI technologies such as natural language processing and machine learning to ingest, understand, organize, and query digital content from multiple data sources. Here is a shorter version, easy to memorize: Cognitive Search = Search + NLP + AI/ML
Of course, “search” in this equation is not the old keyword search but high-performance search integrating different kinds of analytics. Natural Language Processing (NLP) is not just statistical treatment of languages but comprises deep linguistic and semantic analysis. And AI is not just “sprinkled” on an old search framework but part of an integrated, scalable, end-to-end architecture.

AI Needs Data, Lots of Data
For AI and ML algorithms to work well, they need to be fed with as much data you can get at. A cognitive search platform must access the vast majority of data sources of an enterprise: internal and external data of all types, data on premises and in the cloud. Hence the system must be highly scalable.

Continuous Enrichment
Cognitive Search uses NLP and machine learning to accumulate knowledge about structured and unstructured data and about user preferences and behavior. That is how users get ever more relevant information in their work context. To accumulate knowledge, a cognitive search platform needs a repository for this knowledge. We call that a “Logical Data Warehouse” (LDW).

The Strength of Combination
To produce the best possible results, the different analytical methods must be combined, not just executed in isolation of each other. For example, machine learning algorithms deliver much better results much faster if they work on textual data for which linguistic and semantic analyses have already extracted concepts and relationships between concepts.

Whitepaper-kmworld-07-2017Get your copy of the full paper here and learn more about current use cases of cognitive search and AI at large information-driven companies.

(1) Forrester Wave: Cognitive Search & Knowledge Discovery Solutions, Q2 2017
Read the full report on https://www.sinequa.com/forrester-wave-2017/

+1Share on LinkedInShare on Twitter

En route vers le Big Data !

Le Big Data… On en entend tellement parler ces derniers temps qu’on en serait presque écœuré. Cela me fait penser à cette publicité pour un fastfood où une vieille dame pose la question magique « Where is the beef ? » * en scrutant son (petit) hamburger dans un pain énorme. La question est depuis entrée dans la langue courante anglaise, jouant même un rôle décisif en politique aux Etats-Unis l’année de la parution de la publicité.

Alors, où est donc le « beef » dans le Big Data ?

Soyons réalistes et n’essayons même pas de donner une définition du Big Data. Si vous avez des données en quantité suffisante et suffisamment hétérogènes pour qu’elles vous posent problème alors même que ces données pourraient être utiles à votre organisation : dites-vous que c’est du Big Data.

Y a-t-il vraiment quelque chose à tirer de ce Big Data ? Comme d’habitude, la réponse est « ça dépend ».

Ça dépend des données que vous avez collectées, de la personne qui pose la question, du contexte… Toute collection de données ne vous rendra pas riche – de même que tous les outils de gestion et d’analyse ne vous permettront pas d’en tirer profit.

Une chose est sure à propos du Big Data, c’est qu’il n’est pas structuré. Environ 80% des données d’une entreprise sont sous forme de texte, autant dire, hors de portée des applications d’entreprise (ERP, CRM, Bi, etc.).

Pour tirer du sens de ces données textuelles, un outil doit être capable « de comprendre » du texte dans différentes langues, en allant au-delà d’une recherche de mots clés ou du repérage de metadata. Enfin, la capacité à créer de la valeur grâce au Big Data dépend bien entendu de l’environnement de chaque entreprise.

Sur des projets de création d’une vue à 360° du client dans le domaine de la Banque et des centres d’appels d’opérateur télécom, nos clients obtiennent des ROI allant de 10M à 60M$ par an.

Si vous souhaitez en savoir plus, consultez la présentation « Where is the Beef ? Drilling through the hype to get real value” présentée lors de Sinequa Search Solutions le 8 octobre 2013 à Paris (à télécharger ici).

*Où est la viande ?

+1Share on LinkedInShare on Twitter

On the road to Big Data

Everyone talks about Big Data, and many are put off by the “Big Hype”. That reminds me of an old Hamburger advertisement, where an elderly lady asks the magic question “Where is the beef?”. “Magic” since the phrase immediately caught on and conquered a fixed place in the English language. It even played a decisive role in politics the same year the ad appeared.

So where is the beef in Big Data?

Let’s be practical and not start by defining “Big Data”. If it’s big and varied enough to cause you problems in dealing with it, and if it may be relevant for your business: take it as Big Data.

Is there value in Big Data? As usual: it depends.

It depends on what data you have collected, on who asks the question, when and in what context. Not every collection of data will make you rich – and not every tool to plough through it in quest of value.

Here is one truth about Big Data: it isn’t structured! About 80% of it is text, i.e. unstructured, i.e. outside the grasp of enterprise applications (ERP, CRM, BI, etc.).

To make business sense of this textual data, your tools must be able to analyze texts in many different languages – and not just look at the meta data or search for keywords.

Value creation from Big Data depends, of course, on the business context of each customer. We have seen ROI in the range from 10 M to 60 M$ per year in use cases centered on creating 360° views of customers – in Retail Banking and in call centers of Mobile Telecoms providers.

For more information, see the presentation “Big Data: “Where is the Beef”? Drilling through the hype to get real value.” (Downloadable here)

+1Share on LinkedInShare on Twitter

La coopération homme-machine distance les « supercalculateurs »

Vous connaissez peut-être la vielle blague sur le supercalculateur à qui on a posé la question « quel est le sens de la vie », et qui sortait (après un long temps de calcul) la réponse « 27 ». Cette blague a été racontée pour illustrer bien des aspects différents  sur des ordinateurs, sur l’interaction homme machine, la philosophie et la vie en général. Ici, je voudrais tirer votre attention sur les questions floues et réponses précises, ou vice-versa, et à l’amélioration de l’interaction entre les hommes et les machines.

Shyam Sankar a donné une conférence intéressante à ce sujet à  TED, sous le titre de « l’ascension de la coopération homme-ordinateur ». Dans son discours il explique pourquoi « résoudre de grands défis (comme arrêter des terroristes ou identifier des tendances émergentes) n’est pas tant une question de trouver le bon algorithme mais plutôt de la bonne relation symbiotique entre calcul d’ordinateurs et créativité humaine ».

Son premier exemple est bien connu mais il mérite d’être raconté encore une fois. C’est l’histoire de deux championnats d’échec de niveau mondial : En 1997, le champion du monde Gary Kasparov perd contre l’ordinateur « Deep Blue » d’IBM. En 2005, dans un championnat d’échec ouvert à tous, dans lequel des hommes peuvent jouer avec des machines comme partenaires, un supercalculateur a été battu par un grand-maître avec un ordinateur portable assez médiocre. Mais à la surprise de tous, le tournoi a été remporté non pas par un grand maître associé à un supercalculateur, mais par deux amateurs avec trois ordinateurs portables assez faibles. Sankar  pense que c’est la façon d’interagir avec leurs machines qui a fait gagner des hommes moyens avec des ordinateurs moyens contre les meilleurs hommes avec les meilleures machines.

Très bien, mais quelle relation avec le Search ou l’Accès unifié à l’information (Unified Information Access UIA) ?

Peut-être la relation est-elle tenue, et peut-être je ne l’exprime pas bien, mais je vous sollicite de m’aider avec votre « puissance symbiotique cerveau-calculateur » pour affiner  mon argument.

Dans l’informatique “classique”, où l’on travaille avec des bases de données, des entrepôts de données (data warehouses), des systèmes de BI, etc. , des questions précises sont posées au (super) calculateur par des gens qui connaissent la structure de leurs données et maitrisent la façon de poser ces questions, et l’ordinateur sort des réponses précises du genre « 27 » ou des tableaux de bord sympathiques qui illustrent des chiffres et même des trends. Mais si vous voulez poser des questions qui vous amènent en dehors des structures de vos données ou de la logique prédéfinie de vos « systèmes décisionnels », vous n’aurez pas de chance.

Le Search, par contre, vous permet de poser des questions floues en langage naturel et il ne vous retournera pas une réponse du type « 27 », mais un ensemble de réponses – des documents ou des entrées d’une base de données – classées dans des catégories (des « facettes ») dans lesquelles vous pouvez naviguer. (Des informations de sources multiples, y inclus des applications métier,  peuvent être agrégés dans une catégorie) Vous pouvez zoomer sur des sous-catégories que votre intelligence humaine reconnait instantanément comme les plus prometteuses. Vous pouvez aussi raffiner votre question suite aux idées que le premier lot de réponses vous aura données. En effet, vous pouvez poser n’importe quelle question que vous voulez sans aucune nécessité de (re) programmer quoi que ce soit. Et dans un ping-pong de trois échanges avec votre solution de Search vous avez de fortes chances de découvrir une réponse que votre supercalculateur avec ses logiciels élaborés n’aurait pas trouvée. Ou peut-être il l’aurait trouvée, mais après quelques milliers de jours-hommes de développement et de mise au point, et des millions d’Euros dépensés pour un matériel de pointe – tout comme Watson a gagné le jeu Jeopardy.

Chez Sinequa, nous aimons penser que nos logiciels sont meilleurs que la moyenne, mais même si vous présumez qu’ils soient tout justes dans la moyenne, l’interaction des utilisateurs avec notre plateforme de Search et d’accès unifié à l’information (Unified Information Access, UIA) se rapproche assez de celle des deux amateurs avec leurs ordinateurs portables qui ont battu le champion de l’échec avec son supercalculateur.

+1Share on LinkedInShare on Twitter

Man-machine co-operation trumping supercomputers

You may know the old joke about the supercomputer that was fed the question “what is the meaning of life”, and that came up – after long calculations – with the answer “27”. This joke has been told to illustrate many different points about computers, human computer interaction, philosophy, and life in general. Here, I would like to draw your attention to fuzzy questions and precise answers, or vice versa, and to better ways of interacting with computers.

Shyam Sankar gave an interesting talk on the subject at TED, called “The rise of human-computer cooperation”, where he “explains why solving big problems (like catching terrorists or identifying hidden trends) is not a question of finding the right algorithm, but rather the right symbiotic relationship between computation and human creativity”.

His first example is well known but deserves to be retold. It is the story of 2 world-class chess championships: World champion Gary Kasparov losing against IBM’s “Deep Blue” computer in 1997. In 2005, in a free-style chess tournament, in which men and machines could participate as partners, a supercomputer was beaten by a grand master with a relatively week laptop. But to everyone’s surprise, the tournament was not won by a grandmaster with a supercomputer, but by two amateurs using three relatively week laptops. Sankar argues that the way of interacting with their machines helped average men with average machines beat the best men with the best machines.

Now what has that got to do with Search or Unified Information Access?

Well, it may be a long shot and maybe I am not putting it into the most convincing sentences, but perhaps someone can help me by adding their symbiotic brain-and-computer power to my argument.

In “classic” computing, using databases, data warehouses, BI systems, etc., the (super) computer is asked precise questions – by people who understand the structure of their data and the way to ask these precise questions – and the computer comes up with an answer like “27” or a nice dashboard illustrating figures and possibly even trends. If you want to ask a question that takes you outside the structure of the data or the predefined logic of the “decision support” programs, you are out of luck.

Search, on the other hand, allows you to ask fuzzy questions in natural language and it comes up not with a “27”-type answer, but with a set of answers – be they documents or data base records – ordered in categories for you to navigate in. (Categories aggregate information from multiple sources, including business applications.) You can zoom-in on what your human intelligence recognizes as the most promising subcategory. It is easy to refine your question after insight from the first set of answers, indeed to ask any question you like without any need for reprogramming. And in a man-machine Ping-Pong of three exchanges, you have a good chance to discover an answer that your supercomputer with its elaborate programs would not have come up with. Or maybe it would – but with a few thousand man-days of development and “tuning”, and millions spent on top-notch hardware – just like Watson won  Jeopardy.

At Sinequa, we like to think that our software is above average, but even if you assume it to be just average, the interaction of users with our Search and Unified Information Access platform is rather like that of the two amateurs with their laptops who beat the chess champion with his supercomputer.

+1Share on LinkedInShare on Twitter